<![CDATA[Серый форум — Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?id=5232 Sun, 23 Jan 2011 07:31:12 +0000 PunBB <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44316#p44316 Вот подумал об этом: т.к. яваскрипт неплохо работает на стороне клиента, то поиск будет осуществляться по уже сформированным (см. выше) базам и будет логично, чтобы при заходе на страницу с поиском эти базы загружались, а при покидании ресурса (локального сайта) эти базы автоматически удалялись. Пока еще не опробовал, но наверное сделаю так:
для страницы с поиском - <body onload="Load()" onunload="Exit()">
для главной - <body onunload="Exit()"> 

<script type="text/javascript">
<!--
name6 = "\u005C\u005Cserverpko\u005Carhiv\u005Cbaza" // взято из data.js
name7 = "c:\\Temp-pko" // взято из data.js
function Load() {
var fso = new ActiveXObject("Scripting.FileSystemObject");
var f = fso.GetFolder(name6);
f.Copy(name7);
}
-->
</script>


<script type="text/javascript">
<!--
name7 = "c:\\Temp-pko" // взято из data.js
function Exit() {
    exit=true;
    if (exit) {
        var fso = new ActiveXObject("Scripting.FileSystemObject");
        var f = fso.GetFolder(name7);
        f.Delete(true);
    }
}
-->
</script>
]]> Sun, 23 Jan 2011 07:31:12 +0000 http://forum.script-coding.com/viewtopic.php?pid=44316#p44316 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44119#p44119 скачал еще вчера, пока не поставил для теста.. но вскоре постараюсь это сделать обязательно!. , еще раз спасибо всем!

]]> Thu, 20 Jan 2011 15:08:13 +0000 http://forum.script-coding.com/viewtopic.php?pid=44119#p44119 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44099#p44099 Ну чтобы уж окончательно добить эту тему. Это будет работать быстрее 

dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." > baza_all.txt

find "AWW" baza-all.txt > baza101.txt
find "ARW" baza-all.txt > baza102.txt
...

А на предлагаемую программу Everything все же посмотрите/

]]> Thu, 20 Jan 2011 11:06:31 +0000 http://forum.script-coding.com/viewtopic.php?pid=44099#p44099 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44095#p44095 Ура! До меня наконец-то все дошло!!! Спасибо Rumata за терпение, вот что вышло.. и меня полностью устраивает, за исключением того, что это будет делаться на сервере без вмешательства ответственного лица, , ну да ладно - не критично.. и на экране вместо русских подсказок "иероглифы", но цифры то понятны!!!, .

@echo off
echo %TIME%
rem echo "Начато формирование общей базы"
rem dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." > baza100.txt
rem echo "Закончено формирование общей базы"
echo "Начато формирование базы 1"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find  "AWW" > baza101.txt
echo "Закончено формирование базы 1, формируем базу 2"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "ARW" > baza102.txt
echo "Закончено формирование базы 2, формируем базу 3"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "ASW" > baza103.txt 
echo "Закончено формирование базы 3, формируем базу 4"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "EMW" > baza104.txt
echo "Закончено формирование базы 4, формируем базу 5"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "ENW" > baza105.txt
echo "Закончено формирование базы 5, формируем базу 6"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "EOW" > baza106.txt
echo "Закончено формирование базы 6, формируем базу 7"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "ESW" > baza107.txt
echo "Закончено формирование базы 7, формируем базу 8"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "GPW" > baza108.txt
echo "Закончено формирование базы 8, формируем базу 9"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "GSW" >baza109.txt
echo "Закончено формирование базы 9, формируем базу 10"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "KJW"  >baza110.txt
echo "Закончено формирование базы 10, формируем базу 11"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "KMW" > baza111.txt
echo "Закончено формирование базы 11, формируем базу 12"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "KMD" > baza112.txt
echo "Закончено формирование базы 12, формируем базу 13"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "MWW" > baza113.txt
echo "Закончено формирование базы 13, формируем базу 14"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "NKW" > baza114.txt
echo "Закончено формирование базы 14, формируем базу 15"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "NVW" > baza115.txt
echo "Закончено формирование базы 15, формируем базу 16"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "NVK" > baza116.txt
echo "Закончено формирование базы 16, формируем базу 17"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "OSW" > baza117.txt
echo "Закончено формирование базы 17, формируем базу 18"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "OVW" > baza118.txt
echo "Закончено формирование базы 18, формируем базу 19"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "PBW"  > baza119.txt
echo "Закончено формирование базы 19, формируем базу 20"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "PGW" > baza120.txt
echo "Закончено формирование базы 20, формируем базу 21"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "PSW" > baza121.txt
echo "Закончено формирование базы 21, формируем базу 22"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "PTW" > baza122.txt
echo "Закончено формирование базы 22, формируем базу 23"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "SSW"> baza123.txt
echo "Закончено формирование базы 23, формируем базу 24"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "TKW"> baza124.txt
echo "Закончено формирование базы 24, формируем базу 25"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "TSW" > baza125.txt
echo "Закончено формирование базы 25, формируем базу 26"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "TXW" > baza126.txt
echo "Закончено формирование базы 26, формируем базу 27"
dir "D:\arhiv\scan" /a-d-s /b /s | findstr /r "\.tif$ \.tiff$" | find /v ".SP." | find /v ".OD." | find "VKW" > baza127.txt
echo "Закончено формирование базы 27"

ПС: На формирование 4 баз по этому коду на сервере ушло 5 минут, причем в базе присутствует 1(!) проект из 28000 (!!!, о ужас!), жаль, что Javascript не справился с задачей формирование базы архива (формирование базы обычно я останавливал принудительно через 40 мин или 1 час).

]]> Thu, 20 Jan 2011 09:34:45 +0000 http://forum.script-coding.com/viewtopic.php?pid=44095#p44095 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44093#p44093 Полностью согласен с alexii и DnsIs. Я как-то забыл о том, что DnsIs уже обращал внимание на эту программу. Описание на сайте и собственные тесты подтверждают сказанное. Эта утилита для Вас.

]]> Thu, 20 Jan 2011 08:53:17 +0000 http://forum.script-coding.com/viewtopic.php?pid=44093#p44093 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44092#p44092 Влезу ка я пожалуй еще разочек, тем более что в аське вы не отвечаете. Так вот. Я уже писал про программу Everything. Видимо вы отложили ее тес до лучших времен, но читая выше написанные посты, мне кажется что это то, что вам нужно.
Вкратце: Everything, сканирует заданные диски/папки компьютера (по умолчанию все жесткие диски), держит в памяти базу, и сидит в трее, и если ее оттуда вызвать, по появляется окно поиска файлов с таблицей. В окне поиска вы набиваете название файла, и программа в реальном времени заполняет таблицу, БЕЗ всяких тормозов! ПЛЮС КО ВСЕМУ, она мониторит диски/папки и держит базу всегда в актуальном состоянии, причем обновление базы происходит мгновенно! То есть, не нужно постоянно сканировать диски.

Возможен так же поиск по маске и поиск с помощью регулярных выражений.
Встроен FTP + HTTP серверы, то есть можно запустить сервер, в котором будет работать файловый поиск!
Ну что еще надо для счастья?

Но и это еще не все. В комплекте идет консольная утилитка, которая может поиск осуществлять в консоли.
То есть если вы пойдете по вышеизложенному пути - сохранять сначала результаты в файл, то все равно получиться гораздо быстрее.

Провел сейчас тест: 208 207 строк, файл 13,6 Мб. за 7,125 сек.

Заметьте. Программа бесплатная!

]]> Thu, 20 Jan 2011 08:40:06 +0000 http://forum.script-coding.com/viewtopic.php?pid=44092#p44092 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44089#p44089 Я бы всё-таки порекомендовал обратить внимание на совет коллеги DnsIs.

]]> Thu, 20 Jan 2011 07:37:09 +0000 http://forum.script-coding.com/viewtopic.php?pid=44089#p44089 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44083#p44083 Я уже описал один из вариантов

1. покажет все файлы и только файлы, расширения которых начинаются на .doc или .txt

dir /b /s /a-d "*.doc" "*.txt"

2. покажет все файлы и только файлы только с расширениями .doc и .txt 

dir /b /s /a-d | findstr /r "\.doc$ \.txt$"

Оба примера закрывают Ваш вопрос (варианты и а и б). Судя по моему описанию второй путь более правильный.

Можно оба варианта. Насколько это улучшит производительность - не знаю. Надо просто протестировать на большом объеме данных.

3. 

dir /b /s /a-d "*.doc" "*.txt" | findstr /r "\.doc$ \.txt$"

вдруг потребуется поиск не только по шаблону и не только файлов с расширением *.tif

Что значит не по шаблону не понятно. Как еще можно искать файлы? Про другие расширения я уже описал. если надо удалить определенные файлы из результата, вывод просто передается следующей команде findstr /v "что не показывать" по конвейеру - как здесь #3

Вопрос упирается в то, какой язык будет использован для формирования html файла, который будет видеть клиент. Так же встает вопрос веб-сервера. Какими возможностями он будет обладать - будет ли формировать динамические страницы, обрабатывать поисковые запросы пользователей, или это будут простые статические страницы со списком ссылок на файлы для скачивания по протоколу HTTP. Мои тесты говорят, что JScript ужасно медленный язык в сравнении, например, с Perl, Python.

]]> Thu, 20 Jan 2011 06:35:37 +0000 http://forum.script-coding.com/viewtopic.php?pid=44083#p44083 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44075#p44075 Вот сравнительные тесты:
с ПК Пользователя в локальной сети - просканирована папка СКАН и записано 401 строка за время = 24 мин.
тоже но на сервере, папка на диске Д - записано строк 401 за 1 мин.

Железо: Сервер = НР МЛ150, райд 1+0 (4*750Гб), проц 1*4 ядра ...
ПК = ECS G41T-M6  (.. DDR3 DIMM, Audio, Video, Gigabit LAN) + 2 Гб DDR3-1333 DDR3 SDRAM  + DualCore Intel Celeron E3200, 2400 MHz (12 x 200) + Hitachi HDS721050CLA362  (500 Гб, 7200 RPM, SATA-II)

@echo off

setlocal

set warehouse_src=\\serverpko\arhiv\scan\
set warehouse_out=index-server-user.txt

echo %TIME%
call :print_list > %warehouse_out%
echo %TIME%

endlocal
goto :EOF

:print_list
TIME /T
call :print_header
call :print_body
call :print_footer
TIME /T
goto :EOF

:print_header
goto :EOF

:print_body
dir /a-d /s /b "%warehouse_src%"
goto :EOF

:print_footer
goto :EOF

Вот кусок тхт файла на выходе:


10:06
D:\arhiv\scan\28000.bat.txt
D:\arhiv\scan\25605\25605a\AWW.01.0141_0142.25605.026_002.tif
D:\arhiv\scan\25605\25605a\AWW.01.0141_0142.25605.026_003.tif
D:\arhiv\scan\25605\25605a\AWW.01.0141_0142.25605.026_004.tif
D:\arhiv\scan\25605\25605a\AWW.01.0141_0142.25605.026_005.tif
D:\arhiv\scan\25605\25605a\AWW.01.0141_0142.25605.026_006.1.tif
D:\arhiv\scan\25605\25605a\AWW.01.0141_0142.25605.026_007.tif


D:\arhiv\scan\25605\25605a\AWW.01.0141_0142.25605.026_026.tif
D:\arhiv\scan\25605\25605a\AWW.01.0141_0142.25605.OD.000_001.1.tif
D:\arhiv\scan\25605\25605a\AWW.01.0141_0142.25605.SP.021_001.tif
D:\arhiv\scan\25605\25605a\Thumbs.db
D:\arhiv\scan\25605\25605a\«Ёбв 6-10-Ђ’•.pdf
D:\arhiv\scan\25605\25605a\«Ёбв 6-11-Ђ’•.pdf


D:\arhiv\scan\25605\25605vk\VKW.01.0141_0142.25605.SP.005_005.tif
D:\arhiv\scan\25605\25605vk\VKW.01.0141_0142.25605.txt
10:07

Здесь (впрочем как всегда у меня) не отображаются правильно русские имена файлов и папок - только анг.

Т.к. другого быстрого пути формирования базы в принципе нет (или пока нет), то на этом можно считать модуль формирования базы законченным.

Вопрос - где лучше убрать лишние файлы, нужны пока что - *.tif , а) при создании базы или б) потом (в модуле поиска)  при поиске нужной информации усложнять алгоритм самого поиска?
Путь А) самый рациональный на текущий момент, а путь Б) более гибкий и может пригодиться для модернизированного модуля расширенного поиска в будущем (вдруг потребуется поиск не только по шаблону и не только файлов с расширением *.tif...

]]> Thu, 20 Jan 2011 04:29:50 +0000 http://forum.script-coding.com/viewtopic.php?pid=44075#p44075 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44066#p44066 stir_77 - в скайпе, и... очень редко встречаются люди, готовые бескорыстно и на бесплатную трату времени на такие глупые вопросы..как у меня, например.
а здесь побольшей части задаются простые и несложные вопросы, хотя авторам так не кажется совсем..

]]> Wed, 19 Jan 2011 16:42:31 +0000 http://forum.script-coding.com/viewtopic.php?pid=44066#p44066 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44065#p44065 Нет. Этот скрипт не планируется запускать при каждом обращении к веб-серверу. Предполагается, что он должен запускаться с определенной периодичностью из планировщика задач автоматически или принудительно вручную. Таким образом можно периодически обновлять листинг локально на самом сервере.

Было бы гораздо экономичнее хранить информацию более структурировано. Но поднимать для этих целей СУБД, мне кажется накладно. С другой стороны, если на хосте планируется организовывать дополнительные веб-сервисы, то БД может и понадобится.

А пока мне представляется так. Скрипт, подобный этому периодически запускается через планировщик задач в наименее нагруженное время. При добавлении или удалении файлов изменения будут появляться в заданное планировщиком время. При необходимости, скрипт можно запустить вручную. Фактически это единственное вмешательство человека в работу скрипта. На выходе скрипт создает некий файл, который можно использовать по назначению.

хочу прилюдно поблагодарить

Спасибо за добрые слова. Но как-то неудобно, если честно.

]]> Wed, 19 Jan 2011 16:29:54 +0000 http://forum.script-coding.com/viewtopic.php?pid=44065#p44065 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44057#p44057 Спасибо. Очень интересный подход к решению задачи. Несомненно можно через http (jscript) запустить батник на самом сервере, это очень ощутимо сэкономит времени и ресурсов...
Сейчас нахожусь дома, запустил батник, примерно через 12 мин файл был готов. Строк = 127690.
ПК: Intel Celeron D 346, 3066 MHz (23 x 133) + ECS 945GZT-M  (2 PCI, 1 PCI-E x16, 2 DDR2 DIMM, Audio, Video, LAN) + 503 Мб  (DDR2-667 DDR2 SDRAM) + HDS728080PLAT20  (80 Гб, 7200 RPM, Ultra-ATA/133). ***78528 Мб (41581 Мб свободно)***
Завтра подкорректирую путь и запущу его через локалку на чтение с сервера, а после тоже самое но на нем..

]]> Wed, 19 Jan 2011 14:22:54 +0000 http://forum.script-coding.com/viewtopic.php?pid=44057#p44057 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44039#p44039 Еще один вопрос. Есть два действия - добавление данных в хранилище и создание списка имеющихся файлов. Полагаю, что эти два совершенно разных действия будут разделены и не будут рассматриваются как функции одной программы?

Посмотрите следующий скрипт. Он содержит некоторые заготовки и пустые блоки. Сейчас он создает простой текстовый файл - список ВСЕХ файлов на системном диске. Время выполнения около 10 секунд (более 146 тыс файлов, более 18.5 тыс каталогов). Дополнительная обработка списка (создание разметки) приведет к падению скорости выполнения. Если скрипт дает результат близкий к искомому, то просто продолжим работать в этом направлении

@echo off

setlocal

set warehouse_src=C:\
set warehouse_out=index.txt

echo %TIME%
call :print_list > %warehouse_out%
echo %TIME%

endlocal
goto :EOF

:print_list
call :print_header
call :print_body
call :print_footer
goto :EOF

:print_header
goto :EOF

:print_body
dir /a-d /s /b "%warehouse_src%"
goto :EOF

:print_footer
goto :EOF
]]> Wed, 19 Jan 2011 09:07:06 +0000 http://forum.script-coding.com/viewtopic.php?pid=44039#p44039 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44038#p44038 DnsIs, Спасибо за ссылку - http://www.voidtools.com/download.php - обязательно скачаю и протестю...
Rumata, все почти верно, и.. у меня есть некоторые трудности с написанием скриптов по поиску, все остально - по плечу.

За оказанное содействие и поддержку хочу прилюдно поблагодарить разработчика Rumata, особенно за его стремление к минимализму и корректности в написании кодов (зы, я смотрел ваш ресурс - блог, нашел несколько идей увлекательными и верными)

]]> Wed, 19 Jan 2011 09:02:08 +0000 http://forum.script-coding.com/viewtopic.php?pid=44038#p44038 <![CDATA[Re: Сканированные документы архива и Javascript]]> http://forum.script-coding.com/viewtopic.php?pid=44034#p44034 моя аська, если кому-нибудь нужно пообщаться (я всегда рад общению) - 381-090-890, вроде так.

]]> Wed, 19 Jan 2011 06:50:14 +0000 http://forum.script-coding.com/viewtopic.php?pid=44034#p44034