Серый форум — CMD/BAT: поиск в txt файле повторяшихся строк

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-18T06:58:14Z

UNDYING, спасибо за корректные замечания. О некоторых знал, но не учел, о большинстве других не додумал.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-18T06:23:46Z

Rumata пишет:

Не понимаю Вас. Покажите короткий и понятный пример, раскрывающий эту особенность.

Поправил - сам ошибался (в дискуссиях рождается правда).

Это верно, но информация избыточна.

Да, согласен. Но представим ситуацию в идеале:


for /f %%a in ('наш_скрипт.cmd C:\Music\*.mp3') do (ren "%%a" "%%~dpa%time%%%~xa")
for /f %%a in ('dir /b/s/a-d/on *.mp3') do (copy "%%a" "%cd%\%%~nxa")

a. ищем дубликаты (для mp3, напимер) и при наличии оных, переименовываем (например, в соотвествии с датой создания или содержимым).
b. копируем все файлы (mp3) (например, на флешку)
на пункте a "спотыкаемся" из-за избыточного вывода.

Ужасное решение получилось, многословное - пришлось использовать несколько ухищрений из-за отсутствия некоторых возможностей.

Очень круто, только косметические изменения, и оно некорректно обрабатывает файлы с "!" в имени:

...
< "%allfiles%" call "%~f0" : basename | sort | call "%~f0" : uniq | findstr /l /e /i /g:/ "%allfiles%"
...
:: Ведется поиск файлов, заданных шаблоном
:: во всех подкаталогах текущего каталога
dir /b/s/a-d "%pattern%" >"%allfiles%"
:: ^^ иначе ищем и директории
...
:: Подпрограмма выбирает только имя файла (с расширением)
:: Аналог unix-команд: xargs -IX basename "X"
:basename
for /f "usebackq tokens=*" %%a in ( `
find /v ""
` ) do @(
echo.\%%~nxa
)
:: ^^ иначе 123.txt и 1123.txt расцениваются как равнозначные.
:: Но в любом (!) случае "съедаются" восклицательные знаки в именах.
...
:: Подпрограмма ищет дубликаты и отображает их
:: Аналог unix-команды: uniq -d
:uniq
setlocal enabledelayedexpansion
set A=
set /a N=0
for /f "usebackq tokens=*" %%a in ( `
find /v ""
` ) do @(
if /I "%%~a" == "!A!" (
rem ^^ независимо от регистра
set /a N+=1
if !N! equ 2 (
echo.%%~a
)
) else (
set "A=%%~a"
set /a N=1
)
)
...

uniq требует ещё доработки - бывает, "спотыкается" (ищу закономерности) на строках вида:

X:\REPORT.HTML\BACKUP\2011_03_03_13_35_21_250.HTM

Работает очень быстро, хороший код.

Если в ущерб скорости(работает очень медленно), но без создания файлов, то:

@echo off
setlocal enabledelayedexpansion
if "%*" == "" (set mask="*.*") else (set mask="%~1")
(for /f "usebackq tokens=*" %%a in (`
    dir /a-d /b /s %mask%
`) do (
       (dir /a-d /b /s %mask% | find /i /v "%%~a") | (
       (findstr /l /e /c:"\\%%~nxa" 2>&1 1>nul
       ) &&echo.%%~a)))
exit /b 0 & endlocal

Недостаток тот же.

Через создание кучи временных файлов:

@echo off
if "%*" == "" (set mask="*.*") else (set mask="%~1")
set wpath=%temp%\%random%_%random%
md %wpath%\dup
for /f "tokens=* delims=:" %%a in ('dir /b/s/a-d %mask%') do (
    if exist "%wpath%\%%~nxa" (if not exist "%wpath%\dup\%%~nxa" (
        fsutil hardlink create "%wpath%\dup\%%~nxa" "%wpath%\%%~nxa" 2>&1 >nul
    ))
    echo %%a>>"%wpath%\%%~nxa"
)
2>nul type %wpath%\dup\*
2>&1 >nul rd /s/q %wpath%
exit /b 0

Работает шустро и "поддерживает" "!" в именах файлов.
По идее, "спотыкнётся" на символах "%","&" в именах, надо проверить, и для работы требует прав администратора.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-17T21:56:51Z

Ужасное решение получилось, многословное - пришлось использовать несколько ухищрений из-за отсутствия некоторых возможностей.


@echo off

if "%~1" == ":" goto :%~2

if "%~1" == "" (
    echo.Usage: %~n0 pattern
    goto :EOF
)

setlocal

:: шаблон поиска
set "pattern=%~1"

:: Все найденные файлы (полные пути) сохраняются в файл %allfiles%
set "allfiles=%TEMP%\allfiles.txt"

:: Ведется поиск файлов, заданных шаблоном
:: во всех подкаталогах текущего каталога
dir /b /s "%pattern%" >"%allfiles%"

:: Взять список найденных файлов
:: Получить список имен файлов
:: Отсортировать
:: Найти только дубликаты
:: Применить полученный список к списку всех файлов
< "%allfiles%" call "%~f0" : basename | sort | call "%~f0" : uniq | findstr /l /e /g:/ "%allfiles%"

endlocal
goto :EOF


:: Подпрограмма выбирает только имя файла (с расширением)
:: Аналог unix-команд: xargs -IX basename "X"
:basename
for /f "usebackq tokens=*" %%a in ( `
    find /v ""
` ) do @(
    echo.%%~nxa
)
goto :EOF


:: Подпрограмма ищет дубликаты и отображает их
:: Аналог unix-команды: uniq -d
:uniq
setlocal enabledelayedexpansion

set A=
set /a N=0

for /f "usebackq tokens=*" %%a in ( `
    find /v ""
` ) do @(
    if "%%~a" == "!A!" (
        set /a N+=1
        if !N! equ 2 (
            echo.%%~a
        )
    ) else (
        set "A=%%~a"
        set /a N=1
    )
)

endlocal
goto :EOF

Аналогичный код в Unix без использования временного файла:


pattern='*.mp3'
find . -name "$pattern" | grep -f <(find . -name "$pattern" | xargs -IX basename "X" | sort | uniq -d)

Можно было бы поиграться с переназначением файловых дескрипторов, чтобы избавиться от двойного вызова команды find и вывод одной команды find направить по двум потокам - один для получения списка имен-дубликатов, второй - вход команды grep.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-17T19:23:19Z

С нуля или с единицы - суть не в том, а что в примере есть один "баг" - more smile, точнее особенность его работы. Не в алгоритме, не в идее, а в конкретной реализации.

Не понимаю Вас. Покажите короткий и понятный пример, раскрывающий эту особенность.

Ошибка в моем алгоритме есть. Вернее несовершенство его. Для каждого следующего имени находит дубликаты. Это лишнее. Вот например для списка
10\readme.txt
11\readme.txt
12\readme.txt

на просто вывести этот список. Мой алгоритм пишет
11\readme.txt
12\readme.txt
10\readme.txt

12\readme.txt
11\readme.txt

Это верно, но информация избыточна.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-17T18:37:38Z

Rumata, благодарю за примеры, но суть не в том:
Если создать тестовый набор циклом

for /l %%a in (10,1,99) do (md %cd%\%%a
echo.>%cd%\%%a\readme.txt)

то вывод скрипта из сообщения


...
B:\94\readme.txt
B:\95\readme.txt
B:\96\readme.txt
B:\97\readme.txt
B:\98\readme.txt
B:\99\readme.txt
B:\93\readme.txt

B:\95\readme.txt
B:\96\readme.txt
B:\97\readme.txt
B:\98\readme.txt
B:\99\readme.txt
B:\94\readme.txt

B:\96\readme.txt
B:\97\readme.txt
B:\98\readme.txt
B:\99\readme.txt
B:\95\readme.txt

B:\97\readme.txt
B:\98\readme.txt
B:\99\readme.txt
B:\96\readme.txt

B:\98\readme.txt
B:\99\readme.txt
B:\97\readme.txt

B:\99\readme.txt
B:\98\readme.txt

а из сообщения


...
"B:\75\readme.txt" 
"B:\76\readme.txt" 
"B:\77\readme.txt" 
"B:\78\readme.txt" 
"B:\79\readme.txt" 
"B:\80\readme.txt" 
"B:\81\readme.txt" 
"B:\82\readme.txt" 
"B:\83\readme.txt" 
"B:\84\readme.txt" 
"B:\85\readme.txt" 
"B:\86\readme.txt" 
"B:\87\readme.txt" 
"B:\88\readme.txt" 
"B:\89\readme.txt" 
"B:\90\readme.txt" 
"B:\91\readme.txt" 
"B:\92\readme.txt" 
"B:\93\readme.txt" 
"B:\94\readme.txt" 
"B:\95\readme.txt" 
"B:\96\readme.txt" 
"B:\97\readme.txt" 
"B:\98\readme.txt" 
"B:\99\readme.txt"

С нуля или с единицы - суть не в том, а что в примере результат нужно прогонять через конструкцию вида:

cat dupfiles.txt | sort | uniq

Пока пробовал, нашёл ошибку у себя, исправленный вариант:

@echo off
set searchmask=*.*
set searchpath=%cd%
set psfx=%searchpath:~-1%
if %psfx% == \ (set searchpath=%searchpath:~0,-1%)
set psfx=
set workpath=%temp%\%random%_%random%
md %workpath%\dup
for /f "tokens=* delims=:" %%a in ('dir /b /s /on /a %searchpath%\%searchmask%') do (
if exist %workpath%\%%~nxa (fsutil hardlink create %workpath%\dup\%%~nxa %workpath%\%%~nxa 2>&1 >nul)
echo "%%a" >> %workpath%\%%~nxa)
2>nul type %workpath%\dup\*
rd /s/q %workpath%
exit /b 0

Или, ежели есть простой вариант реализации head, можно оставить с more.

Посмотрел пристально, head не поможет никаким боком.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-17T10:44:37Z

Вы ведёте счёт с единицы?

UNDYING. Честно говоря затрудняюсь ответить без примеров. Уж простите за большую порцию оффтопа. Я считаю, что программисты, авторы программ для работы с текстом были мудры, и создали свои программы так, чтобы они правильно считали нумерацию строк текстового файла, начинающуюся с единицы.

Примеры вывода пронумерованных строк исходного файла (unix, cygwin)


seq 11 15 | awk '{ print NR, $0; }'
seq 11 15 | perl -ple '$_ = "$. $_"'
seq 11 15 | sed =

more (unix) - опция +n утверждает "выводить, начиная со строки номер n" (поэтому +0 и +1 эквиваленты)


seq 11 15 | more +0
seq 11 15 | more +1
seq 11 15 | more +2

more (dos) - опция +n утверждает "пропустить n строк" (поэтому +0 выводит с начала файла, +1 пропускает одну строку и печатает, начиная со строки 2. И т.д.)


( for /l %l in ( 11, 1, 15 ) do @echo %l ) | more +0
( for /l %l in ( 11, 1, 15 ) do @echo %l ) | more +1
( for /l %l in ( 11, 1, 15 ) do @echo %l ) | more +2

====

Считаю, что в данном случае рэдмондские волшебники выбрали путь наименьшего сопротивления и считают строки с нуля, что в корне неверно - с нуля можно считать внутренние объекты программы (элемент массива, позиция в строке, позиция в файле и т.д.), но отображаемые объекты (в данном случае строки файла) должны нумероваться натуральными числами.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-17T07:08:48Z

Rumata, спасибо за оперативность.

Возможно это не правильная локализация, и часть фразы...

Вы ведёте счёт с единицы?

more +0 file

Выводит c 1-й строки (с точки зрения "программера" - с нулевой), при +1 со второй и т.д. Интересный баг, чуствуются души суровых бородатых мужчин с красными глазами.
more - это pager, который выбрасывает текст "страницей", т.е. "со строки N я выброшу страницу текста 80х25".

Я специально проверил на каталоге, в подкаталогах которого заведомо есть одноименные jpg-файлы. Были выбраны только дубликаты (имен файлов, естественно). Повторов не было. Команда more +n выбрана не случайно

Алгоритм, посмотрю ещё разок, может в скрипте недочёт, заодно попробую выяснить в чём причина и проверю на зоопарке XP, 2k3,2k8.
Для теста попробуйте прогнать пример, если не затруднит:

for /l %%a in (10,1,99) do (md %cd%\%%a
echo.>%cd%\%%a\readme.txt)

И скрипт, соответственно. Каков будет результат?

Я немного подумал, каким образом можно сократить кол-во циклов в скрипте, и в муках родил:

@echo off
set searchmask=*.*
set searchpath=%cd%
set workpath=%temp%\%random%_%random%
md %workpath%\dup
for /f "tokens=* delims=:" %%a in ('dir /b /s /on /a %searchpath%\%searchmask%') do (
if exist %workpath%\%%~nxa (fsutil hardlink create %workpath%\dup\%%~nxa %workpath%\%%~nxa 2>&1 >nul)
echo "%%a" >> %workpath%\%%~nxa)
2>nul type %workpath%\dup\*
rd /s/q %workpath%
exit /b 0

Один цикл, результат исполнения на том же "тазике" с тем же набором файлов ~2 сек.
Недостаток:

Для работы с программой FSUTIL требуются права администратора.

/off PowerShell в примере выше используется только для измерения времени исполнения cmd.exe /c %тестовый_скрип%. И да, он сильно непривычен, в сравнении tcsh/bash/zsh.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-17T05:51:24Z

Возможно это не правильная локализация, и часть фразы

... at line n

должна была бы читаться

... за строкой n

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-17T05:45:23Z

UNDYING, коллега! Я не понял Вашу фразу про "выброс". Я специально проверил на каталоге, в подкаталогах которого заведомо есть одноименные jpg-файлы. Были выбраны только дубликаты (имен файлов, естественно). Повторов не было. Команда more +n выбрана не случайно. Посмотрите еще раз приведенный мной алгоритм.

У меня нелокализованная версия Win Vista

+n      Start displaying the first file at line n

Это тоже самое, только на англ.

Но! При выполнении more +n пропускаются именно n первых строк. А это в корне противоречит справке по команде - "вывод файла со строки n". На самом деле "вывод файла со строки n+1".

На PS не пробовал, так как нет опыта написания скриптов на этом мудреном языке.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-17T05:32:25Z

Rumata изящнее, но не без недостатков. Обратите внимание на "выброс" в "dupfiles.txt", сказывается использование more:

+n Начало вывода первого файла со строки с номером n.

^^ по хелпу ясно, что more покажет строку N и (как минимум!) два десятка следущих, в итоге мы получаем опять борбу с дубликатами, уже в результирующем списке дублей.
Как бороться? Навскидку приходит решение через findstr (вместо more) - в итоге ещё один вложенный цикл и пару findstr в придачу. Работать будет, но "аццки" медленно, главные "тормоза" здесь циклы.
Или, ежели есть простой вариант реализации head, можно оставить с more.

Как бонус - сравнение скорости моего и вашего вариантов(findup и findup_2, соответственно), тестовая директория, 245 файлов, 5 уровней вложенности, 15 "дублей" (Win 7 pro, core 2 e5300):

PS H:\repository\releng\3rdparty> foreach ($n in 'findup.cmd', 'findup_2.cmd' ) {(Measure-Command {cmd.exe /r $n}).TotalMilliseconds}
44798,1988
31492,5062

Хотя из-за "разности" итогового списка - сравнивать не совсем корректно, но лаконизм на лицо, порядка 33-35 %.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-16T23:01:57Z

Коллега smaharbA показал образчик лаконизма и простоты решения:

dir /s /-c 1.mp3 | find /i "1.mp3"

Фактически, его пример и этот алгоритм решают проблему


@echo off

setlocal enabledelayedexpansion

:: Все найденные файлы сохраняются в файл %allfiles%
set "allfiles=allfiles.txt"

:: Все найденные дубликаты сохраняются в файл %dupfiles%
set "dupfiles=dupfiles.txt"

:: Ведется поиск файлов с расширением mp3
:: во всех подкаталогах текущего каталога
dir /b /s "*.mp3" >"%allfiles%"

set /a count=0

(
for /f "usebackq tokens=*" %%a in ( `
    type "%allfiles%" 
` ) do (
    set /a count+=1
    more +!count! "%allfiles%" | findstr /l /e /c:"\\%%~nxa" && (
        echo %%~a
        echo.
    )
)
)>"%dupfiles%"

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-16T15:02:10Z

Если откинуть первоначальное требование автора - поиск повторяющихся строк в файле, а сразу подступиться к поиску файлов с одинаковыми именами, то решение "в лоб":


@echo off
set SEARCHMASK=*.*
set SEARCHPATH=%CD%
set WORKPATH=%TEMP%\%RANDOM%_%RANDOM%
md %WORKPATH%\dup
md %WORKPATH%\nondup
for /f "tokens=* delims=:" %%A in ('dir /b /s /on /a %SEARCHPATH%\%SEARCHMASK%') do (
echo "%%A" >> %WORKPATH%\%%~nxA
)
for /f "tokens=* delims=:" %%A in ('dir /b /on /a-d %WORKPATH%') do (
(type %WORKPATH%\%%A | findstr /N "." | findstr /b "2:">nul) && (move %WORKPATH%\%%A %WORKPATH%\dup\%%A 2>&1 >nul) || (move %WORKPATH%\%%A %WORKPATH%\nondup\%%A 2>&1 >nul)
)
echo "Files with duplicate names:"
for /f "tokens=* delims=:" %%A in ('dir /b /on /a-d %WORKPATH%\dup') do (
echo %%A
type %WORKPATH%\dup\%%A
)
ping -n 4 127.0.0.1 >nul
rd /s/q %WORKPATH%

Из недостатков - защиты "от дурака" нет, файлы дожны быть, связка из type, двух findstr и move работает крайне (!) медленно. После запуска смело идите пить чай, разговаривать с девушками и заниматься другими не менее полезными и приятными вещами, правда это - уже оффтоп.
PS.
Писалось и проверялось на Win 7 Pro, на XP и 2k конструкция вида:


(type %WORKPATH%\%%A | findstr /N "." | findstr /b "2:">nul) && (move %WORKPATH%\%%A %WORKPATH%\dup\%%A 2>&1 >nul) || (move %WORKPATH%\%%A %WORKPATH%\nondup\%%A 2>&1 >nul)

может работать не так как надо.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-15T20:55:25Z

dir /s /-c 1.mp3 | find /i "1.mp3"

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-12T14:53:21Z

Rom5 пишет:

... удобнее использовать не "find", а "findstr"...

Разве автору достаточно сравнить имена файлов? Мне думается, что ему требуется сравнивать именно сами файлы и выводить дубли, если такие имеются. Хотя этот способ не сработает, если есть две одинаковые композиции (ведь сравнение изначально планировалось для mp3 файлов), но с разными тегами, то они распознаются как разные файлы.

Re: CMD/BAT: поиск в txt файле повторяшихся строк

2013-02-12T13:57:54Z

Rom5 пишет:

поискать примеры использования регулярных выражений

В .cmd?