Серый форум — AHK: Можно ли ускорить парсинг?

Re: AHK: Можно ли ускорить парсинг?

null@example.com (Next) — Thu, 04 Jul 2013 16:44:19 +0000


loop, 250000
    {
    var := StrGet(addr, 9)
    addr := addr + 22
    }

Всё вместе занимает меньше полсекунды. Очень мощная штука. Спасибо!

Re: AHK: Можно ли ускорить парсинг?

null@example.com (YMP) — Thu, 04 Jul 2013 13:49:58 +0000

Irbis
Да, верно. Исправил.

Re: AHK: Можно ли ускорить парсинг?

null@example.com (Irbis) — Thu, 04 Jul 2013 13:37:26 +0000

в коде поста #19 исправил первую строку )) Почему-то вместо "22 : 11" отправил вариант "16 : 8"

YMP, тогда уж

addr := addr + 22

иначе при каждой итерации addr будет прирастать на всё бОльшую величину, а не на фиксированный шаг.

Re: AHK: Можно ли ускорить парсинг?

null@example.com (YMP) — Thu, 04 Jul 2013 13:23:29 +0000

Next пишет:

У меня Win7. Значит в строке 10 символов: 9 - цвет и 1 перевод строки.

А как это связано с Win7? У меня, кстати, тоже она. AutoHotkey юникодный. В строке 11 2-байтных символов — 9 цвет и 2 новая строка: возврат каретки и перевод строки. В байтах длина строки будет 22.

У меня ваш код работает после таких исправлений:

FileRead, text_file, D:\путь\str.txt
addr := &text_file
loop, 10
    {
    MsgBox, % "Stroka: "  StrGet(addr, 9)
    addr := addr + 22
    }

Re: AHK: Можно ли ускорить парсинг?

null@example.com (Irbis) — Thu, 04 Jul 2013 13:05:32 +0000

Все же рекомендую отказаться от многоступенчатых преобразований туда-сюда, при первой возможности. По поводу "что я делаю неправильно" :

d := A_IsUnicode ? 22 : 11
FileRead, text_file, %A_ScriptDir%\str.txt
addr := &text_file - d
loop 200
   MsgBox % "Stroka: " . StrGet(addr+=d, 9)

Re: AHK: Можно ли ускорить парсинг?

null@example.com (Next) — Thu, 04 Jul 2013 12:54:50 +0000

Irbis пишет:

Использование именно такого варианта обусловлено какими причинами, если не секрет?

Секрета нет. Причина одна - неумение использовать более продвинутые варианты. Хотя начинал конечно с вида "FF9A12", но увидев, что я иногда не в состоянии обработать нужным образом такие величины, всё равно каждый раз преобразую в "010 223 107", а потом назад "шифрую" в HEX, просто перешёл на тот вариант, который обсуждается.

Спасибо за совет, но пока я воспользоваться им не в состоянии.

Re: AHK: Можно ли ускорить парсинг?

null@example.com (Irbis) — Thu, 04 Jul 2013 12:31:51 +0000

Ускорять обработку (читай: оптимизировать) нужно не с середины, а с начала, если имеется такая возможность. Возникает вопрос о происхождении текстового файла с цветами точек, заданными к тому же в десятичном, а не в HEX формате, что было бы еще как-то понятно. Использование именно такого варианта обусловлено какими причинами, если не секрет? Дело в том, что если описать этот массив точек в двоичном формате (4 байта на точку - для скорости), то файл займет меньше мегабайта, что уже даст прирост по скорости чтения. А загрузив его в переменную, можно извлекать цвета нужных точек посредством NumGet, или же вообще поручить это процедуре в машинных кодах, получив значительный прирост в производительности скрипта.

Re: AHK: Можно ли ускорить парсинг?

null@example.com (Next) — Thu, 04 Jul 2013 12:19:48 +0000

YMP пишет:

Адрес переменной, куда считан файл, узнаётся оператором &.
addr := &Var
Это и будет адрес буфера с текстом. Прибавьте к нему смещение нужной строки от начала и получите её адрес. Если версия AutoHotkey юникодная, то каждый символ занимает 2 байта. Между строками два невидимых символа, возврат каретки и перевод строки, т.е. 4 байта. Если версия не юникодная, тогда считайте по 1 байту на символ.

У меня Win7. Значит в строке 10 символов: 9 - цвет и 1 перевод строки. Пробовал по всякому. Находится почему-то то, чего в файле нет.
Я попробовал даже читать подряд, пока поймаю существующую строку:



FileRead, text_file, D:\путь\str.txt
addr := &text_file
loop, 200
    {
    addr := addr + A_index
    MsgBox, % "Stroka: "  StrGet(addr, 10, 0)
    }

Выдаётся вообще по одной цифре "0", то "5". Что я делаю неправильно?

Re: AHK: Можно ли ускорить парсинг?

null@example.com (Next) — Thu, 04 Jul 2013 11:55:29 +0000

По алгоритму, думаю можно смотреть ответ YMP. Из того что я понял в этом коде я делаю вывод, что он всё понял правильно.

Re: AHK: Можно ли ускорить парсинг?

null@example.com (Next) — Thu, 04 Jul 2013 11:50:18 +0000

Извините, что так путано объясняю. Попробую ещё раз.

Цвет каждой точки записаны в одну строку. Каждая новая строка - новый цвет. Всего точек 500х500. В файле первые 500 строк - первый ряд точек, 501-я строка цвет первой точки во втором ряду. Цвет точки 125х358 находится в строке №179125 = 500 x 358 + 125.
Чтобы узнать не является ли точка, ниже обрабываемой в данный момент 125х358, чёрной, нужно вычислить её строку и прочитать её. В нашем случае это строка 179625 = 125 + 359 x 500.

Re: AHK: Можно ли ускорить парсинг?

null@example.com (serzh82saratov) — Thu, 04 Jul 2013 11:01:29 +0000

Видимо я глуп. Но мне надо объяснять на цифрах (алгоритме). На пальцах (картинках) я не пойму. Вы сейчас предлагаете мне выработать некий новый алгоритм вычисления. Или объяснить свой?
Я не вижу отношения к приведённым ранее "текстам".

У вас есть одна строка (весь текст 250 файлов), в которой надо найти нужную цифру.?
Дальнейшие критерии поиска остальных строк, исходя из найденной - мне всё таки не ясны.
Картинки это хорошо. Работаем то с текстом.
Как в строке с набором цветов, определяется их принадлежность к координатам.?

Re: AHK: Можно ли ускорить парсинг?

null@example.com (Next) — Thu, 04 Jul 2013 10:49:09 +0000

serzh82saratov пишет:

Простите, а как её тут можно применить?
Когда пойму это:

Для примера. Это фрагмент квадрата 500х500. Проверяется очередная точка. Её координаты относительно начала квадрата 125х358. Нужно определить цвета соседних точек. Они расположены в квадрате 3x3 c центром, расположенным в проверяемой точке.

Re: AHK: Можно ли ускорить парсинг?

null@example.com (YMP) — Thu, 04 Jul 2013 10:10:08 +0000

Вот для примера две функции, получающие цвет по координатам и координаты по цвету. Написаны в предположении, что АНК юникодный и точки квадрата в файле описаны ряд за рядом, а не колонка за колонкой.


file = d:\prog\temp\colors.txt
FileRead, buf, %file%

color = 241014233

If CoordsFromColor(color, x, y)
    MsgBox, X: %x% Y: %y%
Else
    MsgBox, Цвет не найден

ColorFromCoords(color, x, y)

MsgBox, Color: %color%


CoordsFromColor(color, ByRef x, ByRef y)
{
    global buf
    pos := InStr(buf, color)
    If (pos = 0)
        Return False
    pos := (pos - 1) // 11
    x := Mod(pos, 500)
    y := pos // 500
    Return True
}

ColorFromCoords(ByRef color, x, y)
{
    global buf
    addr := &buf + (y * 500 + x) * 22
    color := StrGet(addr, 9)
}

Re: AHK: Можно ли ускорить парсинг?

null@example.com (serzh82saratov) — Thu, 04 Jul 2013 09:23:42 +0000

Простите, а как её тут можно применить?

Когда пойму это:

Next пишет:

Нужно найти точки с определёнными критериями и проверить точки, которые их окружают.
Допустим в координатах
x125 y358
есть чёрная точка и нужно проверить сколько ещё таких же точек есть вокруг неё. Т.е. нужно проверить квадрат 3х3 с углами в точках x124 y357 и x126 y358.
Для этого нужно найти в файле строки соответствующие этим точкам и проверить их. Важное обстоятельство в том, что при парсинге, если обнаружена искомая точка, то проверять нужно в том числе и 4 точки до которых дело ещё не дошло, и мы о них ничего не знаем.

и привязку оного, к приведённому набору цифр, то наверное скажу.

Re: AHK: Можно ли ускорить парсинг?

null@example.com (YMP) — Thu, 04 Jul 2013 02:13:37 +0000

Next пишет:

Как узнать адрес для StrGet так и не понял.

Адрес переменной, куда считан файл, узнаётся оператором &.


addr := &Var

Это и будет адрес буфера с текстом. Прибавьте к нему смещение нужной строки от начала и получите её адрес. Если версия AutoHotkey юникодная, то каждый символ занимает 2 байта. Между строками два невидимых символа, возврат каретки и перевод строки, т.е. 4 байта. Если версия не юникодная, тогда считайте по 1 байту на символ.