VBS: Изменение условия скачивания

Здравствуйте, Xameleon. Если под ресурсом имеется в виду набор для запуска скрипта — то нужен WGET и три файла рядом: "start.cmd", "scriptsplit.vbs" и "lst.txt" со списком ссылок. Сливание в один файл использую, потому что для некоторых задач это более удобно: к примеру, скачать 100 тысяч файлов с мусором на страницах, а потом извлечь из них с PowerGrep только нужные фрагменты, формируя файлы на лету и т.п. Также при скачивании с VK API это широко использую.

Есть ещё такой вариант скрипта с подсчётом ссылок, но он почему-то кроме создания первого файла — ничего не скачивает:

Const ReferencesCount = 10 ' ссылок на файл '
Dim Buffer ' буфер приёма и парсинга ссылок '
Dim NextRef ' буфер под выделение ссылки '
Dim RefCount ' количество ссылок, записанных в файл '
Dim FSO,stdin,Count,CurrFile ' переменные из исходного кода '

Set FSO = CreateObject("Scripting.FileSystemObject") 
Set stdin = FSO.GetStandardStream(0) 
Count = 0 
Set CurrFile = FSO.CreateTextFile("lst" & CStr(Year(Date())) & "-" & Right("0" & CStr(Month(Date())), 2) & "-" & Right("0" & CStr(Day(Date())), 2) & "_" & Replace(Time,":","-") & Count & ".htm",1) 
Do Until stdin.AtEndOfStream 
    Buffer = Buffer & stdin.Read(1024)
    NextRef = ExtractRef(Buffer)
    Do Until NextRef = ""
        CurrFile.Write NextRef & vbNewLine ' по одной ссылке на строку '
        RefCount = RefCount + 1
        If RefCount>= ReferencesCount Then
            CurrFile.Close
            Count = Count + 1
            Set CurrFile = FSO.CreateTextFile("lst" & CStr(Year(Date())) & "-" & Right("0" & CStr(Month(Date())), 2) & "-" & Right("0" & CStr(Day(Date())), 2) & "_" & Replace(Time,":","-") & Count & ".htm",1) 
            RefCount = 0
        End If
        NextRef = ExtractRef(Buffer)
    Loop
Loop 
CurrFile.Close

Function ExtractRef(ByRef Buffer)
Dim Border ' Граница первой ссылки в буфере '

Buffer = Trim(Buffer)
Border = Instr(Buffer, " ") ' если разделитель ссылок - пробел '
If Border = 0 Then 
    ExtractRef = ""
Else
    ExtractRef = Trim(Left(Buffer, Border))
    Buffer = Mid(Buffer, Border)
End If
End Function

Xameleon, обычно качать нужно для последующего извлечения каких-то данных:
— это могут быть айди постов, которые беру по вызовам из процедуры execute (несколько пакетов идут в один файл);
— либо если это данные, которые не нужны в разрозненном виде;
— или когда у файлов длинные случайные имена (было такое) и проще всё слить вместе, а потом извлекать нужное;
— или когда скачать нужно, составив ссылки в определенной последовательности, — например, когда сначала скачивается пост, потом список его лайкеров и комменты (есть пара групп, которые мне нужны в таком виде), чтобы затем из кучи отправлять это по отдельным файлам. При этом, при скачивании самих постов, API не использую из-за ограничений по вызовам — вместо API такие ссылки:

Пост: https://vk.com/wkview.php?act=show& … set=999999
Лайки 1: https://vk.com/wkview.php?act=show& … fset=false
Лайки 2: https://vk.com/wkview.php?act=show& … ;offset=60
Коммы 1: https://vk.com/al_wall.php?act=get_repl … p;offset=0
Коммы 2: https://vk.com/al_wall.php?act=get_repl … offset=100

— или же просто надо получить ссылки со ста+ страниц, скачав их в одно место, чтобы затем извлечь из них ссылки или что другое...

В этом смысле, как будет действовать метод DOM дерева? Ведь вроде, чтобы получить нечто со страниц — их всё равно надо предварительно скачать?

API — для получения инфы о постах, количестве лайков и т.п., а эти страницы не совсем обычные, так как в них минимум лишнего кода, в отличие от стандартных — с тегами BODY и т.п.

Интересно, спасибо. Взглянул бы на ресурс)).

DD,

Думаю да. Надо попробовать. Давно с этим ковырялся. Попробую найти свой код.

Xameleon, здравствуйте.
Ясно, спасибо. Случаем, о коде не из этой ли темы речь? — http://forum.script-coding.com/viewtopi … 032#p81032.

Xameleon

Кстати, а возможно то же самое для приводившихся мной ссылок, которые не требуют регистрации и не имеют ограничений по вызовам? Когда берется ссылка с комментариями вида —

https://vk.com/al_wall.php?act=get_replies&al=1&post=-20629724_1061727&offset=0

и к каждому комментарию формируется ссылка с лайками вида —

https://vk.com/wkview.php?act=show&al=1&w=likes/wall_reply-20629724_1061730&offset=0

Соответственно, это комментарий https://vk.com/wall-20629724_1061727?reply=1061730 и список его лайкеров.

Применим ли код по такому сценарию?

Malcev, можно пример таких ссылок? Так как пользуюсь общедоступными страницами, регистрация не особо нужна.

Malcev, а как скачивать и докачивать (лайкеров к комментариям), — если ссылки на скачивание уже известны (посты, их лайкеры и комменты)?

Malcev
Начал было писать это дело, но потом застрял на необходимости подпрограмм, формирующих цифровые шаги для под-страниц к комментариям, а также к лайкам к постам/комментариям, и тут же со скачиванием их... То есть, трудность не в парсинге отдельной страницы или в определении ссылок (так как эти запросы я изначально использовал и их можно формировать, исходя из ссылки к посту/комментарию), а в отсутствии шаблона загрузки — с подзагрузкой (как выразился Xameleon: "ветвлений кода"), с учётом под-страниц. Когда, например, из файла берется ссылка на пост — по ней выясняется количество коментов и лайков, пост сохраняется в HTML-файл — с чем проблем нет. Но непонятно, как на месте разворачивать ссылки с шагами подстраниц на ЛайкиКПосту и к комментариям, а потом ещё и к лайкам к комментариям, которые тоже могут быть с пагинацией. Вообщем, тяжко без шаблончика, аль чертежа)).