Серый форум — VBS: Изменение условия скачивания

Re: VBS: Изменение условия скачивания

null@example.com (Malcev) — Tue, 10 Apr 2018 21:09:33 +0000

Не понимаю про какие подпрограммы вы пишите.
Я пристально этой темой не занимался, но в принципе все данные о "шагах" и их количестве должны выдаваться в ответе пост-запроса.
Например разберем эту ссылку:
https://vk.com/team?w=wall-22822305_377885
При отправлении постзапроса на https://vk.com/al_wall.php с данными act=get_replies&al=1&count=20&from=wkview&offset=0&post=-22822305_377885&rev=0
Выдаётся ответ в котором написано:
!json>{"num":20,"count":260,"offset":"0"}
Из чего можно сделать вывод о количестве текущих сообщений, об общем количестве сообщений и текущем отступе.
Кстати максимум текущих сообщений можно получить 100, то есть отправлять в пост-запросе:
act=get_replies&al=1&count=100&from=wkview&offset=0&post=-22822305_377885&rev=0
Когда получили все сообщения - проходите их регуляркой для определения количества лайков каждого сообщения.
И если лайки у сообщения есть, то определяете его ссылку и отправляете ее в пост-запросе.
После чего вы получаете информацию о лайкнувших.
И дальше используете такую же схему.

Re: VBS: Изменение условия скачивания

null@example.com (DD) — Tue, 10 Apr 2018 18:45:51 +0000

Malcev
Начал было писать это дело, но потом застрял на необходимости подпрограмм, формирующих цифровые шаги для под-страниц к комментариям, а также к лайкам к постам/комментариям, и тут же со скачиванием их... То есть, трудность не в парсинге отдельной страницы или в определении ссылок (так как эти запросы я изначально использовал и их можно формировать, исходя из ссылки к посту/комментарию), а в отсутствии шаблона загрузки — с подзагрузкой (как выразился Xameleon: "ветвлений кода"), с учётом под-страниц. Когда, например, из файла берется ссылка на пост — по ней выясняется количество коментов и лайков, пост сохраняется в HTML-файл — с чем проблем нет. Но непонятно, как на месте разворачивать ссылки с шагами подстраниц на ЛайкиКПосту и к комментариям, а потом ещё и к лайкам к комментариям, которые тоже могут быть с пагинацией. Вообщем, тяжко без шаблончика, аль чертежа)).

Re: VBS: Изменение условия скачивания

null@example.com (Malcev) — Tue, 10 Apr 2018 15:04:20 +0000

Смотрите, что отправляется в запросах и повторяете тоже самое в своем скрипте.
Чтобы получить данные по этой ссылке
https://vk.com/topic-47923094_28662818?offset=0&w=likes%2Ftopic_comment-47923094_195
нужно отправить POST запрос на
https://vk.com/wkview.php
с данными
act=show&al=1&is_znav=1&loc=topic-47923094_28662818&w=likes%2Ftopic_comment-47923094_195
Потом проходитесь регуляркой и получаете список лайкеров.

Re: VBS: Изменение условия скачивания

null@example.com (DD) — Tue, 10 Apr 2018 14:34:01 +0000

Malcev, а как скачивать и докачивать (лайкеров к комментариям), — если ссылки на скачивание уже известны (посты, их лайкеры и комменты)?

Re: VBS: Изменение условия скачивания

null@example.com (Malcev) — Tue, 10 Apr 2018 14:05:03 +0000

Каких ссылок?
Алгоритм по которому действую я, написал тут:
http://forum.script-coding.com/viewtopi … 30#p124530
В vk на автохотки авторизироваться можно так:

email := "email"
password := "password"

HTTP := ComObjCreate("WinHTTP.WinHTTPRequest.5.1")
HTTP.Open("GET", "https://vk.com/", true)
HTTP.SetRequestHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko)")
HTTP.SetRequestHeader("Pragma", "no-cache")
HTTP.SetRequestHeader("Cache-Control", "no-cache, no-store")
HTTP.SetRequestHeader("If-Modified-Since", "Sat, 1 Jan 2000 00:00:00 GMT")
HTTP.Send()
HTTP.WaitForResponse()
RegexMatch(HTTP.ResponseText, "s)name=""ip_h"" value=""(.+?)"".+?name=""lg_h"" value=""(.+?)""", match)
PostData := "act=login&role=al_frame&expire=&recaptcha=&captcha_sid=&captcha_key=&_origin=https`%3A`%2F`%2Fvk.com&ip_h=" match1 "&lg_h=" match2 "&email=" email "&pass=" password

HTTP.Open("POST", "https://login.vk.com/?act=login", true)
HTTP.SetRequestHeader("Content-Type", "application/x-www-form-urlencoded")
HTTP.SetRequestHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko)")
HTTP.SetRequestHeader("Pragma", "no-cache")
HTTP.SetRequestHeader("Cache-Control", "no-cache, no-store")
HTTP.SetRequestHeader("If-Modified-Since", "Sat, 1 Jan 2000 00:00:00 GMT")
HTTP.Send(PostData)
HTTP.WaitForResponse()
msgbox % clipboard := HTTP.ResponseText

Re: VBS: Изменение условия скачивания

null@example.com (DD) — Tue, 10 Apr 2018 13:59:18 +0000

Malcev, можно пример таких ссылок? Так как пользуюсь общедоступными страницами, регистрация не особо нужна.

Re: VBS: Изменение условия скачивания

null@example.com (Malcev) — Tue, 10 Apr 2018 12:47:57 +0000

DD, а почему вы не хотите логиниться в vk и скачивать оттуда нужные страницы через GET/POST запросы?
А потом парсить их через регулярные выражения либо htmlfile?

Re: VBS: Изменение условия скачивания

null@example.com (DD) — Mon, 09 Apr 2018 23:08:05 +0000

Xameleon

Кстати, а возможно то же самое для приводившихся мной ссылок, которые не требуют регистрации и не имеют ограничений по вызовам? Когда берется ссылка с комментариями вида —

https://vk.com/al_wall.php?act=get_replies&al=1&post=-20629724_1061727&offset=0

и к каждому комментарию формируется ссылка с лайками вида —

https://vk.com/wkview.php?act=show&al=1&w=likes/wall_reply-20629724_1061730&offset=0

Соответственно, это комментарий https://vk.com/wall-20629724_1061727?reply=1061730 и список его лайкеров.

Применим ли код по такому сценарию?

Re: VBS: Изменение условия скачивания

null@example.com (Xameleon) — Mon, 09 Apr 2018 21:50:52 +0000

DD, не не. Это для авторизации на обычный сайт. А я отдельно собирал код на js для vk.api. Допилил обработку редиректов, которые происходят при подтверждении всяческих разрешений для приложения. Приходилось автоматизировать отправку данных форм, который VK высовывал в GUI. Но теперь стало ещё сложнее. Так как требуется вводить код из смс.

Re: VBS: Изменение условия скачивания

null@example.com (DD) — Mon, 09 Apr 2018 21:45:28 +0000

Xameleon, здравствуйте.
Ясно, спасибо. Случаем, о коде не из этой ли темы речь? — http://forum.script-coding.com/viewtopi … 032#p81032.

Re: VBS: Изменение условия скачивания

null@example.com (Xameleon) — Mon, 09 Apr 2018 10:42:27 +0000

DD, доброго дня. К сожалению, пока порадовать не смогу. Код нашёл, попробовал запустить, не отрабатывает. Я так понял, что с тех пор сменилась авторизация в API и добивалась двухфакторная авторизация. Так что, как руки дойдут, попробую довести до ума.

Re: VBS: Изменение условия скачивания

null@example.com (Xameleon) — Fri, 06 Apr 2018 15:51:10 +0000

DD,

а можно было бы DOM использовать в таком формате: качать пост (как по ссылке выше), лайкеров — а потом комменты по отдельности и последовательно лайки к ним? Чтобы шли по очереди: коммент — список лайкеров, коммент — список лайкеров?

Думаю да. Надо попробовать. Давно с этим ковырялся. Попробую найти свой код.

Re: VBS: Изменение условия скачивания

null@example.com (DD) — Fri, 06 Apr 2018 11:19:06 +0000

Xameleon, а можно было бы DOM использовать в таком формате: качать пост (как по ссылке выше), лайкеров — а потом комменты по отдельности и последовательно лайки к ним? Чтобы шли по очереди: коммент — список лайкеров, коммент — список лайкеров?

Re: VBS: Изменение условия скачивания

null@example.com (DD) — Fri, 06 Apr 2018 11:12:18 +0000

Xameleon пишет:

Т.е работаете с обычными страницами vk ? А какую тогда роль играет api ?

API — для получения инфы о постах, количестве лайков и т.п., а эти страницы не совсем обычные, так как в них минимум лишнего кода, в отличие от стандартных — с тегами BODY и т.п.

Xameleon пишет:

можно работать с загруженными данными сразу в памяти.

Интересно, спасибо. Взглянул бы на ресурс)).

Re: VBS: Изменение условия скачивания

null@example.com (Xameleon) — Fri, 06 Apr 2018 11:03:10 +0000

DD,
1) Понял. К сожалению, таким способом не пробовал, поэтому сразу ответить и чем-то помочь затрудняюсь. Надо подумать.
2)

В этом смысле, как будет действовать метод DOM дерева? Ведь вроде, чтобы получить нечто со страниц — их всё равно надо предварительно скачать?

Да, Вы конечно же правы - скачивать в любом случае придётся. Я имел в виду, что нет нужды сохранять всё это на диск, а можно работать с загруженными данными сразу в памяти и возможно в некоторых случаях ветвления кода можно принять решение о необходимости загрузки только части ресурсов.

API не использую из-за ограничений по вызовам

Т.е работаете с обычными страницами vk ? А какую тогда роль играет api ?