Серый форум — AHK: Кириллица в URL

Re: AHK: Кириллица в URL

null@example.com (teadrinker) — Sun, 23 Aug 2015 23:38:16 +0000

Одинаково:

SetFormat, IntegerFast, H
str := "ЁЁ"
MsgBox, % NumGet(str, "UInt")
While code := NumGet(str, A_Index - 1, "UChar")
    MsgBox, % code

VarSetCapacity(var, StrPut(str, "UTF-8"))
StrPut(str, &var, "UTF-8")
MsgBox, % NumGet(var, "UInt")

While code := NumGet(var, A_Index - 1, "UChar")
    MsgBox, % code

В UTF-8 Ё — 0x81D0, a в URL — в обратном порядке: %D0%81

Re: AHK: Кириллица в URL

null@example.com (serzh82saratov) — Sun, 23 Aug 2015 23:31:53 +0000

Туго у меня с этим делом... Например почему в случае с "перебором" байтов в "UTF-8" всё по порядку?

Re: AHK: Кириллица в URL

null@example.com (teadrinker) — Sun, 23 Aug 2015 23:27:07 +0000

Чтение идёт от младших байтов к старшим.

Re: AHK: Кириллица в URL

null@example.com (serzh82saratov) — Sun, 23 Aug 2015 23:25:10 +0000

0x1 — это 0x01
0x4 — это 0x04
Вместе 0x0401

Жутко не понятно, почему не по порядку - 0x0104.

Re: AHK: Кириллица в URL

null@example.com (teadrinker) — Sun, 23 Aug 2015 23:22:22 +0000

А, ну да, может быть и четыре для всяких символов типа арабских. В AHK-Unicode строки кодируются в UTF-16, так что

encoding := "UTF-16" 
VarSetCapacity(var, StrPut(str, encoding))
StrPut(str, &var, encoding)

не нужно.

SetFormat, IntegerFast, H
str := "Ё" 

While code := NumGet(str, A_Index - 1, "UChar")
    MsgBox, % code

0x1 — это 0x01
0x4 — это 0x04
Вместе 0x0401

Re: AHK: Кириллица в URL

null@example.com (serzh82saratov) — Sun, 23 Aug 2015 23:08:41 +0000

UTF-16 — 2 байта на символ (16 бит).

Но может быть и 4?

wikipedia пишет:

Один символ кодировки UTF-16 представлен последовательностью двух байтов или двух пар байтов

Ещё меньше понимаю что за 1 потом 4 в этом коде:

SetFormat, IntegerFast, H
str := "Ё" 
encoding := "UTF-16" 
VarSetCapacity(var, StrPut(str, encoding))
StrPut(str, &var, encoding) 
While code := NumGet(Var, A_Index - 1, "UChar")
    MsgBox, % code

Re: AHK: Кириллица в URL

null@example.com (teadrinker) — Sun, 23 Aug 2015 22:56:59 +0000

SetFormat, IntegerFast, H
str := "ЁЁ"
VarSetCapacity(var, StrPut(str, "UTF-8"))
StrPut(str, &var, "UTF-8")
MsgBox, % NumGet(var, "UInt")

Re: AHK: Кириллица в URL

null@example.com (teadrinker) — Sun, 23 Aug 2015 22:43:55 +0000

UTF-16 — 2 байта на символ (16 бит).

SetFormat, IntegerFast, H
str := "ЁЁ"
MsgBox, % NumGet(&str, "UInt")

Re: AHK: Кириллица в URL

null@example.com (serzh82saratov) — Sun, 23 Aug 2015 22:24:29 +0000

Теперь ещё более непонятно, 0xD0 и 0x81 это цифровое представление двух байт в UTF-8.?
А какая связь 0x401 и UTF-16? В UTF-16 кажется 4 байта на символ, да и 0x401 не может быть представлением байта.

Re: AHK: Кириллица в URL

null@example.com (teadrinker) — Sun, 23 Aug 2015 22:10:51 +0000

С первым MsgBox понятно, а во втором число 0x401 как то логично "разбивается" на 0xd0 & 0x81?

Ё = 0x401 — это UTF-16, а %D0%81 — это UTF-8.

Re: AHK: Кириллица в URL

null@example.com (serzh82saratov) — Sun, 23 Aug 2015 18:55:17 +0000

Пара вопросов.
Сократил запись (хлебом не корми):


URIEncode(str, encoding := "UTF-8") {  
    VarSetCapacity(var, StrPut(str, encoding)), StrPut(str, &var, encoding) 
    While code := NumGet(Var, A_Index - 1, "UChar")
        UrlStr .= (code > 0x7F || code < 0x30 || code = 0x3D) ? Format("%{:02X}", code) : Chr(code) 
    Return UrlStr
}

Есть ли ошибки, и смущает расхождение с оригиналом:

SubStr("0" . SubStr(code, 3), -1)

После процента обязательно должно быть 2 знака?

И для общего развития, по поводу индекса в Unicode и значений байтов (собственно а есть ли тут связь?).

SetFormat, IntegerFast, h
 ; в комментариях значения как и в NumGet
str :=  ","  
MsgBox, % Ord(str) ; 0x2c

str :=  "Ё" 
MsgBox, % Ord(str) ; 0xd0 & 0x81

С первым MsgBox понятно, а во втором число 0x401 как то логично "разбивается" на 0xd0 & 0x81?

Ап: По поводу:

После процента обязательно должно быть 2 знака?

Разобрался, поправил.

Re: AHK: Кириллица в URL

null@example.com (teadrinker) — Wed, 19 Nov 2014 20:18:38 +0000

Немного сократил:

text := """кодировка URL"""
GoogleSearch := "https://www.google.ru/search?q="

MsgBox, % url := GoogleSearch . URIEncode(text)
Run, % url

URIEncode(str, encoding := "UTF-8")
{
   PrevFormat := A_FormatInteger
   SetFormat, IntegerFast, H
; кодируем стоку в указанную кодировку с помощью StrPut()
   VarSetCapacity(var, StrPut(str, encoding))
   StrPut(str, &var, encoding)
; последовательно перебирая символы, кодируем их в URL-формат   
   While code := NumGet(Var, A_Index - 1, "UChar")   ; пока code не равно 0, что означает конец строки
   {
      bool := (code > 0x7F || code < 0x30 || code = 0x3D)   ; отсеиваем символы, которые кодировать не нужно
      UrlStr .= bool ? "%" . SubStr("0" . SubStr(code, 3), -1) : Chr(code)
   }
   SetFormat, IntegerFast, % PrevFormat
   Return UrlStr
}

Re: AHK: Кириллица в URL

null@example.com (serzh82saratov) — Wed, 19 Nov 2014 17:09:40 +0000

Тоже не понял в каких случаях, но если пример универсален, то поддерживаю, надо в коллекцию.

Re: AHK: Кириллица в URL

null@example.com (teadrinker) — Wed, 19 Nov 2014 17:02:11 +0000

Можно, хотя я так и не понял, в каких конкретно случаях требуется конвертировать в ANSI.

Re: AHK: Кириллица в URL

null@example.com (ypppu) — Wed, 19 Nov 2014 09:47:34 +0000

Предлагаю пример в Коллекцию. Это становится актуально.