Здесь мы уже работали с сокетами, в данном случае можно тоже воспользоваться.
Из приложенного примера:
1) 16-ая строка закомментирована, т.е. скорее всего тупо забыта и будет присутствовать постоянно "// // alert("Нехватает "+(themeCost-money)+" рейтинга");", там есть русские буквы, можно по ним проверить кодировку. Там много строк, которые кажутся постоянными.
2) Строка 27- "<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">".

Как можно заметить, первый байт есть ни что иное, как русские символы "Р" и "С". Так что на них ориентироваться нельзя, можно попробовать отслеживать "кроказябры", идущие после Наших "Р" и "С" (коды их 208 и 209 DEC).

Нужно искать константы, которые занимают несколько байт в юникоде или исследовать частоты. Если в строке на русском языке много крокозябр(неалфавитных символов) или слишком много букв "С" и "Р"(гласные "о", "а", "е", "и" и согласные "н", "т" встречаются чаще чем любая из них).

Благодарю за помощь.

Нужно искать константы, которые занимают несколько байт в юникоде или исследовать частоты. Если в строке на русском языке много крокозябр(неалфавитных символов) или слишком много букв "С" и "Р"(гласные "о", "а", "е", "и" и согласные "н", "т" встречаются чаще чем любая из них).

Resager пишет:

Скачиваю файл с HTTP...

Кстати говоря, там в поле "Content-Type" заголовка кодировка не указана?

Указана, text/html; charset=UTF-8 но как это глянуть то? Скачиваю я через UrlDownloadToFile

Рабочий день заканчивался, меня с работы выгоняли. Торопился

Прикрепил.

Нашел вот такую информацию в википедии:

Значит, вероятно можно запускать проверку старших битов каждого байта/кода символа. (что однако проблематично, с точки зрения быстродействия). Можно однако после первого найденого такого символа сразу конвертировать файл.
К примеру, символ скобки, закодированный как 0x3C ("<") в двоичной выглядит так: 00111100
А символ (кирилица) ("О")/UTF-8 или ("Рћ")/ASCII с кодом 0xD0 & 0x9E имеет двоичный код такой 11010000 & 10011110
А символ (кирилица) ("с")/UTF-8 или ("СЃ")/ASCII с кодом 0xD1 & 0x81 имеет двоичный код такой 11010001 & 10000001
Как можно заметить, первый байт есть ни что иное, как русские символы "Р" и "С". Так что на них ориентироваться нельзя, можно попробовать отслеживать "кроказябры", идущие после Наших "Р" и "С" (коды их 208 и 209 DEC).
...
Все же необходимо знать кодировку.
Узнать Http заголовок можно с помощью функции, ОТСЮДА
Ну Регулярное выражение что бы достать кодировку, можно задать как-то так:

Content-Type\:(?!charset).*?charset=(.*?)$

Скачиваю файл с HTTP...

Кстати говоря, там в поле "Content-Type" заголовка кодировка не указана?

Александр_ пишет:

Написал небольшой скрипт (впрочеим он не находит нужного)

я этого не писал .

Есть возможно прикрепить к сообщению пример тестируемого файла? А лучше несколько примеров .

Написал небольшой скрипт (впрочеим он не находит нужного)

#Include consolesender.ahk 

testUTFSignatyre(teststring)
{
    flagIsPreUTF := 0
    flagIsUTF := 0    
    Loop, parse, teststring
    {
        Transform, CharCode, Asc, %A_LoopField%
        console(CharCode . A_Tab . A_LoopField)
        if (CharCode=239)
        {
            flagIsPreUTF := 0
            ;msgbox, %A_LoopField%
        }
        if (flagIsPreUTF=1)
            if (CharCode=187)
                flagIsPreUTF := 1
        if (flagIsPreUTF=2)
            if (CharCode=191)
                flagIsUTF := 1
        if (flagIsUTF=1)
            return 1
    }
    return 0
}
filename := "catpage.html"
    console("====Читаем файл")
    FileRead, file, % filename
    console("=====Проверяем кодировку на UTF-8")
    rezulcode := testUTFSignatyre(file)
    if(rezulcode=1)
        console("UTF-8")
    else
        console("CP1251")
    msgbox, %rezulcode%

На строку:

Начал выводить это (моя консолька, корявая выводит так)

Как видим, БОМ нет Как определить такой файл и не знаю (поторопился, скзав что нет пробем)

Файл этот UTF-8 без BOM. Даже Filec.Encoding возвращает CP1251. Однако при чтении, как только дело до русских букв доходит, то появляются кракозябры.

Это плохо, тогда только по косвенным признакам. Можно проверить файл на неиспользуемые UTF-8 байты, но на этот тест я бы полагаться не стал. Надёжнее будет частотный анализ, исходя из предполагаемого содержимого файла(русско-английский текст, xml-файл, tex-документ и т.д.) можно оценить вероятность каждой из кодировок. Правда это не самый быстрый путь, но универсальный.

Может там несколько файлов, склеенных в один или перед файлом идёт какой-то пролог?

У UTF-8 есть специальная сигнатура(BOM)- 0xEF-0xBB-0xBF.

Файл этот UTF-8 без BOM. Даже Filec.Encoding возвращает CP1251. Однако при чтении, как только дело до русских букв доходит, то появляются кракозябры.

Хм... так. Зато можно встретить эту сигнатуру посередине файла. Теперь проблема с кодировкой решена.

FileEncoding, UTF-8
FileRead, VAR, ...

потому как если файл в CP1251, то при попытке открыть его как UTF-8 и потом ещё и сохранить в cp1251, символы русские просто пропускаются.