DetectHiddenWindows, On
windowID := WinExist("AHK_class Notepad") ; Окно вашего приложения

WinGet, procPID, PID, AHK_id %windowID%
SendMessage, WM_QUERYENDSESSION := 0x11,, 1,, AHK_id %windowID%
if ErrorLevel = 1
{
    PostMessage, WM_ENDSESSION := 0x16, 1,,, AHK_id %windowID%
    Sleep 5000
    Process, Close, %procPID%
} else {
    MsgBox, 4132, Внимание!, Приложение не отвечает`, закрыть его аварийно?, 5
    IfMsgBox Timeout
        PostMessage, WM_QUIT := 0x12,,,, AHK_id %windowID% ; или Process, Close, %procPID%
    IfMsgBox Yes
        PostMessage, WM_QUIT := 0x12,,,, AHK_id %windowID% ; или Process, Close, %procPID%
    Else
        SendMessage, WM_QUERYENDSESSION := 0x11,, 0,, AHK_id %windowID%
} 
; чистим Tray от оставшихся иконок, кому надо

Можно оформить в виде функции и радоваться.

   If (oWMI:=ComObjGet("winmgmts:").ExecQuery(query)).Count

Пробовал так

PostMessage, 0x12,,,, Калькулятор   ; WM_QUIT = 0x12

Не работает

Попробовал сегодня на другом компе вышеприведенные примеры, вроде все работает,  Там Windows 7  32.

Также пробовал режим совместимости с Windows XP для AHK выставить, один раз сработал taskkill, больше не работал.
Пробовал скачивать AHK 64 бит AutoHotkey_Lw64.zip не помогает.

f4::
Process, Close, calc.exe
RunWait taskkill /im calc.exe
return

Не завершает

taskkill тоже не помогает, если вести команду в командной строке DOS отлично работает, если через AHK RunWait то выдает на секунду окно,
недостаточно памяти для завершения операции,  и ноль эффекта

Единственное что сработало это

Run, calc.exe, , , process_id
Sleep 1000
Process, Close, %process_id%

А вот это уже не в какую

Process, Exist, calc.exe
pid=%ErrorLevel%
Process, Close, %pid%

Может глюки в системе Windows 7 64bit

Во всяком случае, блокнот с несохранённым текстом выдаёт "FAIL".

Наверно таймаут. При реальном выходе из системы тут как раз и должно появиться сообщение о том, что приложение зависло и предложение убить его.

Если приложение получает сообщение WM_QUERYENDSESSION, то оно должно получить и WM_ENDSESSION. Например для прокси-сервера вполне логично такое поведение: при получении WM_QUERYENDSESSION сохраняем настройки и перестаём устанавливать новые соединения, обрабатывая только уже имеющиеся. Теперь если не послать ему сообщение WM_ENDSESSION с отменой приказа о прекращении работы, то мы получим некорректно функционирующую программу.

Во время ломания все данные сохранились и приложение ждёт пока его убьют.

А ведь точно, Александр_, точно!

Во всяком случае, блокнот с несохранённым текстом выдаёт "FAIL". И зачем три, когда подходит только один?
И вместо

WinGet pid, pid, ahk_id %hWnd%
hproc:=DllCall("OpenProcess", "int", 0x0001,"int" , 0, "int", pid)
DllCall("TerminateProcess", "int", hproc, "int", -1)

проще

Process, Close, [Имя процесса]

ведь имя известно.

Не правильно

if ErrorLevel

т. к. если приложение не готово завершаться, ErrorLevel будет равен "FAIL", и условие выполнится всё равно.
Правильно, как в примере выше

if ErrorLevel = 1

если приложение не готово завершится, то там будет ноль(FALSE). А "FAIL" говорит о том, что сообщение не было отправлено. по хорошему там нужно три варианта учитывать, но я в примере ошибки намерено не отлавливал, чтобы показать механизм.

if ErrorLevel

т. к. если приложение не готово завершаться, ErrorLevel будет равен "FAIL", и условие выполнится всё равно.
Правильно, как в примере выше

if ErrorLevel = 1

Александр_, а как тогда закрывается Блокнот при завершении сеанса? Или он не реагирует только на эти сообщения посланные лично ему, а те же, но широковещательные — обрабатывает?

Примерный механизм с оконными приложениями:
1) Приложению посылается сообщение WM_QUERYENDSESSION с кодом ENDSESSION_LOGOFF. Точнее всем потокам процесса, имеющим цикл выборки. Заведует процессом оповещения csrss.exe.
2.1) Приложение возвращает TRUE, подтвердив готовность завершить работу.
2.2) Приложение возвращает FALSE.
3.1) Приложению посылается сообщение WM_ENDSESSION с WPARAM=TRUE. Во время обработки этого сообщения все данные должны быть сохранены. Если приложение не завершится само, то будет убито системой без предупреждения. На размышление даётся HKEY_CURRENT_USER\Control Panel\Desktop\HungAppTimeout или 5000 миллисекунд(по крайней мере в XP так было).
3.2) Приложению посылается сообщение WM_ENDSESSION с WPARAM=FALSE. Выключения не будет, отбой тревоги .

DetectHiddenWindows, On 
WM_QUERYENDSESSION:=0x11
WM_ENDSESSION     :=0x16
ENDSESSION_LOGOFF :=0x80000000

hWnd:=DllCall("FindWindowA","str","имя класса","str","заголовок окна")
WinGet pid, pid, ahk_id %hWnd%
SendMessage WM_QUERYENDSESSION, 0, ENDSESSION_LOGOFF, , ahk_id %hWnd%
if ErrorLevel
{
   SendMessage WM_ENDSESSION, 1, ENDSESSION_LOGOFF, , ahk_id %hWnd%
   hproc:=DllCall("OpenProcess", "int", 0x0001,"int" , 0, "int", pid)
   DllCall("TerminateProcess", "int", hproc, "int", -1)
}
else
{
   SendMessage WM_ENDSESSION, 0, ENDSESSION_LOGOFF, , ahk_id %hWnd%
   MsgBox приложение послало нас ...
}

скорее всего:
1) Во время ломания все данные сохранились и приложение ждёт пока его убьют.
2) Не тому окну отправили сообщение.