ClipCursor( Confine=True, x1=0 , y1=0, x2=1, y2=1 ) {
 VarSetCapacity(R,16,0),  NumPut(x1,&R+0),NumPut(y1,&R+4),NumPut(x2,&R+8),NumPut(y2,&R+12)
Return Confine ? DllCall( "ClipCursor", UInt,&R ) : DllCall( "ClipCursor" )
}

Источник: https://www.autohotkey.com/boards/viewtopic.php?t=61487

upd:

Вопрос решен, мне нужно было просто хорошенько поискать.

Похожая тема но с окном: http://forum.script-coding.com/viewtopic.php?id=5329

На экране 1920 1080 есть область, к примеру, 100 на 100 и только в ней мышь может двигаться, при попытке выхода за границы должна упираться.