Также к недостаткам отнесу время работы вызываемой из Dll ф-ии GetPixel - 0.004 мс, что для FullHD дисплея выливается в 8 секунд

А заменить на lockbits не пробовали?

ColVar := Display_CompareColors(bgr1:="", bgr2:="", variat:="")

- параметры вызываемой ф-ии равны ""?.

{
bgr1 := colorBGR
bgr2 := searchColorBGR
variat := 5
}

- сначала вызываете ф-ию с пустыми параметрами, а потом присваиваете переменным, которые больше не используете, новое значение?

Поиграйтесь:

MsgBox % f1(5, 2)
MsgBox % f2(3, 7, 2) " c вариацией 2"
MsgBox % f2(3, 5, 3) " c вариацией 3"
MsgBox % f2(2+3, 5)
qwert:=7, asdf:=8
MsgBox % f2(qwert, asdf:=101)
Return

f1(a, b) {
	if (a > b) {
		Return % a ">" b
	}
	Return % a "<" b
}

f2(a, b, c:=0) {
	if Compare(a, b, c) {
		Return a "~" b
	}
	Return a " даже близко !=" b
}

Compare(haha, hoho, вариация) {
	If (Abs(haha - hoho) <= вариация)
		Return true ; true синоним 1
	Return false ; синоним 0
}

While (++x<x2)
		{
			colorBGR := DllCall("GetPixel", "UInt", hDC, "Int", x, "Int", y, "UInt")
			; OutputDebug % "[" Format("{:03}",x) "," Format("{:03}",y) "]: " Format("{:#08x}",colorBGR)
			ColVar := Display_CompareColors(bgr1:="", bgr2:="", variat:="")
			{
			bgr1 := colorBGR
			bgr2 := searchColorBGR
			variat := 5
			}
			if (ColVar = 1)
			{
				Return {x:x, y:y}
			}
		}

На большее ума не хватило.
Я так полагаю Display_CompareColors() возвращает "1" - подходит под сравнение, "0" - не подходит?
Вот так сравниваются colorBGR и searchColorBGR: "16777215 = 0x577AB9". Получается белый и коричневый. Причем colorBGR не в формате BGR.