В первом примере у вас путаница с названиями: при компиляции testDDL, при обращении — testDLL.

Это опечатка тут на форуме (уже исправила), я просто руками команды набирала и ошиблась, а так у меня все компилируется автоматически и имена фалов тоже автоматом вставляются.

Да это обязательно иначе не заработает.

Вот рабочее решение:
Файл testDLL.cpp будущей .dll:

#include <stdio.h>

#define DLLEXPORT __declspec(dllexport)
#define DLLIMPORT __declspec(dllimport)

#ifdef __cplusplus
extern "C" {
#endif

    DLLEXPORT long int testfunc(long int a, long int b)
    {
        return a + b;
    }

#ifdef __cplusplus
}
#endif

Вот содержимое кода AutoHotkey:

; --- тест вызова dll (кнопка поиск на мультимедиа клаве) ---
Browser_Search::
    Result := DllCall("testDLL.dll\testfunc", "Int", 10, "Int", 20 ,"CDecl")
    MsgBox, DLL вернула значение: %Result% , ErrorLevel: %ErrorLevel%
return

Результат работы с C# библиотекой, на выходе имеем:
DLL вернула значение:  30, ErrorLevel: 0

Слава богу, заработало!

using System;
public class ClassFunc
{
    public int testfunc(int a, int b)
    {
        return a + b;
    }
}

Команда для компиляции этого файла:
csc.exe /t:library /out:testDLL.dll testDLL.cs

AutoHotkey видит библиотеку но не может найти в ней функцию
Результат работы с C# библиотекой, на выходе имеем:
DLL вернула значение:  , ErrorLevel: -4

ErrorLevel: -4: это значит указанная функция не найдена в DLL.

Пробовала варианты, ни один из вариантов не работает:

Result := DllCall("testDLL.dll\testfunc", "Int", 10, "Int", 20)
Result := DllCall("testDLL.dll\ClassFunc.testfunc", "Int", 10, "Int", 20)
Result := DllCall("testDLL.dll\ClassFunc\testfunc", "Int", 10, "Int", 20)

Что нужно поменять чтобы AutoHotkey смог вызвать функцию из C# библиотеки?

Вот файл testDLL.cpp будущей .dll:

#include <stdio.h>

long int testfunc(long int a, long int b)
{
   return a + b;
}

Компилирую его, в независимую dll библиотеку используя MinGW, следующими командами:
g++.exe -o testDLL.o -c testDLL.cpp
g++.exe -static -static-libgcc -static-libstdc++ -shared -o testDLL.dll testDLL.o

Вот содержимое кода AutoHotkey:

; --- тест вызова dll (кнопка поиск на мультимедиа клаве) ---
Browser_Search::
    Result := DllCall("testDLL.dll\testfunc", "Int", 10, "Int", 20)
    MsgBox, DLL вернула значение: %Result% , ErrorLevel: %ErrorLevel%
return

В результате всего этого на выходе имеем:
DLL вернула значение:  , ErrorLevel: -3

ErrorLevel: -3: это значит невозможно обратиться к указанному DllFile.

Пробовала убрать из .cpp файла аргументы функции testfunc и просто сделать return 1; и соответственно вызывать DLL без параметров - это тоже не помогает. Dll лежит в той же директории что и сам AutoHotkey.

Кто уже писал свои .dll? Подскажите что я делаю не так и что нужно чтобы вызвать функцию из своей .dll?
Всем спасибо кто откликнется .