...скобки зачем?

Круглые, потому, что это встроенная функция, фигурные для того, чтобы объединить более одной стоки выполнения условия. Можно и без фунции, так как её задача в другом:

SetTitleMatchMode, RegEx
#r::
   IfWinActive, Total
      Send, {BS}
   Else IfWinActive, Notepad
   {
      Sleep, 500
      Send, {BS}
   }
   Return

Ах да, в коде выше я перепутал местами приложения (Total, Notepad), думаю это не критично.

SetTitleMatchMode, RegEx
#r::
   If WinActive("Notepad")
      Send, {BS}
   Else If WinActive("Total")
   {
      Sleep, 500
      Send, {BS}
   }
   Return

SetTitleMatchMode, RegEx 
#r::
IfWinActive, Total*
    Send, {BS}
    Return
IfWinActive, *Notepad*
    Sleep, 500
    Send, {BS}
    Return

Помогите починить.