¿Cuál es la sintaxis correcta para buscar y reemplazar Regex usando REGEXP_REPLACE en MariaDB?

Tienes que escapar mucho aquí:

REGEXP_REPLACE(message, "\\[quote\\sauthor=(.+)\\slink=[^\\]]+]", "\\[quote=\"\\1\"\\]")

Tenga en cuenta que debe hacer referencia al grupo por \\1