SQL Actualizar y reemplazar subcadena

usa REPLACE()

UPDATE tableName
SET first_name = REPLACE(first_name, 'a', 'b')

pero recuerda que REPLACE() distingue entre mayúsculas y minúsculas.