No hay diferencia funcional.
|| es el operador de concatenación de cadenas estándar ANSI (aunque, desafortunadamente, no todas las bases de datos <cough>SQL Server</cough> elige apoyar el estándar). Muchas bases de datos admiten un CONCAT por lo que puede ser más fácil portar el código usando CONCAT a diferentes bases de datos.