¿Cómo (MySQL) multiplicar columnas y luego las filas de suma?

Simplemente puede poner la fórmula (expresión) dentro de SUM :

SELECT payment_id, SUM(`unit cost` * quantity) AS total
FROM myTable
GROUP BY payment_id