MySQL cómo obtener un promedio de valores en un rango específico

Podría crear una lista de rangos usando UNION ALL y LEFT JOIN con eso:

SELECT CONCAT(IFNULL(ranges.min, '∞'), '-', IFNULL(ranges.max, '∞')) AS `range`, avg(value) AS avg
FROM (
    SELECT 0 AS min, 21 AS max UNION ALL
    SELECT 21, 34 UNION ALL
    SELECT 34, 64 UNION ALL
    SELECT 64, NULL
) AS ranges
LEFT JOIN t ON (ranges.min IS NULL OR value >= ranges.min) AND
               (ranges.max IS NULL OR value <  ranges.max)
GROUP BY ranges.min, ranges.max

Tenga en cuenta que la consulta anterior pondrá 20.9999 dentro de [0-21) y 21.0000 dentro de [21-34) rango.