SQL, ¿hay alguna manera de clasificar varias columnas de tiempo en una mientras se conservan los metadatos?

Podrías union entre varias consultas en los diferentes tiempos:

(SELECT id, a_time AS time, metadata1, metadata2
 FROM   mytable)
UNION
(SELECT id, b_time AS time, metadata1, metadata2
 FROM   mytable)
UNION
(SELECT id, c_time AS time, metadata1, metadata2
 FROM   mytable)
UNION
(SELECT id, d_time AS time, metadata1, metadata2
 FROM   mytable)
ORDER BY time