¿Cómo seleccionar dos columnas adicionales de otra tabla según los valores de la tabla principal?

Debes unirte dos veces con los usuarios:

SELECT m.*, u1.name, u2.name
FROM maintable m 
INNER JOIN users u1 ON (m.userid1 = u1.userid)
INNER JOIN users u2 ON (m.userid2 = u2.userid)

Puede leer la documentación sobre MySQL JOIN Syntax aquí .