Cómo usar una declaración de caso para determinar en qué campo unir a la izquierda

Algo como esto puede funcionar

LEFT JOIN challengesRead 
ON challenges.userID = CASE 
WHEN challenges.userID = $var THEN challengesRead.userID 
WHEN challenges.opponentID = $var THEN challenges.opponen END