¿Cómo puedo usar COALESCE() en la cláusula WHERE de manera óptima?

Puede hacer el cálculo con dos subconsultas separadas:

select coalesce(qa2.subject, qa.subject) as question_subject,
       qa.body,
       ( (select count(*)
          from viewed_items vi
          where qa.related = vi.question_id
         ) +
         (select count(*)
          from viewed_items vi
          where qa.related is null and qa.id = vi.question_id
         )
        ) as total_question_viewed
from questions_and_answers qa left join
     questions_and_answers qa2
     on qa.related = qa.id 
where body like ':entry';

Los índices se pueden usar para cada subconsulta, por lo que debería ser más rápido en general. Por cierto, no tienes que preocuparte por NULL valores, porque COUNT(*) en una subconsulta correlacionada siempre devuelve un valor. Si nada coincide, el valor será 0 .