Laravel leftÚnete solo al último registro de la tabla derecha

Aquí tenemos 2 tablas usuarios y respuestas donde usuarios se deja la tabla y respuestas es la tabla de la derecha que tiene las respuestas de los usuarios.

Queríamos unirnos a usuarios con respuestas pero la unión debe ser con el último registro o respuestas mesa.

$query = Users::select('users.id', 'users.user_name','answers.created_at as last_activity_date')
->leftJoin('answers', function($query) 
{
   $query->on('users.id','=','answers.user_id')
   ->whereRaw('answers.id IN (select MAX(a2.id) from answers as a2 join users as u2 on u2.id = a2.user_id group by u2.id)');
})
->where('users.role_type_id', Users::STUDENT_ROLE_TYPE)->get();