está seleccionando todas las columnas en la consulta interna y luego intenta hacer %10 , te da error porque no puedes %10 a múltiples columnas. Cámbielo para seleccionar una columna en su lugar.
(SELECT * FROM participants ORDER BY serial DESC LIMIT 0, 1) % 10
selecciona varias columnas y luego intenta modificar por 10
