MYSQL selecciona al azar de cada una de las categorías

Si tiene dos categorías (como en su pregunta), la forma más fácil en MySQL es usar union all :

(select * from t_shop where category = 1 order by rand() limit 5)
union all
(select * from t_shop where category = 2 order by rand() limit 5)