SELECCIONE varios registros para cada DISTINTO en una sola consulta

Tienes que usar variables, haciendo dos conteos diferentes en una consulta ordenada:uno en el número de publicaciones para cada usuario y otro para los usuarios:

SELECT posts_counts.*
FROM (
  SELECT
    posts.*,
    @post_count:=case when @prec_user_id=user_id then @post_count+1 else 1 end as pc,
    case when @prec_user_id<>user_id then @user_count:[email protected]_count+1 else @user_count end as uc,
    @prec_user_id:=user_id
  FROM
    posts,
    (select @prec_user_id:=0, @user_count:=0, @post_count:=0) counts
  ORDER BY
    posts.user_id ) posts_counts
WHERE pc<5 and uc<4

EDITAR: También podría considerar probar esta consulta:

SELECT * 
FROM `posts` 
WHERE
  `user_id` IN ( SELECT user_id FROM (
     SELECT DISTINCT `user_id` 
     FROM `posts` 
    ORDER BY `user_id` DESC 
    LIMIT 4 ) limit_users
  ) 
LIMIT 5

(esto solo seleccionará 5 publicaciones, de todas las publicaciones de cada usuario seleccionado, por lo que aún no es lo que necesita, pero usa un truco para usar un LÍMITE en una sub-subconsulta)

EDIT2: La próxima consulta limitará 5 publicaciones para cada uno de los 20 usuarios:

select posts_limited.*
from (
  select
    posts.*,
    @row:=if(@last_user=posts.user_id, @row+1, 1) as row,
   @last_user:=posts.user_id
  from
    posts inner join
    (select user_id from
      (select distinct user_id
       from posts
       order by user_id desc
       LIMIT 20) limit_users
    ) limit_users
    on posts.user_id = limit_users.user_id,
    (select @last_user:=0, @row:=0) r
  ) posts_limited
  where row<=5