Error duplicado de MySQL con ALTER IGNORE TABLE

Es porque usas INNO DB,

Un truco simple:

set session old_alter_table=1;
ALTER IGNORE TABLE `user_server`  
ADD UNIQUE INDEX (`user_id`, `server_id`);
set session old_alter_table=0;

Esto hace el trabajo