Dado que este fue hace más de un año, es posible que ya haya resuelto este problema, pero tal vez otros (como yo) tengan el mismo problema, por lo que quiero agregar mi solución:
En algún foro de MySQL encontré a un tipo que publicó una fórmula y después de calcularla para mi servidor y mi sistema descubrí que traté de usar 2 GB de RAM de más que el sistema no tenía. Aquí está y espero que ayude a alguien.
RAM = innodb_pool_buffer_size + key_buffer_size +
( (read_buffer_size + sort_buffer_size + read_rnd_buffer_size + join_buffer_size)
* max_connection )
