Parece que aún necesita instalar las bibliotecas de desarrollo de MySQL. Estos son necesarios para que la gema se construya correctamente en su sistema.
[Editar] Parece que RoR Wiki ya no está disponible. Pero Ubuntu ha ofrecido su propio tutorial que sugiere:
sudo apt-get install mysql-server mysql-client
sudo apt-get install libmysql-ruby libmysqlclient-dev
sudo gem install mysql
Ver http://wiki.rubyonrails.org/database-support/mysql #instalación
para más detalles.
Ejemplo:Ubuntu
sudo apt-get install mysql-server mysql-server-5.0 libmysqlclient15off \
libmysqlclient15-dev mysql-client-5.0 mysql-common
sudo apt-get install libmysql++-dev
sudo gem install mysql
