En Ubuntu/Debian y otras distribuciones usando aptitude:
sudo apt-get install libmysql-ruby libmysqlclient-dev
Paquete libmysql-ruby ha sido eliminado y reemplazado por ruby-mysql . Esto
es donde encontré la solución.
Si el comando anterior no funciona porque libmysql-ruby no se puede encontrar, lo siguiente debería ser suficiente:
sudo apt-get install libmysqlclient-dev
En Red Hat/CentOS y otras distribuciones usando yum:
sudo yum install mysql-devel
En Mac OS X con Homebrew :
brew install mysql