Si vuelve a encontrar este error después de actualizar a 12.04 (o para las personas que llegan aquí después de buscar en Google el título de esta página después de actualizar a 12.04), lo siguiente funcionó para mí:
gem uninstall mysql2
gem install mysql2
Esto volverá a compilar la gema usando libmysqlclient18 y funcionó para mí.
Espero que ayude a alguien por ahí.
