Acabo de tener el mismo problema, probé todas las soluciones enumeradas anteriormente y luego comencé a golpearme la cabeza contra el teclado durante un par de horas.
Luego pensé en probar e instalar/reinstalar las herramientas de línea de comandos de Xcode:
xcode-select --install
Una vez que hice eso, la gema mysql2 se instaló sin problemas. ¡Espero que eso funcione!