Por el error que publicaste, supongo que te falta algún tipo de dependencia de mysql.
_mysql.c:44:10: fatal error: my_config.h: No such file or directory
44 | #include "my_config.h"
| ^~~~~~~~~~~~~
Mirando la página de github para mysqlclient tal vez podría intentar ejecutar:
sudo apt-get install python3-dev default-libmysqlclient-dev build-essential
En mi experiencia, falta un .h El archivo generalmente significa que falta una biblioteca de desarrollo en su computadora que la extensión de python necesita
