Si tiene problemas para compilar la extensión binaria, o en una plataforma donde no puede, puede intentar usar Python puro PyMySQL
enlaces.
Simplemente pip install pymysql
y cambie su URI de SQLAlchemy para comenzar así:
SQLALCHEMY_DATABASE_URI = 'mysql+pymysql://.....'
Hay algunos otros controladores también puedes intentarlo.