Para Amazon Linux 2, debería poder instalarlo con yum . Por lo tanto, puede tener en su .ebextensions un archivo llamado, p. 01_packages.config con el contenido:
packages:
yum:
MySQL-python: []
Puede agregar más dependencias de yum si necesita más.