Debe configurar la codificación del cliente de Psycopg2. Consulte la documentación de SQLAlchemy :
El client_encoding El parámetro se puede especificar como una cadena de consulta en la URL del motor:
postgresql://user:example@sqldat.com/dbname?client_encoding=utf8