Resolví el problema.
Primero agregué NLS_LANG=.AL32UTF8
como la variable de entorno en el sistema donde está instalado Oracle. En segundo lugar, pasé el parámetro de codificación y ncodificación en la función de conexión de cx_Oracle como se muestra a continuación.
cx_Oracle.connect(username, password, connection_string,
encoding="UTF-8", nencoding="UTF-8")
Este problema también se analiza aquí en https://github.com/oracle/python- cx_Oracle/problemas/157