sql >> Base de Datos >  >> RDS >> PostgreSQL

psycopg2 COPY usando cursor.copy_from() se congela con entradas grandes

Esta es solo una solución, pero puede canalizar algo en psql. Uso esta receta a veces cuando soy demasiado perezoso para sacar psycopg2

import subprocess
def psql_copy_from(filename, tablename, columns = None):
    """Warning, this does not properly quote things"""
    coltxt = ' (%s)' % ', '.join(columns) if columns else ''
    with open(filename) as f:
        subprocess.check_call([
            'psql',
            '-c', 'COPY %s%s FROM STDIN' % (tablename, coltxt),
            '--set=ON_ERROR_STOP=true', # to be safe
            # add your connection args here
        ], stdin=f)

En lo que respecta a su bloqueo, ¿está utilizando varios subprocesos o algo por el estilo?

¿Su postgres está registrando algo como una conexión cerrada o un punto muerto? ¿Puedes ver la actividad del disco después de que se bloquee?