Sé que esta no es la respuesta óptima, pero para mí intentar cerrar 3 veces la conexión y luego volver a conectarla funcionó.
try:
connections.close_all()
except:
try:
connections.close_all()
except:
try:
connections.close_all()
except:
pass
También intenté establecer CONN_MAX_AGE en Ninguno en settings.py, pero no funcionó.