python-rq trabajador se cierra automáticamente

Bien, descubrí el problema. Fue debido al tiempo de espera del trabajador.

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

Entonces, de acuerdo con mi código, el siguiente dominio se quita de la cola si se obtienen 200 URL (s) de cada dominio. Pero para algunos dominios no había una cantidad suficiente de direcciones URL para que terminara la condición (como solo 1 o 2 direcciones URL).

Dado que el código detecta todas las excepciones y las agrega a error.txt expediente. Incluso la excepción de tiempo de espera rq rq.timeouts.JobTimeoutException fue capturado y fue anexado al archivo. Por lo tanto, hacer que el trabajador espere x cantidad de tiempo, lo que lleva al despido del trabajador.