sql >> Base de Datos >  >> RDS >> Mysql

Python Scrapy:complete start_urls desde mysql

Un mejor enfoque es anular las start_requests método.

Esto puede consultar su base de datos, como populate_start_urls y devolver una secuencia de Solicitud objetos.

Solo necesita cambiar el nombre de su populate_start_urls método para start_requests y modifique las siguientes líneas:

for row in rows:
    yield self.make_requests_from_url(row[0])