[Python-es] Scraping con scrapy.

Luis Miguel Morillas morillas en gmail.com
Lun Mayo 19 11:45:25 CEST 2014


Alguien ha usado scrapy para hacer un servicio de scraping?  Quiero
montar un servicio (REST) basado en scrapy, pero por defecto scrapy
procesa una cola de urls y termina y no creo que sea buena idea
levantar la aplicación cada vez que llega una url. Me gustaría que la
cola estuviera escuchando, procesara la cola y en lugar de esperar que
se quedara esperando a recibir una nueva entrada.

Supongo que se podrá hacer mirando a fondo la arquitectura (twisted)
de scrapy ... pero si alguno lo ha hecho antes :)



Saludos,

-- luismiguel  (@lmorillas)


Más información sobre la lista de distribución Python-es