[Python-es] Scraping con scrapy.

Alex Parra parraletz en gmail.com
Lun Mayo 19 12:50:27 CEST 2014


Hola, lo que te recomiendo es almacenarlo en alguna base de datos, yo lo almaceno en un mongodb y así no estoy ejecutando scrapy a cada rato :-), de la base sacó las consultas.

Sent from my iPhone

> On May 19, 2014, at 4:45 AM, Luis Miguel Morillas <morillas en gmail.com> wrote:
> 
> Alguien ha usado scrapy para hacer un servicio de scraping?  Quiero
> montar un servicio (REST) basado en scrapy, pero por defecto scrapy
> procesa una cola de urls y termina y no creo que sea buena idea
> levantar la aplicación cada vez que llega una url. Me gustaría que la
> cola estuviera escuchando, procesara la cola y en lugar de esperar que
> se quedara esperando a recibir una nueva entrada.
> 
> Supongo que se podrá hacer mirando a fondo la arquitectura (twisted)
> de scrapy ... pero si alguno lo ha hecho antes :)
> 
> 
> 
> Saludos,
> 
> -- luismiguel  (@lmorillas)
> _______________________________________________
> Python-es mailing list
> Python-es en python.org
> https://mail.python.org/mailman/listinfo/python-es
> FAQ: http://python-es-faq.wikidot.com/


Más información sobre la lista de distribución Python-es