[Python-es] Scraping con scrapy.

[Esau Rodriguez]

Hola,
yo no he utilizado scrapy pero creo que lo que dices lo podrías hacer
con Django+celery+scrapy. De hecho en [1] te dejo un enlace donde han
hecho algo así, te faltaría meter la interfaz rest.

[1] http://stackoverflow.com/questions/11528739/running-scrapy-spiders-in-a-celery-task

Saludos,
Esaú.

2014-05-19 10:45 GMT+01:00 Luis Miguel Morillas <morillas en gmail.com>:
> Alguien ha usado scrapy para hacer un servicio de scraping?  Quiero
> montar un servicio (REST) basado en scrapy, pero por defecto scrapy
> procesa una cola de urls y termina y no creo que sea buena idea
> levantar la aplicación cada vez que llega una url. Me gustaría que la
> cola estuviera escuchando, procesara la cola y en lugar de esperar que
> se quedara esperando a recibir una nueva entrada.
>
> Supongo que se podrá hacer mirando a fondo la arquitectura (twisted)
> de scrapy ... pero si alguno lo ha hecho antes :)
>
>
>
> Saludos,
>
> -- luismiguel  (@lmorillas)
> _______________________________________________
> Python-es mailing list
> Python-es en python.org
> https://mail.python.org/mailman/listinfo/python-es
> FAQ: http://python-es-faq.wikidot.com/



-- 
Esaú Rodríguez
esauro en gmail.com