用node.js设计爬虫，该如何动态加入抓取队列？
发布于 10 年前 作者 mscrm 4676 次浏览 最后一次编辑是 8 年前

已解决。

4 回复

怎么解决的?

我的想法： 用数据库存储抓取任务， 从数据库读取下一个抓取任务。

你的办法？

消息队列(Resque: https://github.com/technoweenie/coffee-resque)

我是用 rabbitMQ 的。

之前我为自己的一个项目写过一个 module:

https://github.com/XadillaX/xplanspider

回到顶部