用node.js设计爬虫,该如何动态加入抓取队列?
发布于 11 年前 作者 mscrm 4870 次浏览 最后一次编辑是 8 年前

已解决。

4 回复

怎么解决的?

我的想法: 用数据库存储抓取任务, 从数据库读取下一个抓取任务。

你的办法?

我是用 rabbitMQ 的。

之前我为自己的一个项目写过一个 module:

https://github.com/XadillaX/xplanspider

回到顶部