跳到主要内容
CNode

用node.js设计爬虫,该如何动态加入抓取队列?

社区
Mmscrm发布于 12 年前最后回复 12 年前
453430

已解决。

查看回复

回复 (4)

X
XadillaX#412 年前

我是用 rabbitMQ 的。

之前我为自己的一个项目写过一个 module:

https://github.com/XadillaX/xplanspider

Y
yorkie#312 年前
L
leapon#212 年前

我的想法: 用数据库存储抓取任务, 从数据库读取下一个抓取任务。

你的办法?

Y
yakczh#112 年前

怎么解决的?

参与回复

登录后即可参与回复。登录