用node.js设计爬虫,该如何动态加入抓取队列?
已解决。
4 回复
怎么解决的?
我的想法: 用数据库存储抓取任务, 从数据库读取下一个抓取任务。
你的办法?
消息队列(Resque: https://github.com/technoweenie/coffee-resque)
已解决。
怎么解决的?
我的想法: 用数据库存储抓取任务, 从数据库读取下一个抓取任务。
你的办法?
消息队列(Resque: https://github.com/technoweenie/coffee-resque)