node.js如何同步抓取页面?
发布于 12 年前 作者 airclear 9377 次浏览 最后一次编辑是 8 年前

事情是这样的:

第一步:我需要从一个网站抓取几个 链接。 第二步:请求那些获取到的链接,获取数据。

第一步大家都会,第二步我要如何控制呢?

比如我第一步获取到了100个链接,我不能直接一个for循环 把所有链接都打开时吧 求教!

7 回复

控制一下并发即可,可以使用async.js中的queue来做,自己实现一个也不难。

做了不止两个这种应用了

不需要同步操作。

嗯,就是控制并发。 我要问的就是这个。 我会参考下async的 不过哪位能讲解下自己实现控制呢

回到顶部