node.js如何同步抓取页面?
事情是这样的:
第一步:我需要从一个网站抓取几个 链接。 第二步:请求那些获取到的链接,获取数据。
第一步大家都会,第二步我要如何控制呢?
比如我第一步获取到了100个链接,我不能直接一个for循环 把所有链接都打开时吧 求教!
7 回复
控制一下并发即可,可以使用async.js中的queue来做,自己实现一个也不难。
做了不止两个这种应用了
不需要同步操作。
嗯,就是控制并发。 我要问的就是这个。 我会参考下async的 不过哪位能讲解下自己实现控制呢