跳到主要内容

node.js如何同步抓取页面？

社区

Aairclear发布于 13 年前最后回复 12 年前

7100860

事情是这样的：

第一步：我需要从一个网站抓取几个链接。第二步：请求那些获取到的链接，获取数据。

第一步大家都会，第二步我要如何控制呢？

比如我第一步获取到了100个链接，我不能直接一个for循环把所有链接都打开时吧求教！

回复 (7)

D

dingyaguang117#712 年前

https://github.com/driverdan/node-XMLHttpRequest

A

airclear#613 年前

嗯，就是控制并发。我要问的就是这个。我会参考下async的不过哪位能讲解下自己实现控制呢

L

leapon#513 年前

不需要同步操作。

J

JacksonTian#413 年前

看这个看这个 https://github.com/JacksonTian/bagpipe

N

nihgwu#313 年前

可以看看这个 http://cnodejs.org/topic/5183786d6d38277306382d10

R

ronincn#213 年前

做了不止两个这种应用了

I

inetfuture#113 年前

控制一下并发即可，可以使用async.js中的queue来做，自己实现一个也不难。

参与回复

登录后即可参与回复。登录