跳到主要内容
CNode

请教使用http抓去网页时循环发送大量请求的解决方案

问答
Iizyn发布于 12 年前最后回复 12 年前
446920

Nodejs是一门很优雅的语言,平时工作中我也越来越喜欢用它来解决一些问题,在这里想请教各位的是: http模块当大量请求网页数据时,有什么比较好的解决方案,比如我通过循环执行一个请求任务上万次的时候?

查看回复

回复 (4)

C
countcain#112 年前

把任务都加到一个array里。用async的parallelLimit去执行便可以限定同时并发数量。

J
jysperm#212 年前

async.eachLimit, 或者 async.queue

L
lzxue#312 年前

参考论坛51job抓取源码 发自 CNodeJs ionic

C
CocaCola183#412 年前

1楼正解

参与回复

登录后即可参与回复。登录