请教使用http抓去网页时循环发送大量请求的解决方案
发布于 10 年前 作者 izyn 4259 次浏览 最后一次编辑是 8 年前 来自 问答

Nodejs是一门很优雅的语言，平时工作中我也越来越喜欢用它来解决一些问题，在这里想请教各位的是： http模块当大量请求网页数据时，有什么比较好的解决方案，比如我通过循环执行一个请求任务上万次的时候？

4 回复

把任务都加到一个array里。用async的parallelLimit去执行便可以限定同时并发数量。

async.eachLimit, 或者 async.queue

参考论坛51job抓取源码 发自 CNodeJs ionic

1楼正解

回到顶部