18万条数据，走http请求获取问题
先不说为什么走http，老板让我干啥我干啥。
每一条数据还是有点大。 每次请求一百条数据，大约9秒； 一千条数据的话就要40-几百秒了，这时就是看网络环境等各种因素了。
18万条 = 1800* 100 = 180* 1000;
我该是每次请求较少的条数，增加请求次数呢？ 还是增加请求条数，减少请求次数？
1)哪种方式好呢？ 2)使用for+setTimeout好呢，还是通过async.mapseries+深沉嵌套好呢 3)一下并发请求肯定不行吧 4)这种情况有啥推荐的方法
11 回复
难以想象100条数据就要8秒的时间，服务器响应是有多慢的啊，也可能数据量本身很复杂。推荐增加请求次数，因为每一条数据本身就比较大，对于v8内存占用非常严重的引擎来说减少数据处理量和前端体验成正比，其他引擎也是如此。同时对于JSON.parse来说，本身就比较慢，一旦数据量非常大，后果就可想而知了。
楼主，可以看一下相应一次的时候的内存使用量，感觉可能是内存用的多了，时间用来gc。可以增加请求次数，每次相应个10条试一下。还有@suntopo能说一下用mq的思路吗？谢谢拉
