新手:node.js爬虫小问题
第一次接触这些工程的东西,所以学得很没有章法.在学alsotang在github上的node.js的课程, lesson4 利用eventproxy的并发控制写简单的爬虫程序.它会输出 CNode(https://cnodejs.org/ ) 社区首页的所有主题的标题,链接和第一条评论,以 json 的格式 为什么论坛首页40个URL每次输出的爬虫结果只有11,12个,如所传图片的后半部分有,前半部分没有. 代码和https://github.com/alsotang/node-lessons/blob/master/lesson4/app.js 完全一样.
求解答!!谢谢!!!
7 回复
我也有同问,eventproxy大家有经常用到吗。
刚才试了下,应该是有些请求,返回来的是503
会不会请求受限
@tinyhill 谢谢!!看楼上看来是这样的!
@jiangli373 谢谢!!我自己也再试试~~
你怎么解决的啊
@tinyhill 这种情况怎么处理啊