request 和 superagent 模块 都可以拿来做爬虫，怎么选择呢
发布于 6 年前 作者 souldjl 2759 次浏览 来自 问答

request和superagent 模块 都可以拿来做爬虫，怎么选择呢?有点迷糊了

7 回复

做爬虫首选py

爬虫用Scrapy做过，觉得还可以的，推荐一下。。。

@lzq920 e，这不是nodejs社区吗

@cnlile @lzq920 e，这不是nodejs社区吗

我用的 request-promise 还不错，加上 cheerio

然后用的是 egg.js 的 定时任务定时爬取。

superagent可以使用superagent.agent();自动处理cookie，包装的cookiejar。在需要登录后爬取数据的，很有用

@yongjun925 哦哦，怎么区分呢

回到顶部