node.js 爬虫工具 - 结贴:推荐使用Puppeteer
发布于 10 个月前 作者 iori2882 6073 次浏览 来自 问答

最近有爬虫网页的需求,node有什么好用的框架或工具么?麻烦大家推荐一下…如果有教程那最好了,以前没接触过爬虫这部分…麻烦大家了…

10 回复

https://github.com/LuckyHH/WebSpider 其实很多都是superagent加cheerio搭配,这种只能抓HTML上有的数据,原理就是下载网页进行分析。抓取ajax数据什么的,需要无头浏览器。

@sunfeng90 谢谢例子简单正用的上…学习一下

@LuckyHH 谢谢,功能齐全,目前先学习简单的,以后在学习这个…

request + cheerio,还不行就上puppeteer。。。

用 node + selenium + webdriverio 也可以实现,5.0以上支持无头浏览器

谢谢大家,Puppeteer 很好,正适合我目前的需求!!!

回到顶部