node爬虫如何保持登录并且监听网站推送消息呢？
发布于 7 年前 作者 Purplekylin 3392 次浏览 来自 问答

正常的爬取网页内容只要request拿到body解析就可以了，那么如何登录一个网页并且监听网站给用户推送的消息呢？

2 回复
  • 定时爬取内容
  • 使用爬虫神器puppeteer, 服务端搭建一个Websocket，使用puppeteer打开页面，登录之后执行一个script，连接Websocket，那变化的内容推送给服务端

如果目标是使用API的网站，只是使用了像JWT这样的认证方式，那么爬取的过程就会很愉快。 只需要搞定认证那一块，剩下的就是API调用了

@axetroy 好 我去了解下puppeteer 3Q~

回到顶部