使用 anyproxy 二次开发的微信公众号抓取工具,可以抓阅读数,点赞数,赞赏数和回复数
发布于 8 年前 作者 lijinma 11082 次浏览 来自 分享

首先,先看我写的文章,介绍现在微信公众账号一般抓取的方法:

如何优雅的抓取微信公众号历史文章

安装:

$ npm install wechat_spider -g

具体安装和使用请查看 https://github.com/lijinma/wechat_spider

抓取完存储在 sqlite 中,可以导出 csv ,如图:

Alt text

抓取思路:

  1. 使用中间人攻击的方式,安装根证书。
  2. 为了保证自动抓取分页,在每一页的后面添加:<script>setTimeout(function(){window.location.href="下一个 url";},2000);</script>,动态修改下一个 url ,这样就可以保证一直抓下去。

这是一个完整的工具

我尽可能的在 README 中尽可能的把每一步都写得非常清楚,希望真的可以对你有用,尤其是媒体工作者,因为我这个工具就是为我一个做媒体的朋友写的,有任何问题,请提 Issue 。

我的公众账号

text

10 回复
  • . - 没人理,大家可以看看思路,说不定什么时候用得上。

不错不错

@sunkuo 谢谢鼓励。

有人用过 anyproxy 吗?没用过的了解下,比 Windows 的 Fiddler 和 Mac 的 Charles 都强大,因为是可编程的。

微广场是不是用你这个原理实现的,买了他们的vip,用来做公众号订阅 微广场链接: http://www.iwgc.cn/

@sunkuo 如果不需要阅读数和点赞数,不需要这么复杂,pc 端的微信客户端就可以抓。

这个只能手动选择一个公众号 然后才开始爬么

@Alexis374 你自己改下代码,在手机端可以自动跳到下一个公众号的,只要你知道这个公众号的 biz

支持,收藏+star

回到顶部