请问如何实现一个多 IP 分流代理系统
发布于 9 年前 作者 birbird 6090 次浏览 最后一次编辑是 8 年前 来自 问答

爬虫访问量太大，老被封。于是想搭一个能 Rotate IP 的 Proxy，这样把访问量平摊到很多 IP 上，就不会被封了。 请问这样的系统有现成的么？ 如果没有现成的，自己实现的话应该怎么搞？ 请提供个思路，谢啦先！

3 回复

同求思路，也遇到和楼主一样的难题。

我之前有做过随机代理ip去做投票,用的是superagent-proxy,每一系列操作从代理ip的queue中取一个可用的代理ip, 不过你要有的需要去清除Cookies,还有身份认证,依照业务设计.可用的代理ip我时新建了一个worker从大量的代理ip中去验证,通过就加入ip queue中不通过则剔除,

楼主说的是分布式爬虫吧，这种需求用python最适合，因为有很多成熟的爬虫框架

回到顶部