爬虫HTTP代理池问题
发布于 5 个月前 作者 xiaozhongliu 1451 次浏览 来自 问答

要做爬虫的HTTP代理池, 发现google上搜的免费代理, 基本上都根本用不了, 就是HTTP请求都没法代理. 付费的HTTP代理里面: 找了个快代理, 用了他们的私密代理, 试了十几个, HTTP请求能够正常代理的, 但貌似代理的ip都在淘宝的爬虫黑名单. 找了淘宝上的, 买了一个ip试了一下, 完全ok, 但是要每个ip 20元/月, 多买些IP太贵了. 请做过爬虫代理池的大牛分享一下资源哈.

21 回复

稳定性要求不高,自已爬取免费代理IP吧,验证后保存 稳定性要求高,还是付费代理吧

@godghdai 感谢回复, 但你说的是常识, 并没有任何帮助😉

@godghdai <br/><br/><a class=“form” href=“https://github.com/shinygang/Vue-cnodejs”>I‘m webapp-cnodejs-vue</a>

@WangXiaoyYing 测试测试<br/><br/><a class=“form” href=“https://github.com/shinygang/Vue-cnodejs”>I‘m webapp-cnodejs-vue</a>

测试测试<br/><br/><a class=“form” href=“https://github.com/shinygang/Vue-cnodejs”>I‘m webapp-cnodejs-vue</a>

@WangXiaoyYing 测试2<br/><br/><a class=“form” href=“https://github.com/shinygang/Vue-cnodejs”>I‘m webapp-cnodejs-vue</a>

野IP:免费可以爬到的,百度上搜到付费可以用的,这些基本IP被有防抓的大厂早早爬到拉黑。。很多还不匿名。。往往你还需要自己加一层代码,验证他的可用性、匿名性、速度。。

贵IP: 专业人士搞出来的,基本是机房IP+我也搞不清楚但成本很高的IP…反正就是好用,但是贵,而且你要省着用,(^__^) 。。

我觉得还是要看你抓得东西的价值和需要投入成本的关系。。舍不得孩子套不着狼。。我碰到过的属A家的最难抓,防抓策略不是硬的那种就贼难,很难说单单是ip的问题。。

建议你问问ops层面的大哥,有经验有门路专门搞IP的问问。。自己买规模一上来你吃不消吧。。

@soda-wy 就是A家的, 我也做过大量测试, 他们也分辨不出来我这是爬虫, 就是按访问频率限制的. 我正常访问, 和爬虫访问, 都是访问次数一多就要求登录了, 过一段时间又不用登录了. 直接搞个账号爬虫自动登录的策略自己玩的话没问题, 商用就算了. 我在小厂, 既然给公司做, 我自然不会自己出钱啊. 但公司愿意出这个钱吗, 我自己都说服不了自己.😂

@WangXiaoyYing 兄弟,你想被关小黑屋么

回到顶部