2168720
要做爬虫的HTTP代理池, 发现google上搜的免费代理, 基本上都根本用不了, 就是HTTP请求都没法代理. 付费的HTTP代理里面: 找了个快代理, 用了他们的私密代理, 试了十几个, HTTP请求能够正常代理的, 但貌似代理的ip都在淘宝的爬虫黑名单. 找了淘宝上的, 买了一个ip试了一下, 完全ok, 但是要每个ip 20元/月, 多买些IP太贵了. 请做过爬虫代理池的大牛分享一下资源哈.
回复 (21)
W
X
引用 sodawy野IP：免费可以爬到的，百度上搜到付费可以用的，这些基本IP被有防抓的大厂早早爬到拉黑。。很多还不匿名。。往往你还需要自己加一层代码，验证他的可用性、匿名性、速度。。 贵IP: 专业人士搞出来...
@soda-wy 就是A家的, 我也做过大量测试, 他们也分辨不出来我这是爬虫, 就是按访问频率限制的. 我正常访问, 和爬虫访问, 都是访问次数一多就要求登录了, 过一段时间又不用登录了. 直接搞个账号爬虫自动登录的策略自己玩的话没问题, 商用就算了. 我在小厂, 既然给公司做, 我自然不会自己出钱啊. 但公司愿意出这个钱吗, 我自己都说服不了自己.😂
S
野IP：免费可以爬到的，百度上搜到付费可以用的，这些基本IP被有防抓的大厂早早爬到拉黑。。很多还不匿名。。往往你还需要自己加一层代码，验证他的可用性、匿名性、速度。。
贵IP: 专业人士搞出来的，基本是机房IP+我也搞不清楚但成本很高的IP...反正就是好用，但是贵，而且你要省着用，(^__^) 。。
我觉得还是要看你抓得东西的价值和需要投入成本的关系。。舍不得孩子套不着狼。。我碰到过的属A家的最难抓，防抓策略不是硬的那种就贼难，很难说单单是ip的问题。。
建议你问问ops层面的大哥，有经验有门路专门搞IP的问问。。自己买规模一上来你吃不消吧。。
W
W
测试测试
W
测试测试
W
测试333
W
W
W
W
W
W
W
W
W
W
W
测试下
W
X
G
稳定性要求不高，自已爬取免费代理IP吧，验证后保存 稳定性要求高，还是付费代理吧
参与回复
登录后即可参与回复。登录