最近有墙外网站爬虫需求,做了个demo发现node的http/request等模块一旦请求墙外站点,就会返回“connect refused”之类的提示。要么就是timeout。换回墙内站点就各种没问题。
我翻墙是用shadowsocks,不知道是不是这个只能解决浏览器翻墙问题。
有没有大神可以指点一下接下来应该怎么做,有点迷茫
node不会自动通过代理服务器访问,你需要先在node里连接shadowsocks
没错,shadowsocks 它只解决了浏览器的问题,要全局的话 还得做相关配置吧
你shadowsocks 设置全局代理试下, 如果不行的话,那就直接用vpn, 不走shadowsocks
用工具,把程序部署到国外vps上跑,或者买专门的爬虫空间。
shadowsocks现在都是裸奔了,特殊时期容易被封,参考VPN推荐
ShadowSocks会产生代理连接,在你的nodejs程序里指定网路走这个代理即可,任何网络操作的库都可以设置代理,另外参考翻墙后。
如果有条件,直接用海外的VPS来运行爬虫就可以了。 Amazon AWS和Google Cloud都有免费试用期可以使用。 如果非得在国内的机器上运行,那就得使用翻墙软件了。不推荐Shadowsocks,但可以试试其它可以在Linux上运行的梯子。
大概看了看,上面的的都时间太久远失效是了,我最近在用的平价翻墙工具 http://www.showmeyoutube.com/ 蛮好。 线路不在多,好用的一个就够了。价格不贵,也挺稳定,用了一年多一直都好用。 说实话不花钱的不敢用,信息安全没底线的话,最后还是自己吃亏。
要想学好Node还要利用翻 墙软件来科学 上网呀,国外都是一手干货,对自己提升更大。可以查看这篇中国好用的V PN推荐。
更多中国V PN推荐和翻 墙测评:
- 1.>> 电脑V PN推荐
- 2.>> iOS翻 墙 | 苹果V PN推荐
- 3.>> 安卓V PN推荐 | 手机翻 墙
- 4.>> 便宜的V PN | 优惠折扣
回复的热度到现在一直都未减,看来大家对VPN这一块确实都比较感兴趣,同时说明VPN这个行业确实动荡很大,隔三岔五的可能就不能正常使用了,经常保持翻墙 VPN的更新非常重要,很多人推荐免费VPN,个人觉得免费虽然好,但是免费的东西确实有很多的弊端,个人建议还是选择付费版可靠的 中国 VPN,省心省时呀。当然很多海外党的网友,可以尝试海外 回国VPN,找到安全省心的软件,工作速度,沟通效率都会提升很多,不管怎样,都要合理的科学上网,注意网络安全。