跳到主要内容
CNode
查看回复

回复 (5)

这是爬虫常见问题,短时间ip访问次数太多 有些服务器就会返回一个302 跳一个手动验证页面,防止爬虫太多影响服务器并发,主要代表是 58同城 途牛还有百姓网 还有一些土豪公司则完全不care 比如 京东 淘宝和1号店这种

解决方法一般是用agent换ip,或者多做几个爬虫 用调度程序控制并发的进度

Y
yinuoba#411 年前

关注 自豪地采用 CNodeJS ionic

J
Jarvin-Guan#311 年前

用Superagent实现了,。。。它是用代理?

L
leapon#211 年前

模仿浏览器失败了,被人家认出来了。

B
bshy522#111 年前

浏览器访问是200 所以, 你试试将ua设置为浏览器的ua试试.

参与回复

登录后即可参与回复。登录