node.js通过get访问该网址，返回302？
发布于 9 年前 作者 Jarvin-Guan 8442 次浏览 最后一次编辑是 8 年前 来自 问答

网址：http://search.jd.com/Search?keyword=笔记本&enc=utf-8 该网址是京东搜索笔记本的url；

5 回复
1

浏览器访问是200 所以, 你试试将ua设置为浏览器的ua试试.

1

模仿浏览器失败了，被人家认出来了。

1

用Superagent实现了，。。。它是用代理？

1

关注 自豪地采用 CNodeJS ionic

1

这是爬虫常见问题，短时间ip访问次数太多 有些服务器就会返回一个302 跳一个手动验证页面，防止爬虫太多影响服务器并发，主要代表是 58同城 途牛还有百姓网 还有一些土豪公司则完全不care 比如 京东 淘宝和1号店这种

解决方法一般是用agent换ip，或者多做几个爬虫 用调度程序控制并发的进度

回到顶部