关于 nodejs 抓取网页时 301 错误
website: mafengwo
nodejs 抓取网页时 301 错误, 用 request (It supports HTTPS and follows redirects by default.) 包也还是不可以,其他的网站都可以,唯独目标网站不行。
用其他语言抓取就可行, 求解!
5 回复
这个是重定向,你可以直接抓取目标网页,或者根据响应头去做正理 request里面有个参数followRedirects:false
已经用了request该插件,自动会follows redirects的
@lolocoo 让是让你 followRedirects设置为false,自己根据响应头去获取
http包就有这个问题
用request包就行了,自动转向。 http://blog.fens.me/nodejs-crawler-douban/
如果request的时候响应了cookie重定向之后是不会把cookie加到头中的