关于 nodejs 抓取网页时 301 错误
发布于 11 年前 作者 lolocoo 5223 次浏览 最后一次编辑是 8 年前

website: mafengwo

nodejs 抓取网页时 301 错误, 用 request (It supports HTTPS and follows redirects by default.) 包也还是不可以,其他的网站都可以,唯独目标网站不行。

用其他语言抓取就可行, 求解!

5 回复

这个是重定向,你可以直接抓取目标网页,或者根据响应头去做正理 request里面有个参数followRedirects:false

已经用了request该插件,自动会follows redirects的

@lolocoo 让是让你 followRedirects设置为false,自己根据响应头去获取

http包就有这个问题

用request包就行了,自动转向。 http://blog.fens.me/nodejs-crawler-douban/

如果request的时候响应了cookie重定向之后是不会把cookie加到头中的

回到顶部