douban的www域名request抓不到吗?
看了很多例子都是拿douban做爬虫的例子…
然后我也试试.
发现 request(‘http://movie.douban.com/’) 有用
request(‘http://www.douban.com/’) 没用
是什么原因呢?
6 回复
我也测试了一下 好像真的没用
douban主站禁了空的user-agent
####亲测:
body: '<html>\r\n<head><title>403 Forbidden</title></head>\r\n<body bgcolor="white">\r\n<center><h1>403 Forbidden</h1></center>\r\n<hr><center>nginx</center>\r\n</body>\r\n</html>\r\n'
你们这些淫啊,把user agent 设置为 GFW ,douban 速度就尿了。。。
233333
…