看了很多例子都是拿douban做爬虫的例子..
然后我也试试.
发现 request('http://movie.douban.com/') 有用
request('http://www.douban.com/') 没用
是什么原因呢?
回复 (6)
H
......
N
你们这些淫啊，把user agent 设置为 GFW ,douban 速度就尿了。。。
Y
####亲测：
body: '<html>\r\n<head><title>403 Forbidden</title></head>\r\n<body bgcolor="white">\r\n<center><h1>403 Forbidden</h1></center>\r\n<hr><center>nginx</center>\r\n</body>\r\n</html>\r\n'
W
douban主站禁了空的user-agent
G
我也测试了一下 好像真的没用
参与回复
登录后即可参与回复。登录