【已解决】nodejs豆瓣小组爬虫分析与解决。
豆瓣小组地址： http://www.douban.com/group/ （采用 request、http.get全部是403错误） （ALL）具体小组地址： http://www.douban.com/group/小组ID/ 例如：分页地址 http://www.douban.com/group/kaopulove/discussion?start=数字（采用 request、http.get，还是TM403错误） 该小组下的具体主题地址： http://www.douban.com/group/topic/54905582/（采用 request、http.get，吐血还是403错误）
大伙有没有相应的解决方案呢？demo 等等之类的，这TM的全是403错，这是为毛呢！！ 电影的那个爬虫我看过了，测试了是可以爬的。为毛小组爬不了呢？ 我也看了不少Python写的爬虫都有爬小组的。为毛nodeJS不行呢？
采用 request.get（{url:‘http://www.’,headers:{‘User-Agent’: ‘request’}，funaction（err,req,data）{}）
14 回复
var jsonreq = http.request(opt, function (serverFeedback) {
if (serverFeedback.statusCode == 200) {
var x='';
serverFeedback.setEncoding('utf8');
serverFeedback.on('data',function(data){x += data;});
serverFeedback.on('end',function(){req.session.json=JSON.parse(x);eval(point)});
}
else {
req.session.json='error';
}
});
jsonreq.write(data);
jsonreq.end();
}
拿这个拆吧
常规的解决，模拟用户登录 在请求头部中加东西headers:{‘User-Agent’: ‘request’} request.get（{url:‘http://www.’,headers:{‘User-Agent’: ‘request’}，funaction（err,req,data）{}）
