【已解决】nodejs豆瓣小组爬虫分析与解决。

Hheixiaoshan发布于 12 年前最后回复 12 年前

14106510

豆瓣小组地址： http://www.douban.com/group/ （采用 request、http.get全部是403错误）（ALL）具体小组地址： http://www.douban.com/group/小组ID/ 例如：分页地址 http://www.douban.com/group/kaopulove/discussion?start=数字（采用 request、http.get，还是TM403错误）该小组下的具体主题地址： http://www.douban.com/group/topic/54905582/（采用 request、http.get，吐血还是403错误）

大伙有没有相应的解决方案呢？demo 等等之类的，这TM的全是403错，这是为毛呢！！电影的那个爬虫我看过了，测试了是可以爬的。为毛小组爬不了呢？我也看了不少Python写的爬虫都有爬小组的。为毛nodeJS不行呢？

采用 request.get（{url:‘http://www.’,headers:{'User-Agent': 'request'}，funaction（err,req,data）{}）

查看回复

yakczh#112 年前

那怕是取页面里的一个字符,也要下载整个页面

dlutwuwei#212 年前

懂前端的人都知道，dom树没构建之前，不可能用jquery去取元素，唯一的办法就是用正则表达式

heixiaoshan#312 年前

引用 dlutwuwei懂前端的人都知道，dom树没构建之前，不可能用jquery去取元素，唯一的办法就是用正则表达式

兄台，能否讲明白点呢，是指用正则表达式可以做到吗？

MiguelValentine#412 年前

抓取响应方法啊思路大概是 status==‘200’ 握手握到一半就END就行了。 .on事件。

MiguelValentine#512 年前

var jsonreq = http.request(opt, function (serverFeedback) {  
  if (serverFeedback.statusCode == 200) { 
		var x='';
		serverFeedback.setEncoding('utf8');
        serverFeedback.on('data',function(data){x += data;});  
        serverFeedback.on('end',function(){req.session.json=JSON.parse(x);eval(point)});
    }  
    else {
        req.session.json='error';  
    } 
});
jsonreq.write(data);
jsonreq.end();	
}

拿这个拆吧

alsotang#612 年前

怎么解决的？

heixiaoshan#712 年前

引用 alsotang怎么解决的？

常规的解决，模拟用户登录在请求头部中加东西headers:{'User-Agent': 'request'} request.get（{url:‘http://www.’,headers:{'User-Agent': 'request'}，funaction（err,req,data）{}）

heixiaoshan#812 年前

引用 MiguelValentinevar jsonreq = http.request(opt, function (serverFeedback) { if (serverFeedback.statusCode == 200...

已经解决，谢谢。

nihgwu#912 年前

为何不直接通过API爬，这样还要处理dom多麻烦

heixiaoshan#1012 年前

引用 nihgwu为何不直接通过API爬，这样还要处理dom多麻烦

豆瓣小组有API吗？

nihgwu#1112 年前

引用 nihgwu为何不直接通过API爬，这样还要处理dom多麻烦

@heixiaoshan 送你一个 http://api.douban.com/v2/group/group_tags

heixiaoshan#1212 年前

引用 nihgwu为何不直接通过API爬，这样还要处理dom多麻烦

@nihgwu 关键在于要取小组内主题页面里面的内容。而不是小组标签，目前豆瓣有提供这个API接口？

nihgwu#1312 年前

引用 nihgwu为何不直接通过API爬，这样还要处理dom多麻烦

@heixiaoshan 我只是提供了一个无关痛痒的api举个例子而已，其它的接口显然都有

heixiaoshan#1412 年前

引用 nihgwu为何不直接通过API爬，这样还要处理dom多麻烦

@nihgwu 话说你在哪里找到的。我都没有找到。去官方看了。居然没有小组的API

参与回复

登录后即可参与回复。登录

【已解决】nodejs豆瓣小组爬虫分析与解决。

回复 (14)

参与回复