最近要爬取一些商品的评价,然后做一些东西。 电子产品才中关村在线就有很多。 比如 http://detail.zol.com.cn/332/331058/review.shtml
之前爬虫也一直在用node，不过只是存在数据库里面，用其他的程序来解析的。 这次想试试用node。如果有类似JQuery的东西就好了，一看还真有（node新手） 一个是jsdom，还有个是cheerio 都试试呗. 直接npm install jsdom 然后。。。然后。。。粗错了。。。 网上搜了下，终于装上了。 还有个cherrio， npm install cheerio 竟然没错。
那今天就先试试cheerio吧！
我需要的就是分析出商品评价，好评和差评要分开。 先看看cheerio怎么用把
var cheerio = require('cheerio'),
$ = cheerio.load('<h2>Hello world</h2>');
$('h2.title').text('Hello there!');
$('h2').addClass('welcome');
$.html();
//=> <h2>Hello there!</h2>
感觉很简单，确实和JQuery差不多（我也不是很懂JQuery） 分析下中关村在线的页面结构
<div class="comment_content">
<dl>
<dt class="good">优点</dt>
<dd>散热比较好不玩游戏不超过30度； 处理速度比较好大型游戏秒杀 屏幕较大看电影比较爽 有小数字键盘 电池能用3个小时 音质较好</dd>
</dl>
<dl>
<dt class="bad">缺点</dt>
<dd>重量偏重 画面显示质量一般情况 充电电源口和散热口太近不合理</dd>
</dl>
<dl>
<dt>总结</dt>
<dd>总体一切良好 推荐</dd>
</dl>
</div>
所有评价都是这个结构。所以嘛，接下来的事情就很简单啦。
$('.comment_content').each(function(){
console.log('good: '+$(this).children('dl').children('.good').next().text());
console.log('bad: '+$(this).children('dl').children('.bad').next().text());
});
完整的样例代码
var http = require('http');
var iconv = require('iconv-lite');
var cheerio = require('cheerio');
url = 'http://detail.zol.com.cn/332/331058/review.shtml'
function parseZOL(data)
{
//console.log(data);
var $ = cheerio.load(data);
//console.log($('.star_overview .nums').text());
$('.comment_content').each(function(){
console.log('good: '+$(this).children('dl').children('.good').next().text());
console.log('bad: '+$(this).children('dl').children('.bad').next().text());
});
}
http.get(url , function(res){
var stack = '';
res.setEncoding('binary');
res.on('data' , function(d){
stack += d;
}).on('error',function(err){
console.log(err.message);
});
res.on('end' , function(){
var buf = new Buffer(stack ,'binary');
var data = iconv.decode(buf , 'gbk');
parseZOL(data);
}).on('error',function(err){
console.log(err.message);
})
}).on('error', function(err){
console.log(err.message);
});