node request 数据采集
一个网站有的网页能正确转化中文 有的不能 可能原因是什么?字符集是gb2312,比如一个页面的分页1是OK的,2就是乱码 部分代码:
var url = require('url').parse('http://jbk.39.net/jiancha/search/F_p2'); //可以采集
var url = require('url').parse('http://jbk.39.net/jiancha/search/F_p1');//乱码
var iconv = require('iconv-lite');
var BufferHelper = require('bufferhelper');
http.get(url,function(res){
var bufferHelper = new BufferHelper();
res.on('data', function (chunk) {
bufferHelper.concat(chunk);
});
res.on('end',function(){
console.log(iconv.decode(bufferHelper.toBuffer(),'gb2312'));
});
})
~