nodejs网络爬虫技术介绍
发布于 8 年前 作者 ccfromstar 8524 次浏览 来自 分享

现在是大数据的时代,网络上现成的数据都在那里,就看你怎么样来利用,网络爬虫,最适合来抓取我们需要的数据,给刚转nodejs的小伙伴们提供一些需要掌握的nodejs的常用模块

那用nodejs来完成整个爬虫我们需要哪些模块和技术呢

1.request模块

request是一个用来简化HTTP请求操作的模块,其功能强大而且使用方法简单

具体用法可以参考 http://blog.youlunshidai.com/post?id=91

2.cheerio模块

相信用nodejs做过网络爬虫的小伙伴们都知道cheerio这个模块,是的,他是jQuery Core的子集,其实现了jQuery Core中浏览器无关的DOM操作API,一般通过cheerio.load方法来加载我们通过http请求到的网页内容,然后进行DOM操作,抓取我们需要的数据。

需要注意的是,cheerio并不支持所有jQuery的查询语法

比如$(‘a:first’)会报错,只能写成$(‘a’).first()

具体的使用方法可以通过cheerio模块的主页来获取详细的使用说明 https://npmjs.org/package/cheerio

3.async模块

async是一个使用比较广泛的JS异步流程控制模块,除了可以在Nodejs上运行,也可以在浏览器端运行,主要用于处理Nodejs过程中各种复杂的回调

在这里我们主要用到了async的eachSeries方法,他主要用来异步操作里的串行操作,当我们希望在异步流程里上一个操作执行完之后再执行下一个,而不是同时执行的时候,我们就可以通过eachSeries来循环执行所有的异步操作。

具体的使用方法可以通过async模块的主页来获取详细的使用说明 https://npmjs.org/package/async

4.mysql模块

mysql是Nodejs下比较有名的一个MySQL操作模块,我们需要用到这个模块来把我们抓取到的数据集存储到mysql数据库中

具体的使用方法可以通过mysql模块的主页来获取详细的使用说明 https://github.com/felixge/node-mysql

最后分享一个我项目中的一个完整的网络爬虫源码

var request = require(‘request’); var cheerio = require(‘cheerio’); var async = require(‘async’); var mysql = require(’…/models/db’);

exports.get = function() { var domino = ‘http://www.tapotiexie.com’; var url = ‘http://www.tapotiexie.com/Line/index/name/yt/p/’; var txtSource = ‘踏破铁鞋’; var url_list = []; var list = []; for (var i = 1; i < 25; i++) { url_list.push(url + i + ‘.html’); } async.eachSeries(url_list, function(arr_url, callback) { console.log(‘正在抓取’ + arr_url + ‘的数据…’); request(arr_url, function(err, data) { if (err) return console.error(err); var $ = cheerio.load(data.body.toString()); $(’.tptx_ytgt .tptx_ytgt_4’).each(function() { var $me = $(this); //解析船公司和船字段 var arr1 = analyStr($me.find(’.tptx_ytgt_2b a’).text()); //解析晚和天 var arr2 = analyDay($me.find(’.tptx_jcyj_2ab_1 span’).text()); var item = { txtCompany: arr1[0], txtCruise: arr1[1], txtLine: analyLine($me.find(’.tptx_jcyj_2ab_1 ul li:first-child’).text()), txtStartDate: analyStart($me.find(’.tptx_jcyj_2ab_1 li’).eq(1).text(), $me.find(’.tptx_jcyj_2ab_1 span’).text()), numDay: Number(arr2[1]), numNight: Number(arr2[0]), numPrice: analyPrice($me.find(’.tptx_jcyj_2ac .tptx_jcyj_2ac_1’).text()), txtUrl: domino + $me.find(’.tptx_ytgt_2b a’).attr(‘href’) }; list.push(item); }); callback(err, list); }); }, function(err) { if (err) return console.error(err.stack); /写入数据库/ async.eachSeries(list, function(record, callback) { console.log(‘正在写入’ + record.txtStartDate + ‘的数据…’); var sql = ‘insert into …’; mysql.query(sql, function(err, info) { if (err) return console.error(err.stack); if (info.affectedRows == 1) { callback(err); } }); }, function(err) { if (err) return console.error(err.stack); console.log(‘处理成功!’); }); }); }

/按中间的空格解析字符串/ function analyStr(str) { var _newStr = ‘’; for (i in str) { if (str[i].trim() == ‘’) { _newStr += ‘|’; } else { _newStr += str[i]; } } return _newStr.split(’||’); }

/解析航线/ function analyLine(str) { var arr1 = str.split(“邮轮线路:”); return arr1[1]; }

/解析价格/ function analyPrice(str) { if (str == ‘售罄’) { return 0; } else { var arr1 = str.split(“¥”); var arr2 = arr1[1].split(“起”); return Number(arr2[0]); } }

/解析晚和天/ function analyDay(str) { var arr1 = str.split(‘晚’); var arr2 = arr1[1].split(‘天’); var _newStr = arr1[0] + ‘|’ + arr2[0]; return _newStr.split(’|’); }

/解析出发日期/ function analyStart(str1, str2) { var arr1 = str1.split(str2); var arr2 = arr1[0].split(‘出发时间:’); return arr2[1]; }

原文地址: http://blog.youlunshidai.com/post?id=198(陈叔叔博客-原创技术博客)

11 回复

貌似还有更简单的方案吧

@i5ting 前辈出个帖子,正需要node做爬虫呢

@a1511870876 哈哈

我目前用的不是特别多,下面这个比较好用,可以试试

https://github.com/sylvinus/node-crawler

其实说到爬虫,本质上需要写好正则表达式,惰性匹配可以省很多cpu的。另外,考虑到现在很多页面都是spa 或者ajax异步渲染,其实也应该研究研究phantomjs

http://www.fkwebs.com/2111.html 自己写了个百老王搜索,采集必应的

@zhuyingda phantomjs 好啊,但是很耗内存

mk

来自酷炫的 CNodeMD

最近研究了一下,其实爬虫的“爬”不是重点,重点是数据的处理,python在爬虫领域要比nodejs成熟很多。

回到顶部