一个简单的爬虫习作，以事件来组织代码。

主要受该文章影响。点我 scraper 的 github 一个爬虫无非是以下三个过程 ： 载入网页 -> 解析内容 -> 保存数据

再加两个外部事件，错误处理及完成通知。

以事件来说明，是酱子的：

		@loadWebPage @url

		@on 'loaded',@parsePage

		@on 'parsed',@db

		@on 'error',@handleErr

		@on 'complete',@complete

1.载入网页，直取 node 原生 http.get ; 2.解析内容，这个不能写正则造轮子吧（其实我也不会写）！借用 cheerio 这个变态杀手好了 ; 3.数据保存，写本地就用 fs ，数据库就依赖 mongoose 。

所以 ，主框架 scraper.coffee 如下： 构造器 + 原型函数

EventEmitter = require('events').EventEmitter
cheerio = require 'cheerio'
http = require 'http'

STATUS_CODES = http.STATUS_CODES
show = console.log

class Scraper extends EventEmitter
	constructor : (@url) ->

	###
	init : ->
		@loadWebPage @url

		@on 'error',@handleErr

		@on 'loaded',@parsePage

		@on 'parsed',@db

		@on 'complete',@complete
	###

	loadWebPage : (opts,fn) ->
		fn = fn or ->
		if typeof opts is 'string'
			show 'Loading ' + opts
		else
			show 'Loading ' + opts.host + opts.path

		req = http.get opts,(res) =>
			body = ''
			if res.statusCode isnt 200
				@emit 'error',STATUS_CODES[res.statusCode]

			res.on 'data',(chunk) ->
				body += chunk

			res.on 'end', =>
				@emit 'loaded',body
				fn()
			return
		req.on 'error',(err) =>
			@emit 'error',err
		return

	parseLoad : (html) ->
		cheerio.load html

	parsePage : (html) ->
		show 'parse...'
		$ = @parseLoad html
		docs = []

		$('#shop-all-list ul li')
			.each (i,elem) ->
				model = new Object 
					shopName : ''
					link : ''
					pic : ''
					addr : ''
					cate : 
						life : new Array
						buss : new Array
					comment : new Array
					
				#console.log 'i:%s',i
				#console.log i + ':' + $('.txt .tag-addr span',@).text()
				model.shopName = $('.txt .tit a',@).attr('title')
				model.link = $('.txt .tit a',@).attr('href')
				model.pic = $('.pic a img',@).attr('data-src')
				
				$('.txt .tag-addr',@)
					.each (i,elem) ->
						model.addr = $('.addr',@).text()
						model.cate.life.push $('a span',@).eq(0).text(),$('a',@).eq(0).attr('href')
						model.cate.buss.push $('a span',@).eq(1).text(),$('a',@).eq(1).attr('href')

				model.comment.push $('.txt .comment span',@).attr('title')

				$('.txt .comment a',@)
					.each (i,elem) ->
						model.comment.push $(@).children().text()
				docs.push model

		@emit 'parsed',docs

	handleErr : (err) ->
		show 'has some error ,%s',err

	complete : ->
		show 'all have done!!'

module.exports = Scraper

个人模块 bot_test.coffee 继承主框架 ， 以本地一个 html 来测试 ， 拿大众点评来练手 。

fs = require 'fs'
Scraper = require './scraper'
show = console.log

class Tscraper extends Scraper
	constructor : (@path,@destpath) ->
		@init2Test()

	init2Test : ->
		show ' test...'

		@read2Test @path

		@on 'error',@handleErr

		@on 'loaded',@parsePage

		@on 'parsed',@write2Test

		@on 'complete',@complete

	read2Test : (path) ->
		fs.readFile path,{encoding:'utf8'},(err,data) =>
			show 'reading file.'
			if err then @emit 'error',err else @emit 'loaded',data

	write2Test : (data) ->
		data = JSON.stringify data
		fs.writeFile @destpath,data,(err) =>
			if err then @emit 'error',err else @emit 'complete'

	#your cheerio rule and change @on 'parsed'
	parseYour : (html) ->
		$ = @parseLoad html
		docs = []

		#your rule
		#
		#
		@emit 'parsed',docs

filepath = './test/gz_movie_p1.html'
destpath = './test/test_gz_movie.json'

scraper = new Tscraper filepath,destpath

实际上 ， 身为一个合格的爬虫怎能没有并发呢！ 正在 bot.coffee 的例子是酱子的：

mongoose = require 'mongoose'
Scraper = require './scraper'
Model = require './model'
show = console.log

url = 'http://www.dianping.com/search/category/2/10/g132'
COUNT = 0
PAGES_LIMITS = 50
DB_COUNT = 0

class YoScraper extends Scraper
	constructor : (@url) ->
		COUNT++
		@init()

	init : ->
		
		#回调这里好 ， 载完网页立即载入 ， loadWebPage 加个 callback
		@loadWebPage @url,wizard

		@on 'error',@handleErr

		@on 'loaded',@parsePage

		@on 'parsed',@db

		@on 'complete',@complete

	db : (docs) ->
		Model.create docs,(err) =>
			DB_COUNT++
			show '%s db runing.',DB_COUNT
			if err then @emit 'error',err else @emit 'complete'

	complete : ->
		show 'complete website : %s',DB_COUNT
		#全部完成后 ， 断开 mongoose ，安静退出 ， 深藏功与名 。
		if DB_COUNT is PAGES_LIMITS
			@exit()
	
	#有错误也不让它结束 ， 爬下个。
	handleErr : (err) ->
		show 'has some error ,%s',err
		wizard()

	#your cheerio rule.
	parseYourWeb : (html) ->
		$ = @parseLoad html
		docs = []

		#your rule
		#
		#
		
		@emit 'parsed',docs
	exit : ->
		mongoose.disconnect()

geraterUrls = (limit) ->
	urls = []
	urls.push url
	urls.push url + 'p' + i for i in [2..limit]

	return urls

Urls = geraterUrls PAGES_LIMITS

wizard = ->
	if !Urls.length
		show 'Run all pages!!'
	else
		url = Urls.shift()
		scraper = new YoScraper url

numberOfParallelRequests = 20
wizard() for i in [1..numberOfParallelRequests]

如有载入网页->解析内容->载入网页 ， 可以再写一个 ‘init’

另外： 前练习事件写法，无料近论坛有人争论 ‘事件的自言自语’ 是否合适 ， 本人是小白 ， 说得太高深 ，听不进 。 觉得事件写法，有如大白菜之美。

promise 的一点看法： promise 看来挺高大上 ， 只要写出返回 promise 这种风格函数 ，再用 promise 来组织 。 我拿 mongoose 原生支持 promise 写了两句 。 普通函数有变成 promise 风格的工具 ，这就不好说了。

以上是我对爬虫 ， 及异步的小小认识