两小时惨案

来自酷炫的 CNodeMD

@wendaosanshou

请问你是将爬到的数据存到了数据库，然后搜索的时候，自己查数据库吗？

是的，楼主是一小时抓取一次数据，填充到数据库。

存储的时候使用了hibernate search，这个东西是一个持久化全文检索框架，中文的分词用的是IKAnalyzer。说白了，就是把抓取的数据，截取出关键字，建立索引，这样就可以实现通过关键字搜索。

以上是通过楼主提供的信息猜的，技术核心主要是分词技术。

Node要去实现，去找找看分词的相关框架

@wendaosanshou 本人非楼主，楼主是 @liygheart

请问抓取到的内容怎么截取关键字做索引呢？

抓取到数据之后，第一步要获取关键字。 关键字截取是通过分词引擎来实现的。以 node-segment 举个例子：

$ npm install segment --save

var Segment = require('segment');
var segment = new Segment();
segment.useDefault();
console.log(segment.doSegment('CNode是全球最大的中文NodeJS开发者社区'));

上面结果返回：

{ w: 'C', p: 16 },
{ w: 'Node', p: 8 },
{ w: '是', p: 4096 },
{ w: '全球', p: 1048576 },
{ w: '最大', p: 8 },
{ w: '的', p: 8192 },
{ w: '中文', p: 1048576 },
{ w: 'NodeJS', p: 8 },
{ w: '开发者', p: 1048576 },
{ w: '社区', p: 1048576 } 

我们参考文档的词性表（字段p），https://github.com/leizongmin/node-segment/blob/master/lib/POSTAG.js 忽略掉无意义词，例如我们只保留名词等，忽略掉副词、连词、量词等 赛选后，就变成了：

{ w: 'C', p: 16 },
{ w: 'Node', p: 8 },
{ w: '全球', p: 1048576 },
{ w: '最大', p: 8 },
{ w: '中文', p: 1048576 },
{ w: 'NodeJS', p: 8 },
{ w: '开发者', p: 1048576 },
{ w: '社区', p: 1048576 } 

然后我们创建一个数据库领域对象模型，结构类似于下面的结构， { id: xxx, key: ‘开发者’， keyTarget: ‘title’ or ‘content’ sourceType: ‘topic’, sourceId: xx, sourceSummary: ‘CNode是全球最大的中文NodeJS开发者社区’, sourceLink: ‘http://cnodejs.org/topic/xxxxx’ }

抓取到CNodeJS的Topic对象之后，对title和content属性做分词处理，然后生成上面的领域结构，存到数据库 检索的时候，通过key这个列名检索

上面只是一个大概的思路，这个过程可能还需要处理去重之类的问题