利用redis将log4js产生的日志送到logstash
发布于 8 年前 作者 beyond5959 5271 次浏览 来自 分享

log4js-logstash-redis

在用Node.js开发项目的时候,我们常用 log4js 模块来进行日志的记录,可以通过配置 log4js 的 Appenders 将日志输出到Console、File和GELF等不同的地方。

logstash

logstash 是 elastic 技术栈的其中一员,常被用来收集和解析日志。一种比较常见的做法就是在项目工程中把日志写入到日志文件中,然后用 logstash 读取和解析日志文件。比如在 Node.js 项目中,若要将日志记录到文件中,只需对 log4js 做如下配置即可:

const log4js = require('log4js');
log4js.configure({
  appenders: [{
    type: 'file',
    filename: './example.log'
  }]
});

const logger = log4js.getLogger();
logger.info('hello');

这样日志就会被记录到 example.log 文件中,然后再对 logstash 的 input 做如下配置:

file {
    path => "YourLogPath/example.log"
    start_position => "beginning"
  }
}

这样 logstash 就可以读取这个日志文件。可是这样总感觉用一个文件作为中转略显麻烦,如果能将 log4js 产生的日志直接送到 logstash 就更好了。

logstashUDP

log4js 内置了 logstashUDP 来直接将日志输出到 logstash。配置如下:

log4js.configure({
  appenders: [{
    type: "logstashUDP",
    host: "localhost",
    port: 12345
	}]
});

然后将 logstash 的配置改成下面这样:

input {
	udp {
    host => "127.0.0.1"
		port => 12345
	}
}

嗯,很简单嘛!现在 log4js 产生的日志就能直接送到 logstash 了,而不再需要用一个文件作为中转。但是,当我在使用的时候发现一个问题,就是如果 logstash 服务挂了,这时候 log4js 仍然在不断的产生日志数据,这时候首先想到的就是把 logstash 重新启动起来,但重启后却发现 logstash 没能获取到在 logstash 挂掉的时候 log4js 产生的数据,也就是说如果 logstash 挂掉了的话,那么 log4js 产生的数据就会丢失,不会被处理。 这时候就想着用一个代理来暂存 log4js 产生的数据,log4js 将数据输出到代理,logstash 从代理那里读取数据,logstash 读取一条数据,代理就丢弃掉那条数据。对,也就是队列。这样就不会有数据丢失的问题了。

log4js-logstash-redis

log4js-logstash-redis 就是为了解决上述问题而开发的一个 log4js 的 Appender。 他的原理是:log4js 将产生的日志输出到 redis,然后让 logstash 从 redis 读取数据。但是直接叫 log4js-redis 就好了嘛,为什么叫 log4js-logstash-redis 呢?这是因为将日志格式针对 logstash 做过一些更友好的定制。😊

安装

npm install log4js-logstash-redis --save

使用

log4js.configure({
  appenders: [{
    type: "log4js-logstash-redis",
    key: "test",
    redis: {
      db: 1
    }
	}]
});

redis 配置可选,没有的话 redis 连接就采用默认值。logstash 的配置如下:

redis {
		data_type => "list"
		key => "test"
		codec => json
}

其中 data_type 的值一定要是 list。

原文地址:利用redis将log4js产生的日志送到logstash

7 回复

redis做日志队列太贵了吧。。。 @luoyjx kafka 看起来靠谱一点

@alsotang 似乎redis负载也不好搞啊

感觉有点矛盾哦,使用redis的初衷是 发现 logstash 可能会宕机 期间的日志可能会丢,但是用了redis后 估计也会担心redis 会宕机把。

回到顶部