[单身狗节]发包初体验
发布于 6 年前 作者 nekron 2963 次浏览 来自 分享

前言

以前就写写项目,也没想过发布什么。。。

今天在这个美丽的日子,第一次爆发了洪荒之力,照着教程有模有样的完善了testcoveragetraviscoveralls,然后执行了我人生的第一次npm publish。。。

项目地址

[flume-spool],很多地方都是第一次用到,不知道有多少不符合规范的地方,求指教~求轻拍~

说明

项目内容挺。。。定制化的,为了满足自己的业务需求。。。 场景如下:

node-server写日志,apache-flume收集日志,传输至HDFS/Kafka

原来flume配置都是采用exec source方案使用tail -F /path/to/log/file收集日志,直到某一天发现tail不执行了。。。各种找不到原因,各种跪。。。仔细看了文档:

Warning The problem with ExecSource and other asynchronous sources is that the source can not guarantee that if there is a failure to put the event into the Channel the client knows about it.

确实存在这种不执行的情况,一旦发生,各种姿势:无解,无解,无解。。。

虽然改了某个配置后,莫名其妙的tail执行了,但为了稳定可靠起见,采用了spooling directory source方案,诞生了该仓库。。。

回到顶部