Redis 数据自动清理
发布于 2 年前 作者 shudingbo 6749 次浏览 来自 分享

Redis 数据清理

本模块是 sdb-schedule 的插件,用于自动清理 redis 数据。 sdb-schedule 也提供了APP sdb-schedule-ui,进行图形化操作。 可在这里进行下载 download

  • 支持 正则表达式
  • 支持 ZSET,LIST 的清理

Setting

安装

step 1: install module

Using npm:

$ npm install scp-cleanRedis

step 2: config in sdb-schedule

  • 添加 Job,设置 Fun 参数为 “scp-cleanRedis”.

更新记录

0.0.2

修复只能清理一次的Bug。

0.0.1

实现功能。

配置

配置文件采用json格式,定义了每个匹配,结构大致如下:

 {
	"redis":{ "host":"127.0.0.1","port":6379 },
	"keys":[
		{
			"name":"<descript info>",
			"type":"<zset|list|key>",
			"match":"<redis keys synctax>",
			"action":{
				"style" : "<rank|score|rem|trim>",  // rank|score for ZSET;rem|trim for LIST
				"min"   : "<js expression>",
				"max"   : "<js expression>",
				"count" : "<js expression>", // optional ,FOR LIST rem
				"value" : "<js expression>", // optional ,FOR LIST rem
				"expire":36000,    // optional, for key type

				"regex":"<regex>",
				"attr":[
					{
						"matchType":"<int|string|dateStamp>",
						"min"    : "<val0 | js expression>",
						"max"    : "[val0 | js expression]"
					}
				]
			}
		}
	]
};

redis

配置操作的redis数据库的地址

  • host, redis服务器的IP;
  • port, redis服务器的端口号;

keys

数组,清理的redis键的配置。

  • name,清理操作描述信息
  • type,清理类型
    • zset,清理 ZSET 数据
    • list,清理 LIST 数据
    • key,清理redis key,通过设置超期值来实现
  • match,查找匹配的redis键,参照 redis keys 的语法。
  • action,操作
    • style,操作的方式,支持 ( rank|score|rem|trim )。
      • rank,type为 ZSET 时有效,对应调用 zremrangebyrank 实现数据的清理
      • score,type为 ZSET 时有效,对应调用 zremrangebyscore 实现数据的清理
      • rem,type为 LIST 时有效,对应调用 lrem 实现数据的清理
      • trim,type为 LIST 时有效,对应调用 ltrim 实现数据的清理
    • min,js表达式,移除范围低值,用于 ZSET 和 LIST 的 trim
    • max,js表达式,移除范围高值,用于 ZSET 和 LIST 的 trim
    • count,js表达式,移除数量,用于 LIST 的 rem
    • value,js表达式,移除数值,用于 LIST 的 rem
    • expire, 数字,单位秒, type为key时有效,设置 key 的超期值
    • regex, 键的匹配正则表达式,支持子匹配,子匹配的匹配判断参数在 下面的 attr里面设置
    • attr, 子匹配属性
      • matchType,匹配类型,支持整形(int),字符串(string),时间戳(dateStamp)
        • min,匹配范围低值
        • max,匹配范围高值,对 string类型无效

下面是配置的详细例子

{
	"redis":{ "host":"127.0.0.1","port":6379 },
	"keys":[
		{
			"name":"清理zset类型",
			"type":"zset",
			"match":"*:Pool:his",
			"action":{
				"style" : "score",
				"min"   : "'-inf'",
				"max"   : "parseInt((new Date()).valueOf()/1000) - 86400 * 30",
				"regex":"([0-9]{8}):*",
				"attr":[
					{
						"matchType":"string",
						"min"    : "50901800",
						"max"    : ""
					}
				]
			}
		},
		{
			"name":"清理 List",
			"type":"list",
			"match":"brnn:winls",
			"action":{
				"style":"trim",
				"min"  : 0,
				"max"  : 3
			}
		},
		{
			"name":"清理key",
			"type":"key",
			"match":"rcard:20??????:*:*",
			"action":{
				"expire":36000,
				"regex":"([0-9]{8}):([0-9]{1,}):([0-9]{1,})",
				"attr":[
					{
						"matchType":"dateStamp",
						"min"    : "0",
						"max"    : "(new Date()).valueOf() - 86400 * 30000"
					},
					{
						"matchType":"int",
						"min"    : "0",
						"max"    : "3"
					},
					{
						"matchType":"string",
						"min"    : "5",
						"max"    : ""
					}
				]
			}
		}
	]

};

Copyright and license

Copyright 2016+ shudingbo

Licensed under the [MIT License].

回到顶部