不为有趣之事,何遣有涯之生
不失其所者久,死而不亡者寿

Redis之路系列拓展篇(4) 功夫在诗外

4 拓展篇—功夫在诗外

6.0新特性

相对都比较鸡肋,谨慎在生产环境使用

ACL安全策略

Redis6版本推出了ACL(Access Control List)访问控制权限 的功能,基于此功能,可以设置多个用户,并且给每个用户单独设 置命令权限和数据权限。

ACL文件配置方式有两种,一种是在config文件中直接配置,另一种是在外部aclfile中配置,配置命令是一样的
ACL是使用DSL定义的,该规则是从上到下,从左到右的,具体可以参考附录中的具体规则说明

RESP3和客户端缓存

RESP(REdisSerializationProtocol),是 Redis服务端与客户端之间通信的协议。
在Reds6之前的版本,使用的是RESP2协议,数据都是以字符串数组的形式返回给客户端,客户端需要根据类型进行解析,增加了客户端实现的复杂度。
RESP3协议可以按类型返回数据。 可以使用HELLO命令在RESP2和RESP3协议之间进行切换

新增的客户端缓存的设计导致客户端缓存和redis缓存绑定,十分不灵活,会导致资源浪费,没有很大的实际使用价值。

Redis中值的变化每次需要同步到客户端缓存,但是客户端并非会用到没的变化,导致资源浪费,数据管理更加复杂了,实际价值不大

I/O多线程

注意:主流程操作还是单线程
开启IO多线程:io-threads-do-reads yes 配置线程数量,如果设为1就是主线程模式:io-threads 4

目前官方建议:至少4核的机器才开启IO多线程,并且除非真的遇到了性能瓶颈,否则不建议开启此配置 。 建议配置的线程数少于机器总线程数,线程并不是越多越好 ,多于8个线程意义不大

集群代理

集群代理把集群抽象成为单个Redis实例,客户端通过集群 代理访问集群,就像访问单个Redis一样,不去关心很多集群上 的问题,比如:集群模式下multiple操作的限制及跨slot操作限 制等等,这些由集群代理去处理。

目前是一个实验性的功能,需要单独安装、单独配置、单独运行,不建议生产环境使用。

Lua脚本

Lua是一个高效、简洁、轻量级、可扩展的脚本语言,可以很方便的嵌入到其它语言或中间件中使用,Redis从2.6版支持Lua。

使用脚本好处

  • 1:减少网络开销
  • 2:原子操作:Redis会把脚本当作一个整体来执行,中间不会插入其它命令
  • 3:复用功能

基本数据类型

Lua是一个动态类型的语言,一个变量可以存储任何类型的值

基础语法

  • 默认全局变量,但是在Redis中不允许使用,局部变量使用local关键字进行声明
  • 变量名必须是非数字开头,只能包含字母、数字和下划线
  • 变量名是区分大小写
  • 逻辑操作符用单词表示:and、or、not
  • 单行注释使用 --来表示,多行注释使用--[[ 开始,到 ]] 结束
  • 支持多重赋值:local a,b = 1,2,3 (a=1,b=2),不过不建议,难维护易错
  • 使用 .. 用来连接字符串
  • 使用 #来获取长度,比如:print(#'helloworld')
  • 只有nil和false是假,其它都是真
  • 循环语句有for、while、repeat三种

与Redis结合

在Redis中执行lua脚本命令: redis-cli --eval 脚本 [key...] , [arg...]
在脚本中调用Redis命令:redis.call,遇到错误会直接返回;想要继续执行使用redis.pcall命令

Lua数据类型与Redis返回值类型对应关系:

其它命令:

  • evalsha:可以通过脚本摘要来运行,作用同eval
  • script load:将脚本加入缓存,返回值就是SHA1摘要
  • script exists:判断脚本是否已经缓存
  • script flush:清空脚本缓存
  • script kill:强制终止脚本的执行

发布订阅模式

Redis支持简单的发布订阅模式,可以实现进程间的消息传递,对业务要求不高的可以选择使用
下面是一些常用的操作命令:

  • 1:publish:发布消息,格式是publish channel 消息
  • 2:subscribe:订阅频道,格式是subscribe channel,可以是多个channel
  • 3:psubscribe:订阅频道,格式是psubscribe channel,支持glob风格的通配符
  • 4:unsubscribe:取消订阅,格式是unsubscribe channel,不指定频道表示取消所有subscribe命令的订阅
  • 5:punsubscribe:取消订阅,格式是punsubscribe channel,不指定频道表示取消所有psubscribe命令的订阅

注意这里匹配模式的时候,是不会将通配符展 开的,是严格进行字符串匹配的,比如:punsubscribe * 是无法退定 c1.* 的,必须严格使用punsubscribe c1.*才可以

常用优化手段

  • 使用管道Pipeline,有利于减少网络通信和传输
  • 精简键名和键值
  • 合理设计存储的数据结构和数据关系,减少数据冗余
  • 尽量使用mset来赋值,类似还有lpush、zadd等批量操作的命令
  • 如果可能,尽量使用Lua脚本来辅助获取和操作数据
  • 尽量使用hash结构来存储对象
  • 使用hash结构时,应尽量保证每个key下面<field,value>的数目不超过限制(默认值是64)
  • 配置使用类似ziplist以优化list等数据结构
  • 一定要设置maxmemory,保证redis不会因为内存导致崩溃

客户端

Lettuce简介

Lettuce是一个可伸缩线程安全的Redis客户端。多个线程可以共享同一个RedisConnection。它利用优秀netty NIO框架来高效地管理多个连接。

Lettuce核心组件有:RedisURI、Connection、RedisClient、RedisCommands

  • RedisURI:封装Redis的连接信息
  • Connection:Redis的连接,包含一些具体方式(单机、哨兵、集群、订阅发布等)
  • RedisClient:Redis的客户端,如果连接集群则为RedisClusterlient
  • RedisCommands:Redis的命令操作API接口,提供了三种调用方式:同步、异步、响应式

基本使用

官网地址:https://lettuce.io/docs/getting-started.html

基本依赖:

dependencies {
  compile 'io.lettuce:lettuce-core:6.1.4.RELEASE
}

基本使用示例:

RedisClient redisClient = RedisClient.create("redis://password@localhost:6379/0");
StatefulRedisConnection<String, String> connection = redisClient.connect();
RedisCommands<String, String> syncCommands = connection.sync();

syncCommands.set("key", "Hello, Redis!");

connection.close();
redisClient.shutdown();

与Spring的集成

@Configurationclass AppConfig { @Beanpublic LettuceConnectionFactory redisConnectionFactory() { return new LettuceConnectionFactory(new RedisStandaloneConfiguration("server", 6379)); } }

附录1:Lua脚本常用标准库与函数

Lua的标准库提供了很多使用的功能,Redis支持其中大部分:

  • 1:Base:提供一些基础函数
  • 2:String:提供用于操作字符串的函数
  • 3:Table:提供用于表操作的函数
  • 4:Math:提供数据计算的函数
  • 5:Debug:提供用于调试的函数

除了标准库外,Redis还会自动加载cjson和cmsgpack库,以提供对 Json和MessagePack的支持,在脚本中分别通过cjson和cmsgpack两 个全局变量来访问相应功能

在Redis中常用的标准库函数:

  • 1:string.len(string)
  • 2:string.lower(string)
  • 3:string.upper(string)
  • 4:string.rep(s, n):返回重复s字符串n次的字符串
  • 5:string.sub(string,start[,end]),索引从1开始,-1表示最后一 个
  • 6:string.char(n…):把数字转换成字符
  • 7:string.byte (s [, i [, j]]):用于把字符串转换成数字
  • 8:string.find (s, pattern [, init [, plain]]):查找目标模板 在给定字符串中出现的位置,找到返回起始和结束位置,没找到返 回nil
  • 9:string.gsub (s, pattern, repl [, n]):将所有符合匹配模式的 地方都替换成替代字符串。并返回替换后的字符串,以及替换次数 。四个参数,给定字符串,匹配模式、替代字符串和要替换的次数
  • 10:string.match (s, pattern [, init]):将返回第一个出现在给 定字符串中的匹配字符串,基本的模式有:. 所有字符,%a字母, %c控制字符,%d数字,%l小写字母,%p 标点符号字符,%s 空格, %u 大写字母,%w 文字数字字符,%x 16进制数字等
  • 11:string.reverse (s):逆序输出字符串
  • 12:string.gmatch (s, pattern):返回一个迭代器,用于迭代所有出现 在给定字符串中的匹配字符串
  • 13:table.concat(table[,sep[,i[,j]]]):将数组转换成字符串,以sep 指定的字符串分割,默认是空,i和j用来限制要转换的表索引的范围 ,默认是1和表的长度,不支持负索引
  • 14:table.insert(table,[pos,]value):向数组中插入元素,pos为指定 插入的索引,默认是数组长度加1,会将索引后面的元素顺序后移
  • 15:table.remove(table[,pos]):从数组中弹出一个元素,也就是删除这 个元素,将后面的元素前移,返回删除的元素值,默认pos是数组长度 table.sort(table[,sortFunction]):对数组进行排序,可以自定义 排序函数
  • 16:Math库里面常见的:abs、ceil、floor、max、min、pow、sqrt、 sin、cos、tan等
  • 17:math.random([m[,n]]):获取随机数,如果是同一个种子的话, 每次获得的随机数是一样的,没有参数,返回0-1的小数;只有m, 返回1-m的整数;设置了m和n,返回m-n的整数
  • 18:math.randomseed(x):设置生成随机数的种子

附录2:ACL规则

启用和禁用用户

  • on:启用用户
  • off:禁止用户

允许和禁止调用

  • +:将命令添加到用户可以调用的命令列表中
  • -:将命令从用户可以调用的命令列表中移除
  • +@:允许用户调用 类别中的所有命令
  • -@:禁止用户调用 类别中的所有命令
  • +|subcommand:允许使用已禁用命令的特定子命令
  • allcommands:+@all的别名,包括当前存在的命令以及将来通过模块加载的所有命令
  • nocommands:-@all的别名,禁止调用所有命令

允许或禁止访问key

  • ~:添加可以在命令中使用的键模式
    • resetkeys:使用当前模式覆盖所有允许的模式

为用户配置有效密码

  • >:将此密码添加到用户的有效密码列表中
  • <:从有效密码列表中删除此密码
  • #:将此SHA-256哈希值添加到用户的有效密码列表中
  • !:从有效密码列表中删除该哈希值
  • nopass:移除该用户已设置的所有密码
  • resetpass:清空该用户的所有密码列表
  • reset:重置用户状态为初始状态

PS:具体命令可以通过acl help 查看

未经允许不得转载:菡萏如佳人 » Redis之路系列拓展篇(4)

欢迎加入极客江湖

进入江湖关于作者