Redis大Key问题如何排查?如何解决?

Redis 大 Key 是指存储在 Redis 中的键值对,其中键对应的 value 占用了较大的内存空间,或者包含了大量的元素。例如,一个存储了数百万个元素的集合(Set)类型的键,或者一个存储了一个很大的字符串(长度可能达到几十 MB 甚至更大)的键都被认为是大 Key。

Redis 大 Key 并没有统一的固定标准,当字符串存储了一个很大的值,例如 10M 以上,或集合存储了一个上百万元素的值,那就认为是 Redis 的大 Key 问题了。

1.主要影响

大 Key 问题造成的主要问题是让 Redis 服务阻塞,无法处理其他命令的响应(客户端可能因此出现请求超时的问题)。因为对大 Key 进行读写操作时,由于需要处理大量的数据,这些操作可能会非常耗时,这就会导致 Redis 主线程被阻塞,无法及时处理其他客户端的请求。

2.常见场景

大 Key 的常见场景有以下几个:

  1. 缓存大数据(图片和视频元数据):在缓存场景中,可能会将大型的文件内容(如图片、视频元数据)缓存到 Redis 中。例如,一个视频分享网站可能会将视频的详细描述、标签、点赞数、评论数等信息以 JSON 字符串的形式缓存为一个大 Key,方便快速获取视频相关的所有数据。
  2. 明星或网红粉丝列表:如果使用 ZSet 来存储粉丝和关注列表的话,如果是某些明星或网红的粉丝列表将会很大,可能存储元素超千万甚至是亿级别。
  3. 商品页所有信息:在电商应用中,可能需要将商品信息,如商品 ID、名称、描述、价格、库存、图片、评价等都缓存到 Redis 中的话,当商品详情和评价(几十上百万条评价)比较多时,这个 Key 就可能变得非常大。

3.排查大Key问题

排查大 Key 的方案有以下几个。

3.1 BIGKEYS

Redis 自带的 BIGKEYS 命令可以查询当前 Redis 中所有 key 的信息,对整个数据库中的键值对大小情况进行统计分析。它会查出每种数据结构的最大 Key,但不能根据某个容量进行筛查。比如说,统计每种数据类型的键值对个数以及平均大小,如下图所示:

alt

3.2 MEMORY USAGE

Redis 4.0+ 后推出了 MEMORY USAGE 命令,该命令可以返回指定 key 的内存使用情况,返回使用的内存的字节数。通过遍历所有的 key 并使用此命令,可以找出占用内存较大的 key。但需要注意的是,对于复杂数据结构(如 List、Set 等),MEMORY USAGE 命令返回的是近似值,因为它采用抽样方式来估算内存使用,如下图所示:

alt

3.3 OBJECT

OBJECT encoding 可以查看键值对象的编码类型,不同的编码类型可能暗示了键值的复杂程度和大小。例如,如果一个字符串类型的键采用了 raw 编码且长度很长,那么它可能是一个大 Key,如下图所示:

alt

4.解决大Key问题

大 Key 的解决方案有以下几个。

4.1 拆分大Key

将大 Key 拆分成多个小 Key,分别存储不同部分的数据。这样可以减少单个 Key 的内存占用,提高查询性能,拆分的常用方法有以下几个:

  1. 按业务逻辑拆分:如果大 Key 是一个包含大量聚合数据的键,可以根据业务逻辑将其拆分为多个小的键。例如,对于一个包含全品类商品销售数据的大 Key,可以按照品类拆分为多个小的键,每个键只存储一个品类的销售数据。
  2. 按时间范围拆分:对于存储时间序列数据的大 Key,如日志数据或统计数据,可以按照时间范围进行拆分。比如,将一天的日志数据拆分为每小时一个键,这样可以更灵活地管理和删除过期数据。

4.2 使用压缩算法

对于可以压缩的数据类型(如字符串),可以使用压缩算法(如 LZF 等)来减少内存占用。Redis 本身支持一些压缩算法,可以在一定程度上减少大 Key 的内存占用。

4.3 使用合适的数据结构和存储方式

  1. 考虑使用其他存储系统:如果数据实在太大且不适合存储在 Redis 中,可以考虑将部分数据转移到其他存储系统,如将大型文件存储到分布式文件系统(如 MinIO、Ceph 等),只在 Redis 中保留文件的元数据或引用。
  2. 优化 Redis 数据结构选择:根据数据的访问模式和特性,选择更合适的 Redis 数据结构。例如,如果一个集合类型的大 Key 主要用于判断元素是否存在,可以考虑使用布谷鸟哈希(Cuckoo Hash)等空间效率更高的数据结构替代传统的集合结构。

4.4 设置合理的过期时间

如果大 Key 中的数据不是一直需要的,可以设置过期时间,让 Redis 在一定时间后自动删除该 Key。这样可以避免大 Key 长期占用内存,导致内存泄漏。

4.5 加强监控和管理

建立对 Redis 的监控系统,实时监测大 Key 的出现和内存使用情况。当发现大 Key 或者内存占用过高时,及时发出预警,以便采取相应的措施进行处理。如 Redis Insights、Prometheus 等,设置对大 key 和内存使用的监控指标。

注意事项:大Key删除

删除大 Key 时要注意,要使用 UNLINK 命令代替 DEL 命令来删除大 Key。UNLINK 命令会立即返回,后台异步删除数据,避免阻塞,如下图所示:

alt

小结

Redis 大 Key 问题会让 Redis 服务阻塞,无法响应其他命令,可能会导致客户端响应超时等问题。排查大 Key 问题可以使用 BIGKEYS、MEMORY USAGE、OBJECT 等命令。它的解决方案有:拆分大 Key、压缩数据、使用合适数据结构和存储方式、设置合理过期时间,以及加强监控和管理等手段。

#java#
Java面试精讲 文章被收录于专栏

Java常见面试题、场景题、企业真题精讲。

全部评论

相关推荐

从投递简历到一面时间大概有一周,约面中有点小插曲,我本来投递的是Java,但HR说投Java的太多竞争很激烈,问我愿不愿意接受安卓开发方向的面试。我当时纠结了两天,想着安卓也是基于Java基础进行开发,而且HR也说部门有详细的培养计划,抱着试一下的心态才决定了接受安卓开发方向的一面,接受之后HR就打电话说了一些公司的基本情况给我约面试时间。1、自我介绍2、是否有考公考研的打算、专业成绩和在专业的排名、四六级是否通过3、在校学习了什么课程(这块会针对回答中的某些课程进行追问)4、除去学校的课程外还有没有其他的学习习惯?(感觉面试官对这块还挺看重的,因为这个问题聊的相对久一些)5、如何开启多线程6、反射优缺点+使用场景7、数组和集合的区别8、是否了解设计模式9、代理模式使用场景10、包装类型和基本数据类型的区别是什么11、问我对这个岗位的看法及意愿,如果入职的话会更看重公司的哪些方面12、期望薪资是多少13、面试官介绍了公司的地点、业务、发展历程这些情况,也说明了公司的安卓开发也是基于Java基础去培养,然后问我有什么想问的(我问了部门的结构、岗位培养计划、调薪规则)一面为线上面试,大约30分钟,其中有些问题没什么印象了,但总的来说一面是偏向Java方向的问题,接下来就看看能不能进2面吧,有的话再继续更新。。。
查看13道真题和解析
点赞 评论 收藏
分享
评论
1
4
分享

创作者周榜

更多
牛客网
牛客企业服务