博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Redis随笔-rename效率问题
阅读量:5964 次
发布时间:2019-06-19

本文共 2569 字,大约阅读时间需要 8 分钟。

背景

rename是redis中给key重命名命令,rename key newkey的意思就是将key重命名为newkey。

大部分文档在介绍rename的时候只将它描述成一个时间复杂度为O(1)的命令,却忘了说明它可能导致的性能问题(涉及覆盖旧值的时候 时间复杂度应该是O(1)+O(M))。

我们先做个试验看看rename的问题。

现象

先搭建一个redis服务器,版本号为3.2,看看它的内存信息

127.0.0.1:8401> info memory# Memoryused_memory:842416used_memory_human:822.67K

接着用lua给redis创建一个名为 test的大key,test有500w个field,每个field的值都是1

127.0.0.1:8401> eval "for i=1,5000000,1 do redis.call('hset','test', i,1) end" 0(nil)(11.61s)127.0.0.1:8401> hlen test(integer) 5000000

这时候我们看看redis的内存占用情况

127.0.0.1:8401> info memory# Memoryused_memory:381185592used_memory_human:363.53M

由于大key test的创建,redis内存占用多了300多兆。

接下来我们创建一个临时key,并用它来rename掉大key test

127.0.0.1:8401> set tmp 1OK127.0.0.1:8401> rename tmp testOK(2.36s)

这时就能看到执行时间的异常了,rename执行时间长达2.36秒,这是为什么呢?我们再看看redis内存占用情况:

127.0.0.1:8401> info memory# Memoryused_memory:821528used_memory_human:802.27K

通过info返回的信息我们可以发现在执行rename之后redis将大key test大小为300多兆的值对象直接删除并回收掉了,而redis删除一个key的时间复杂度是O(M),在这里M是被删除的成员数量---500w。应该就是这个"隐式"删除操作导致了高延迟的产生。

文档

我们看看官方文档是怎么描述rename这一行为的:

RENAME key newkey

Renames key to newkey. It returns an error when key does not exist. If newkey already exists it is overwritten, when this happens executes an implicit  operation, so if the deleted key contains a very big value it may cause high latency even if  itself is usually a constant-time operation.

newkey如果本就存在,redis会用key的值覆盖掉newkey的值,而newkey原本的值会被redis隐式地删除。我们知道大key的删除伴随着高延迟(redis是单进程服务,服务器会在删除大key期间block住接下来其他命令的执行),这就导致时间复杂度本为O(1)的rename也有可能卡住redis。

这句官方文档的原话我没在其他文档里找到类似的翻译,看这些文档的开发者可能会误以为这是个特别安全的O(1)命令。

既然文档里已经说明了这种行为的存在,我就顺便看看源码这块逻辑是怎么走的:

源码分析

db.cvoid renameCommand(client *c) {                                                                                            renameGenericCommand(c,0);}void renameGenericCommand(client *c, int nx) {    robj *o;    ...    if ((o = lookupKeyWriteOrReply(c,c->argv[1],shared.nokeyerr)) == NULL) //旧key的值对象地址复制给o        return;    ...    incrRefCount(o); //旧key的值对象引用计数+1(被o引用)    if (lookupKeyWrite(c->db,c->argv[2]) != NULL) { //如果新key已经有值对象了        ...        dbDelete(c->db,c->argv[2]); //新key从db中移除、并将新key的值对象引用计数-1(变为0),并释放内存    }    dbAdd(c->db,c->argv[2],o);  //将新key => 旧key的值对象的组合放入db中    ...    dbDelete(c->db,c->argv[1]); //旧key从db中移除、并将旧key的值对象引用计数-1(不会变为0),不释放内存    ...}

正常O(1)重命名的逻辑不用多说,涉及到覆盖的过程可以简化成如下图:

在改变指针的指向之前,redis会先用if (lookupKeyWrite(c->db,c->argv[2]) != NULL)判断newkey是否有对应的值,若有 则调用dbDelete(c->db,c->argv[2]);将newkey的值v2删掉。

结论

用redis的时候,keyshgetalldel 这些命令我们会多加小心,因为不合理地调用它们可能会长时间block住redis的其他请求 甚至导致CPU使用率居高不下从而卡住整个服务器。但其实rename这个不起眼的命令也可能造成一样的问题,使用时需要谨慎对待。

参考资料

转载地址:http://watax.baihongyu.com/

你可能感兴趣的文章
spring结合ehcache-spring-annotations配置缓存
查看>>
一个简单的数据库工具类
查看>>
我的友情链接
查看>>
理解 Glance - 每天5分钟玩转 OpenStack(20)
查看>>
Unshelve Instance 操作详解 - 每天5分钟玩转 OpenStack(39)
查看>>
init.d文件夹 2012-02-09
查看>>
CKeditor的几种配置方式
查看>>
解决Android 输入法InputMethodService 显示时让原Activity大小计算错误问题
查看>>
s3c6410烧写u-boot&&Linux
查看>>
TensorBoard:嵌入可视化
查看>>
FreeSWITCH的NAT穿越
查看>>
gitlab版本控制系统源码部署
查看>>
java反射机制中的getDeclaredField()
查看>>
java数据流无法输出验证码
查看>>
JAVA中的IO流
查看>>
PHP 正则表达式
查看>>
微信支付 body不是UTF-8编码以及中文签名错误的问题
查看>>
Java NIO问题总结
查看>>
Tomcat的结构概述
查看>>
轻松八句话 教会你完全搞定MySQL数据库(基础)
查看>>