欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

redis keys与scan命令的区别说明

程序员文章站 2022-03-24 10:28:11
redis keys和scan的区别redis的keys命令,通常在用来删除相关key时使用,但这个命令有一个弊端,在redis拥有数百万及以上的keys时,执行速度会比较慢,更致命的是,这个命令会阻...

redis keys和scan的区别

redis的keys命令,通常在用来删除相关key时使用,但这个命令有一个弊端,在redis拥有数百万及以上的keys时,执行速度会比较慢,更致命的是,这个命令会阻塞redis多路复用的io主线程,如果这个线程阻塞,在此期间,其他发向redis服务端的命令,都会被阻塞,从而引发一系列级联反应,导致瞬间相应卡顿,从而引发超时等问题,所以应该在生产环境禁止用使用keys和类似的命令smembers,这种时间复杂度为o(n),且会阻塞主线程的命令,是非常危险的。

如果在生产环境上,我们有需要查找然后删除key的需求,我们应该使用scan命令,来替代key。scan也是o(n)复杂度,支持通配查找key的命令,不同keys的是它采用的是游标按批次迭代返回数据,可以不用阻塞主线程。

scan:渐进式遍历键

scan cursor [match pattern] [count count]

scan 参数提供了三个参数(6.0后增加了一个type参数,具体看官方文档),第一个是 cursor 整数值(hash桶的索引值),第二个是 key 的正则模式,第三个是一次遍历的key的数量(参考值,底层遍历的数量不一定),并不是符合条件的结果数量。

第一次遍历时,cursor 值为 0,然后将返回结果中第一个整数值作为下一次遍历的 cursor。

一直遍历到返回的 cursor 值为 0 时结束。

使用案例如下:

redis keys与scan命令的区别说明

从运行结果,我们可以看出几个问题:

虽然我们指定了扫描的count是10,但它实际扫描出来的数量不一定是10

scan他可能遍历出重复的key

这边解释一下,为什么扫描出来得数量不一定是10。这是因为match实际上相当于过滤器的作用,所以scan其实是先扫描10个元素出来,然后再根据pattern一过滤,那么剩下来的满足条件元素就可能没有10个了,甚至可能一个都没有。

此外呢,如果在scan的过程中有键的变化(增加、删除、修改),那么新增的键可能不会被遍历出来,即scan不能保证完整的遍历出所有的键,这是我们开发的时候需要考虑的。

关于更多的细节,比如为什么新增的键可能不能被遍历出来,等我后面更深入的学习了redis底层的数据结构在回来补充。

总之,对于redis的大数量操作,很难做到很精确。

redis keys与scan命令的区别说明

补充:redis模糊查询keys和scan的比较和用法

一、keys

1、语法

keys pattern 

2、说明

redis中允许模糊查询的有3个通配符,分别是:*,?,[]

*:通配任意多个字符

?:通配单个字符

[]:通配括号内的某一个字符

3、操作

192.168.230.21:6379[2]> set hello 1
ok
192.168.230.21:6379[2]> set word 1
ok
192.168.230.21:6379[2]> set hellp 1
ok
192.168.230.21:6379[2]> set ahellog 1
ok
192.168.230.21:6379[2]> set hellog 1
ok
192.168.230.21:6379[2]> keys *
1) "hello"
2) "hellog"
3) "hellp"
4) "word"
5) "ahellog"
192.168.230.21:6379[2]> keys *hell*
1) "hello"
2) "hellog"
3) "hellp"
4) "ahellog"
192.168.230.21:6379[2]> keys hell*
1) "hello"
2) "hellog"
3) "hellp"
//知道前面的一些字母,忘记了最后一个字母
192.168.230.21:6379[2]> keys hell?
1) "hello"
2) "hellp"
//知道前面的一些字母,忘记了最后两个个字母
192.168.230.21:6379[2]> keys hell??
1) "hellog"
//知道前面四个字母,最后一个字母有可能是p t y 其中的一个
192.168.230.21:6379[2]> keys hell[pty]
1) "hellp"
192.168.230.21:6379[2]> 

二、scan

1、语法

scan cursor [match pattern] [count count]

2、说明

scan 游标 match <给定模式相匹配的元素> count 每次迭代所返回的元素数量 ,scan 命令是增量的循环,每次调用只会返回一小部分的元素。scan会返回两个结果,一个是用于下次遍历的游标,一个是结果集;

scan 命令是一个基于游标的迭代器(cursor based iterator): scan 命令每次被调用之后, 都会向用户返回一个新的游标, 用户在下次迭代时需要使用这个新游标作为 scan 命令的游标参数, 以此来延续之前的迭代过程。

当 scan 命令的游标参数被设置为 0 时, 服务器将开始一次新的迭代, 而当服务器向用户返回值为 0 的游标时, 表示迭代已结束

3、操作

192.168.230.21:6379[2]> keys *
1) "hello"
2) "hellog"
3) "hellp"
4) "word"
5) "ahellog"
192.168.230.21:6379[2]> scan 0 match *ll* count 2
1) "5"
2) 1) "hellp"
 2) "hello"
192.168.230.21:6379[2]> scan 5 match *ll* count 2
1) "0"
2) 1) "hellog"
 2) "ahellog"
192.168.230.21:6379[2]> 

三、性能对比

1、我们在获取redis里面的某个db里面的所有数据可以用 `keys `这样的指令来实现。但是存在一个问题就是这样做的话,在数据量很大的情况下效率是很不理想的;

2、keys模糊匹配,请大家在实际运用的时候忽略掉。因为keys会引发redis锁,并且增加redis的cpu占用,情况是很恶劣的;如果数据庞大的话可能需要几秒或更长,对于生产服务器上锁定几秒这绝对是灾难了;

3、新的命令scan出现,它可以帮助我们解决因为用keys遍历大数据量的数据库而导致服务器阻塞的情况,因为它每次都只便利一小部分数据,每次操作对应的时间复杂度是o(1);

以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。

相关标签: redis keys scan