欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Memcached小结

程序员文章站 2022-07-12 11:13:36
...

Memcached是什么?

Memcached是一个高性能的、分布式的内存对象的Key-Value缓存系统,它能减少数据库负载,为动态Web应用提速。

Memcached是分布式的,它是基于网络的,也就是说,Mecmcached通常是以独立的进程部署到独立的服务器上,用于为业务应用提供动态缓存服务,对Memcached服务器的访问一定是通过网络进行的。

Memcached本身是用C实现的,通常以集群方式部署到多台服务器上,对客户端提供分布式缓存服务。

Memcached是一个对象缓存系统,它会自主管理服务器的内存,为数据分配合适的存储空间,尽可能高效地利用空间。

Memcached即可以缓存原始数据类型,也可以缓存序列化的对象。

注意:客户端访问Memcached集群时,具体选择集群中的哪台服务器来存储数据,这个策略不是由Memcached本身提供的,而是由客户端实现的,客户端会选择合适的算法确定访问哪台服务器。

另外,Memcached以Key-Value存取数据,K-V是一种扁平结构,所以要特别注意Key的唯一性问题。如果用同一个Key值存储数据,那么先前该Key的值将被覆盖。建议实际使用时按一定规则来分配Key。

Memcached适合什么场合?

通常可用作数据库的前端Cache,以减轻数据库的负载。

如果一个Web应用中对数据库的访问非常频繁,而且多数的查询都是一样的,这种情况下最适合使用Memcached作为前端缓存。虽然数据库本身也是有Cached的,但是依然需要解析SQL、完成一些必要的辅助操作、格式化查询结果等。而如果把查询结果格式化后直接放到Memcached中,那么对于同一个查询,则根本无须访问数据库,直接从Memcached中取出格式化的结果数据返回给客户端即可,如此可大大减轻数据库服务器的压力。

Memcached是分布式的内存缓存系统,如果应用不是分布式的,则根本无须使用Memcached。因为Memcached服务必须是通过网络访问,而且客户端与Memcached服务之间的通信还要遵循Memcached定义的协议,对于非分布式的简单Web应用而言,使用Memcached可能会加重服务器的负载,性能反而降低。

 

Memcached协议要点(文本协议)

  • 建议客户端缓存TCP链接以节省创建的开销
  • 协议中有两种类型的数据:文本和非结构化数据,前者用来表示命令或服务端客户端交互,后者用来表示被缓存的数据。所以服务端不去管客户端存进来的是什么,当客户端来取时,只是以字节流的形式原样返还。
  • 上述两种数据类型都会以'\r\n'结束,由于被缓存的对象里也有可能含有\r\n,所以客户端应该以数据长度作为对象结束的依据,而不是\r\n
  • key用来标识存进memcached的对象,key是一个长度小于250的字串,且不能含有控制字符或空格
  • 一些命令中可以有过期时间,这个时间是一个整数值,如果大于60*60*24*30(30天),它将被作为一个Unix时间
  • 错误代码一共有三种
    1. "ERROR\r\n" 表示客户端发送了一个不存在的命令
    2. "CLIENT_ERROR <error>\r\n" 表示客户端的命令格式不正确
    3. "SERVER_ERROR <error>\r\n" 表示服务端错误。当严重的错误发生时,服务端在发送完这个响应后会关闭链接

服务器端主要命令

存储命令

set|add|replace|append|prepend <key> <flags> <exptime> <bytes> [noreply]\r\n
或
cas <key> <flags> <exptime> <bytes> <cas unqiue> [noreply]\r\n
后跟
<data block>\r\n

 

命令说明:

  1. set: 置值
  2. add: 如果不存在,置值
  3. replace: 如果存在,置值
  4. append: 如果存在,在原值后添加
  5. prepend: 如果存在,在原值前添加
  6. cas: check and set,检查并置值,确保在上次获取值后没有被置过值

参数说明:

  1. <flags>: 一个16-bit无符号整数(1.2.1以后版本为32-bit),每次取操作时会随数据返回,客户端可以用它来作位图标识一些数据的属性(如是否压缩过,是否序列化过等等),这个值是服务端透明的,服务器只是原样返回
  2. <bytes>: <data block>的长度,不含\r\n
  3. <cas unique>: 一个随gets命令返回的32位整数,标识这个对象被置值的次数
  4. noreplyMemcached小结
            
    
    博客分类: 学习总结--其它 memcached应用服务器网络应用网络协议数据结构  : 让服务端沉默

返回说明:

  • "STORED\r\n": 成功
  • "NOT_STORED\r\n": add了已存在的,replace|append|prepend了不存在的,或者该对象已经在删除队列中了
  • "EXISTS\r\n":cas方法要设置的对象已经被更改了
  • "NOT_FOUND\r\n":cas方法要设置的对象不存在或者已经被删除了

取回命令

get <key>*\r\n
gets <key>*\r\n
 

命令说明:

  1. get 取得一个或多个对象by keys
  2. gets 取得一个或多个对象(包括其cas_id)by keys

参数说明:

  1. <key>* 一个key或空格分隔的多个key

返回说明:

VALUE <key> <flags> <bytes> [<cas unique>]\r\n
<data block>\r\n
...
END\r\n

删除命令

delete <key> [<time>] [noreply]\r\n

 

参数说明:

  1. <time> 以秒计的间隔或系统时间,在这个时间之前,对象会被扔到删除对列中。对该对象的get,add,replace操作将会被失败,但set会成功。这是个可选参数,默认为0,表示不放到队列中而直接删除(free chunk)

返回说明:

  • "DELETED\r\n" 成功
  • "NOT_FOUND\r\n" 未找到

递增递减命令

incr <key> <value> [noreply]\r\n
decr <key> <value> [noreply]\r\n
 

命令说明:

  1. 这两个命令是原子操作
  2. 这两个操作的前提是这个key存在且其值是一个有效的64-bit无符号整数的十进制表示(在内部存储时,其实是用的字符串)
  3. decr至0后,再decr不会有效果。但incr到最大值后会溢出

参数说明:

  1. <value>: 期望增减的值,64-bit无符号整数的十进制表示

返回说明:

  • "NOT_FOUND\r\n" 找不到
  • <value>\r\n , 增减后新的值

统计命令

stats\r\n  : 全局统计
stats slabs\r\n  : 统计slabs的使用情况
stats items\r\n  : 统计各slab class中的item的情况
stats sizes\r\n  : 统计每个大小档次中item数量(需要遍历所有item,慎用)
 

其它命令

flush_all [<delay>]\r\n : 将所有对象置为不可获取状态,即全清,慎用。delay以秒计,没有表示马上执行
version\r\n : 返回server版本
verbosity <level>\r\n : 调整server的日志输出level:0|1|2,2最详细
quit\r\n : 告诉server关闭此链接
 

Memcached客户端

让我们来想象下作为Memcached的客户端,它应该具备什么样的功能?

首先,它要能与Mecmcached服务器交互,这就是说,客户端要解析Memcached协议,能连接到服务器。

第二,要能进行数据存取,这是作为一个客户端的主要功能。客户端能以Key-Value形式存取数据。

第三,除了进行基本的数据存取,还能发送其它控制命令,并取得命令执行结果。如利用客户端进行统计分析等。当然,这也可以看作数据存取的一种。

第四,如果Memcached服务是分布式的,那么客户端要负责负载均衡。也就是说,客户端要依据一定算法将数据存储均衡分布到集群节点上。

Memcached的Java客户端目前主要有三种:spymemcached ,  Memcached-Java-Client and Xmemcached。

Spymemcached和Xmemcached是基于NIO的,Memcached-Java-Client是基于传统Socket连接的。

Xmemcached用法非常简单,以下是最基本的用法:

    MemcachedClientBuilder builder = new XMemcachedClientBuilder(
                                        AddrUtil.getAddresses("localhost:11211"));
    MemcachedClient memcachedClient = builder.build();
    try {
                memcachedClient.set("hello", 0, "Hello,xmemcached");
                String value = memcachedClient.get("hello");
                System.out.println("hello=" + value);
                memcachedClient.delete("hello");
                value = memcachedClient.get("hello");
                System.out.println("hello=" + value);
    } catch (MemcachedException e) {
                System.err.println("MemcachedClient operation fail");
                e.printStackTrace();
    } catch (TimeoutException e) {
                System.err.println("MemcachedClient operation timeout");
                e.printStackTrace();
    } catch (InterruptedException e) {
                // ignore
    }
    try {
              //close memcached client
                memcachedClient.shutdown();
    } catch (IOException e) {
                System.err.println("Shutdown MemcachedClient fail");
                e.printStackTrace();
    }