欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

程序员文章站 2022-06-13 19:09:50
消息队列在现今数据量超大,并发量超高的系统中是十分常用的。本文将会对现时最常用到的几款消息队列框架 ActiveMQ、RabbitMQ、Kafka 进行分析对比。 详细介绍 RabbitMQ 在 Sprinig 框架下的结构及实现原理,从Producer 端的事务、回调函数(ConfirmCall... ......

前言

消息队列在现今数据量超大,并发量超高的系统中是十分常用的。本文将会对现时最常用到的几款消息队列框架 activemq、rabbitmq、kafka 进行分析对比。
详细介绍 rabbitmq 在 sprinig 框架下的结构及实现原理,从producer 端的事务、回调函数(confirmcallback / returncallback)到 consumer 端的 messagelistenercontainer 信息接收容器进行详细的分析。通过对 rabbittemplate、simplemessagelistenercontainer、directmessagelistenercontainer 等常用类型介绍,深入剖析在消息处理各个传输环节中的原理及注意事项。
并举以实例对死信队列、持久化操作进行一一介绍。

 

目录

一、rabbitmq 与 amqp 的关系

二、rabbitmq 的实现原理

三、rabbitmq 应用实例

四、producer 端的消息发送与监控

五、consumer 端的消息接收与监控

 

 

 

一、rabbitmq 与 amqp 的关系

1.1 amqp简介

amqp(advanced message queue protocol 高级消息队列协议)是一个消息队列协议,它支持符合条件的客户端和消息代理中间件(message middleware broker)进行通讯。rabbitmq 则是 amqp 协议的实现者,主要用于在分布式系统中信息的存储发送与接收,rabbitmq 的服务器端用 erlang 语言编写,客户端支持多种开发语言:python、.net、java、ruby、c、php、actionscript、xmpp、stomp 等。

1.2   activemq、rabbitmq、kafka 对比

现在在市场上有 activemq、rabbitmq、kafka 等多个常用的消息队列框架,与其他框架对比起来,rabbitmq 在易用性、扩展性、高可用性、多协议、支持多语言客户端等方面都有不俗表现。

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

 

1.2.1 acitvemq 特点

activemq 是 apache 以 java 语言开发的消息模型,它完美地支持 jms(java message service)消息服务,客户端支持 java、c、c++、c#、ruby、perl、python、php 等多种开主发语言,支持openwire、stomp、rest、xmpp、amqp 等多种协议。activemq 采用异步消息传递方式,在设计上保证了多主机集群,客户端-服务器,点对点等模式的有效通信。从开始它就是按照 jms 1.1 和 j2ee 1.4 规范进行开发,实现了消息持久化,xa,事务支撑等功能。经历多年的升级完善,现今已成为 java 应用开发中主流的消息解决方案。但相比起 rabbitmq、kafka 它的主要缺点表现为资源消耗比较大,吞吐量较低,在高并发的情况下系统支撑能力较弱。如果系统全程使用 java 开发,其并发量在可控范围内,或系统需要支持多种不同的协议,使用 activemq 可更轻便地搭建起消息队列服务。

1.2.2 kafka 特点

kafka 天生是面向分布式系统开发的消息队列,它具有高性能、容灾性、可动态扩容等特点。kafka 与生俱来的特点在于它会把每个partition 的数据都备份到不同的服务器当中,并与 zookeeper 配合,当某个broker 故障失效时,zookeeper 服务就会将通知生产者和消费者,从备份服务器进行数据恢复。在性能上 kafka 也大大超越了传统的 activemq、rabbitmq ,由于 kafka 集群可支持动态扩容,在负载量到达峰值时可动态增加新的服务器进集群而无需重启服务。但由于 kafka 属于分布式系统,所以它只能在同一分区内实现消息有序,无法实现全局消息有序。而且它内部的监控机制不够完善,需要安装插件,依赖zookeeper 进行元数据管理。如果系统属于分布式管理机制,数据量较大且并发量难以预估的情况下,建议使用 kafka 队列。

1.2.3 rabbitmq 对比

由于 activemq 过于依赖 jms 的规范而限制了它的发展,所以 rabbitmq 在性能和吞吐量上明显会优于 activemq。
由于上市时间较长,在可用性、稳定性、可靠性上 rabbitmq 会比 kafka 技术成熟,而且 rabbitmq 使用 erlang 开发,所以天生具备高并发高可用的特点。而 kafka 属于分布式系统,它的性能、吞吐量、tps 都会比 rabbitmq 要强。

二、rabbitmq 的实现原理

2.1 生产者(producer)、消费者(consumer)、服务中心(broker)之间的关系

首先简单介绍 rabbitmq 的运行原理,在 rabbitmq 使用时,系统会先安装并启动 broker server,也就是 rabbitmq 的服务中心。无论是生产者 (producer),消费者(consumer)都会通过连接池(connection)使用 tcp/ip 协议(默认)来与 brokerserver 进行连接。然后 producer 会把 exchange / queue 的绑定信息发送到 broker server,broker server 根据 exchange 的类型逻辑选择对应 queue ,最后把信息发送到与 queue 关联的对应 consumer 。

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

 

2.2 交换器(exchange)、队列(queue)、信道(channel)、绑定(binding)的概念

2.2.1 交换器 exchange

producer 建立连接后,并非直接将消息投递到队列 queue 中,而是把消息发送到交换器 exchange,由 exchange 根据不同逻辑把消息发送到一个或多个对应的队列当中。目前 exchange 提供了四种不同的常用类型:fanout、direct、topic、header。

  • fanout类型

此类型是最为常见的交换器,它会将消息转发给所有与之绑定的队列上。比如,有n个队列与 fanout 交换器绑定,当产生一条消息时,exchange 会将该消息的n个副本分别发给每个队列,类似于广播机制。

  • direct类型

此类型的 exchange 会把消息发送到 routing_key 完全相等的队列当中。多个 cousumer 可以使用相同的关键字进行绑定,类似于数据库的一对多关系。比如,producer 以 direct 类型的 exchange 推送 routing_key 为 direct.key1 的队列,系统再指定多个 cousumer 绑定 direct.key1。如此,消息就会被分发至多个不同的 cousumer 当中。

  • topic类型

此类型是最灵活的一种方式配置方式,它可以使用模糊匹配,根据 routing_key 绑定到包含该关键字的不同队列中。比如,producer 使用 topic类型的 exchange 分别推送 routing_key 设置为 topic.guangdong.guangzhou 、topic.guangdong.shenzhen 的不同队列,cousumer 只需要把 routing_key 设置为 topic.guangdong.# ,就可以把所有消息接收处理。

  • headers类型

该类型的交换器与前面介绍的稍有不同,它不再是基于关键字 routing_key 进行路由,而是基于多个属性进行路由的,这些属性比路由关键字更容易表示为消息的头。也就是说,用于路由的属性是取自于消息 header 属性,当消息 header 的值与队列绑定时指定的值相同时,消息就会路由至相应的队列中。

2.2.2 queue 队列

queue 队列是消息的载体,每个消息都会被投入到 queue 当中,它包含 name,durable,arguments 等多个属性,name 用于定义它的名称,当 durable(持久化)为 true 时,队列将会持久化保存到硬盘上。反之为 false 时,一旦 broker server 被重启,对应的队列就会消失,后面还会有例子作详细介绍。

2.2.3 channel 通道

当 broker server 使用 connection 连接 producer / cousumer 时会使用到信道(channel),一个 connection上可以建立多个 channel,每个 channel 都有一个会话任务,可以理解为逻辑上的连接。主要用作管理相关的参数定义,发送消息,获取消息,事务处理等。

2.2.4 binding 绑定

binding 主要用于绑定交换器 exchange 与 队列 queue 之间的对应关系,并记录路由的 routing-key。binding 信息会保存到系统当中,用于 broker server 信息的分发依据。

三、rabbitmq 应用实例

3.1 rabbit 常用类说明

3.1.1 rabbittemplate 类

spring 框架已经封装了 rabbittemplate  对 rabbitmq 的绑定、队列发送、接收进行简化管理

方法 说明
void setexchange(string exchange)   设置绑定的 exchange 名称
string getexchange() 获取已绑定的 exchange 名称
void setroutingkey(string routingkey) 设置绑定的 routingkey
string getroutingkey() 获取已绑定的 routingkey
void send(string exchange, string routingkey, message message,correlationdata data) 以message方式发送信息到 broken server,correlationdata 为标示符可为空
void convertandsend(string exchange, string routingkey, object object, correlationdata data) 以自定义对象方式发送信息到 broken server,系统将自动把 object转换成 message,correlationdata 为标示符可为空
message receive(string queuename, long timeoutmillis) 根据queueuname接收队列发送message信息
object receiveandconvert(string queuename, long timeoutmillis) 根据queueuname接收队列对象信息
void setreceivetimeout(long receivetimeout) 设置接收过期时间
void setreplytimeout(long replytimeout) 设置重发时间
void setmandatory(boolean mandatory) 开启强制委托模式(下文会详细说明)
void setconfirmcallback(confirmcallback) 绑定消息确认回调方法(下文会详细说明)
void setreturncallback(returncallback) 绑定消息退出回调方法(下文会详细说明)


3.2  初探 rabbitmq
 

在官网下载并成功安装完 rabbitmq 后,打开默认路径  即可看到 rabbitmq 服务中心的管理界面

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

 

3.2.1 producer 端开发

先在 pom 中添加 rabbitmq 的依赖,并在 application.yml 中加入 rabbitmq 帐号密码等信息。此例子,我们尝试使用 direct 交换器把队列发送到不同的 consumer。

 1 **********************pom *************************
 2 <project>
 3         .............
 4     <dependency>
 5         <groupid>org.springframework.boot</groupid>
 6         <artifactid>spring-boot-starter-amqp</artifactid>
 7         <version>2.0.5.release</version>
 8     </dependency>
 9 </project>
10 
11 ****************  application.yml  ****************
12 spring:
13   application:
14      name: rabbitmqproducer
15   rabbitmq:
16     host: localhost 
17     port: 5672
18     username: admin
19     password: 12345678
20     virtual-host: /lesliehost

首先使用 cachingconnectionfactory 建立链接,通过 bindingbuilder 绑定 exchange、queue、routingkey之间的关系。
然后通过 void convertandsend (string exchange, string routingkey, object object, correlationdata data) 方法把信息发送到 broken server

 1 @configuration
 2 public class connectionconfig {
 3     @value("${spring.rabbitmq.host}")
 4     public string host;
 5     
 6     @value("${spring.rabbitmq.port}")
 7     public int port;
 8     
 9     @value("${spring.rabbitmq.username}")
10     public string username;
11     
12     @value("${spring.rabbitmq.password}")
13     public string password;
14     
15     @value("${spring.rabbitmq.virtual-host}")
16     public string virtualhost;
17 
18     @bean
19     public connectionfactory getconnectionfactory(){
20         cachingconnectionfactory factory=new cachingconnectionfactory();
21         factory.sethost(host);
22         factory.setport(port);
23         factory.setusername(username);
24         factory.setpassword(password);
25         factory.setvirtualhost(virtualhost);
26         return factory;
27     }
28 }
29 
30 @configuration
31 public class bindingconfig {
32     public final static string first="direct.first";
33     public final static string second="direct.second";
34     public final static string exchange_name="directexchange";
35     public final static string routingkey1="directkey1";
36     public final static string routingkey2="directkey2";
37     
38     @bean
39     public queue queuefirst(){
40         return new queue(first);
41     }
42     
43     @bean
44     public queue queuesecond(){
45         return new queue(second);
46     }
47     
48     @bean
49     public directexchange directexchange(){
50         return new directexchange(exchange_name,true,true);
51     }
52     
53     //利用bindingbuilder绑定direct与queuefirst
54     @bean
55     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
56         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
57     }
58     
59     //利用bindingbuilder绑定direct与queuesecond
60     @bean
61     public binding bindingexchangesecond(queue queuesecond, directexchange directexchange){       
62         return bindingbuilder.bind(queuesecond).to(directexchange).with(routingkey2);
63     }   
64 }
65 
66 @controller
67 @requestmapping("/producer")
68 public class producercontroller {
69     @autowired
70     private rabbittemplate template;
71     
72     @requestmapping("/send")
73     public void send() {
74         for(int n=0;n<100;n++){   
75 
76             template.convertandsend(bindingconfig.exchange_name,bindingconfig.routingkey1,"i'm the first queue!   "+string.valueof(n),getcorrelationdata());
77             template.convertandsend(bindingconfig.exchange_name,bindingconfig.routingkey2,"i'm the second queue!  "+string.valueof(n),getcorrelationdata());
78         }
79     }
80 
81      private correlationdata getcorrelationdata(){
82         return new correlationdata(uuid.randomuuid().tostring());
83     }
84 }

此时,打开 rabbitmq 管理界面,可看到 producer 已经向 broken server 的 direct.first / direct.second 两个 queue 分别发送100 个 message

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

3.2.2  consumer 端开发

分别建立两个不同的 consumer ,一个绑定 direct.first 别一个绑定 direct.second , 然后通过注解 @rabbitlistener 监听不同的 queue,当接到到 producer 推送队列时,显示队列信息。

 1 @configuration
 2 public class connectionconfig {
 3     @value("${spring.rabbitmq.host}")
 4     public string host;
 5     
 6     @value("${spring.rabbitmq.port}")
 7     public int port;
 8     
 9     @value("${spring.rabbitmq.username}")
10     public string username;
11     
12     @value("${spring.rabbitmq.password}")
13     public string password;
14     
15     @value("${spring.rabbitmq.virtual-host}")
16     public string virtualhost;
17 
18     @bean
19     public connectionfactory getconnectionfactory(){
20         cachingconnectionfactory factory=new cachingconnectionfactory();
21         factory.sethost(host);
22         factory.setport(port);
23         factory.setusername(username);
24         factory.setpassword(password);
25         factory.setvirtualhost(virtualhost);
26         return factory;
27     }
28 }
29 
30 @configuration
31 public class bindingconfig {
32     public final static string first="direct.first";
33     public final static string exchange_name="directexchange";
34     public final static string routingkey1="directkey1";
35     
36     @bean
37     public queue queuefirst(){
38         return new queue(first);
39     }
40     
41     @bean
42     public directexchange directexchange(){
43         return new directexchange(exchange_name);
44     }
45     
46     //利用bindingbuilder绑定direct与queuefirst
47     @bean
48     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
49         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
50     }  
51 }
52 
53 @configuration
54 @rabbitlistener(queues="direct.first")
55 public class rabbitmqlistener {
56     
57     @rabbithandler
58     public void handler(string message){
59         system.out.println(message);
60     }
61 }
62 
63 @springbootapplication
64 public class app {
65     
66     public static void main(string[] args){
67         springapplication.run(app.class, args);
68     }
69 }

运行后可以观察到不同的 consumer 会收到不同队列的消息

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

如果觉得使用 binding 代码绑定过于繁琐,还可以直接在监听类rabbitmqlistener中使用 @queuebinding 注解绑定

 1 @configuration
 2 public class connectionconfig {
 3     @value("${spring.rabbitmq.host}")
 4     public string host;
 5     
 6     @value("${spring.rabbitmq.port}")
 7     public int port;
 8     
 9     @value("${spring.rabbitmq.username}")
10     public string username;
11     
12     @value("${spring.rabbitmq.password}")
13     public string password;
14     
15     @value("${spring.rabbitmq.virtual-host}")
16     public string virtualhost;
17 
18     @bean
19     public connectionfactory getconnectionfactory(){
20         cachingconnectionfactory factory=new cachingconnectionfactory();
21         factory.sethost(host);
22         factory.setport(port);
23         factory.setusername(username);
24         factory.setpassword(password);
25         factory.setvirtualhost(virtualhost);
26         return factory;
27     }
28 }
29 
30 @configuration
31 @rabbitlistener(bindings=@queuebinding(
32 exchange=@exchange(value="directexchange"),
33 value=@queue(value="direct.second"),
34 key="directkey2"))
35 public class rabbitmqlistener {
36     
37     @rabbithandler
38     public void handler(string message){
39         system.out.println(message);
40     }
41 }
42 
43 @springbootapplication
44 public class app {
45     
46     public static void main(string[] args){
47         springapplication.run(app.class, args);
48     }
49 }

运行结果

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

 

四、producer 端的消息发送与监控

前面一节已经介绍了rabbitmq的基本使用方法,这一节将从更深入的层面讲述 producer 的应用。
试想一下这种的情形,如果因 rabbittemplate 发送时 exchange 名称绑定错误,或 broken server 因网络问题或服务负荷过大引发异常,producer 发送的队列丢失,系统无法正常工作。此时,开发人员应该进行一系列应对措施进行监测,确保每个数据都能正常推送到 broken server 。有见及此,rabbitmq 专门为大家提供了两种解决方案,一是使用传统的事务模式,二是使用回调函数,下面为大家作详介绍。

4.1 producer 端的事务管理

在需要使用事务时,可以通过两种方法
第一可以调用 channel 类的方法以传统模式进行管理,事务开始时调用 channel.txselect(),信息发送后进行确认 channel.txcommit(),一旦捕捉到异常进行回滚 channel.txrollback(),最后关闭事务。

 1 @controller
 2 @requestmapping("/producer")
 3 public class producercontroller {
 4     @autowired
 5     private rabbittemplate template;
 6  
 7     @requestmapping("/send")
 8     public void send1(httpservletresponse response) 
 9         throws interruptedexception, ioexception,  timeoutexception{
10         channel channel=template.getconnectionfactory().createconnection().createchannel(true);
11         .......
12         try{
13             channel.txselect();
14             channel.basicpublish("errorexchange", bindingconfig.routing_key_first, new amqp.basicproperties(),"nothing".getbytes());
15             channel.txcommit();
16         }catch(exception e){
17             channel.txrollback();
18         }finally{
19             channel.close();
20         }
21         ......
22         ......
23         ......
24     }
25 }

第二还可以直接通过 rabbittemplate 的配置方法 void setchanneltransacted(bool istransacted) 直接开启事务

 1 public class producercontroller {
 2     @autowired
 3     private connectionconfig connection;
 4 
 5     @autowired
 6     @bean
 7     private rabbittemplate template(){
 8         rabbittemplate template=new rabbittemplate(connection.getconnectionfactory());
 9         template.setchanneltransacted(true);
10         return template;
11     }
12  
13     @requestmapping("/send")
14     @transactional(rollbackfor=exception.class)
15     public void send(httpservletresponse response) throws interruptedexception, ioexception,timeoutexception{
16         ..........
17         ..........
18         ..........
19     }
20 }

 

4.2 利用 confirmcallback 回调确认消息是否成功发送到 exchange 

使用事务模式消耗的系统资源比较大,系统往往会处理长期等待的状态,在并发量较高的时候也有可能造成死锁的隐患。有见及此,系统提供了轻量级的回调函数方式进行异步处理。
当需要确认消息是否成功发送到 exchange 的时候,可以使用 confirmcallback 回调函数。使用该函数,系统推送消息后,该线程便会得到释放,等 exchange 接收到消息后系统便会异步调用 confirmcallback 绑定的方法进行处理。confirmcallback 只包含一个方法 void confirm(correlationdata correlationdata, boolean ack, string cause),此方法会把每条数据发送到 exchange 时候的 ack 状态(成功/失败),cause 成败原因,及对应的 correlationdata(correlationdata 只包含一个属性 id,是绑定发送对象的唯一标识符) 返还到 producer,让producer 进行相应处理。

注意:在绑定 confirmcallback 回调函数前,请先把  publisher-confirms 属性设置为 true

 1 spring:
 2   application:
 3      name: rabbitmqproducer
 4   rabbitmq:
 5     host: 127.0.0.1 
 6     port: 5672
 7     username: admin
 8     password: 12345678
 9     virtual-host: /lesliehost

例如:下面的例子,特意将 rabbittemplate 发送时所绑定的 exchange 名称填写为错误名称 “ errorexchange ”,造成发送失败,然后在回调函数中检查失败的原因。

producer 端代码: 

 1 @configuration
 2 public class connectionconfig {
 3     @value("${spring.rabbitmq.host}")
 4     public string host;
 5     
 6     @value("${spring.rabbitmq.port}")
 7     public int port;
 8     
 9     @value("${spring.rabbitmq.username}")
10     public string username;
11     
12     @value("${spring.rabbitmq.password}")
13     public string password;
14     
15     @value("${spring.rabbitmq.virtual-host}")
16     public string virtualhost;
17 
18     @bean
19     public connectionfactory getconnectionfactory(){
20         cachingconnectionfactory factory=new cachingconnectionfactory();
21         system.out.println(host);
22         factory.sethost(host);
23         factory.setport(port);
24         factory.setusername(username);
25         factory.setpassword(password);
26         factory.setvirtualhost(virtualhost);
27         factory.setpublisherconfirms(true);
28         factory.setpublisherreturns(true);
29         return factory;
30     }
31 }
32 
33 @configuration
34 public class bindingconfig {
35     public final static string first="direct.first";
36     public final static string exchange_name="directexchange";
37     public final static string routingkey1="directkey1";
38     
39     @bean
40     public queue queuefirst(){
41         return new queue(first);
42     }
43 
44     @bean
45     public directexchange directexchange(){
46         return new directexchange(exchange_name);
47     }
48     
49     @bean
50     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
51         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
52     }  
53 }
54 
55 @component
56 public class myconfirmcallback implements confirmcallback {
57     
58     @override
59     public void confirm(correlationdata correlationdata, boolean ack, string cause) {
60         // todo 自动生成的方法存根
61         // todo 自动生成的方法存根
62         if(ack){
63             system.out.println(correlationdata.getid()+" ack is: true! \ncause:"+cause);
64         }else
65             system.out.println(correlationdata.getid()+" ack is: false! \ncause:"+cause);
66     }
67 }
68 
69 @controller
70 @requestmapping("/producer")
71 public class producercontroller {
72     @autowired
73     private rabbittemplate template;
74     @autowired
75     private myconfirmcallback confirmcallback;
76 
77     @requestmapping("/send")
78     public void send() {
79         template.setconfirmcallback(confirmcallback);       
80         for(int n=0;n<2;n++){   
81             template.convertandsend("errorexchange",
82                      bindingconfig.routingkey1,"i'm the first queue!   "
83                      +string.valueof(n),getcorrelationdata());
84         }
85     }
86 
87      private correlationdata getcorrelationdata(){
88         return new correlationdata(uuid.randomuuid().tostring());
89     }
90 }    

consumer端代码

 1 @configuration
 2 public class connectionconfig {
 3     @value("${spring.rabbitmq.host}")
 4     public string host;
 5     
 6     @value("${spring.rabbitmq.port}")
 7     public int port;
 8     
 9     @value("${spring.rabbitmq.username}")
10     public string username;
11     
12     @value("${spring.rabbitmq.password}")
13     public string password;
14     
15     @value("${spring.rabbitmq.virtual-host}")
16     public string virtualhost;
17 
18     @bean
19     public connectionfactory getconnectionfactory(){
20         cachingconnectionfactory factory=new cachingconnectionfactory();
21         factory.sethost(host);
22         factory.setport(port);
23         factory.setusername(username);
24         factory.setpassword(password);
25         factory.setvirtualhost(virtualhost);
26         return factory;
27     }
28 }
29 
30 @configuration
31 @rabbitlistener(bindings=@queuebinding(
32 exchange=@exchange(value="directexchange"),
33 value=@queue(value="direct.first"),
34 key="directkey1"))
35 public class rabbitmqlistener {
36     
37     @rabbithandler
38     public void handler(string message){
39         system.out.println(message);
40     }
41 }
42 
43 @springbootapplication
44 public class app {
45     
46     public static void main(string[] args){
47         springapplication.run(app.class, args);
48     }
49 }

运行结果:

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

 

4.3 绑定 correlationdata 与发送对象的关系

上面的例子当中,correlationdata 只是用一个随机的 uuid 作为 correlationid,而在现实的应用场景中,由于 confirmcallback 只反回标识值 correlationdata,而没有把队列里的对象值也一同返回。所以,在推送队列时可以先用 key-value 保存 correlationid 与所发送信息的关系,这样当 confirmcallback 回调时,就可根据 correlationid 找回对象,作进一步处理。
下面例子,我们把要发送的对象放在虚拟数据 datasource 类中,用 datarelation 记录 correlationid 与发送对象 orderid 的关系,然后在回调函数 confirmcallback 中根据 correlationid 查找对应的 orderentity,如果发送成功,则删除绑定。如果发送失败,可以重新发送或根据情况再作处理。

producer端代码:

  1 @configuration
  2 public class connectionconfig {
  3     @value("${spring.rabbitmq.host}")
  4     public string host;
  5     
  6     @value("${spring.rabbitmq.port}")
  7     public int port;
  8     
  9     @value("${spring.rabbitmq.username}")
 10     public string username;
 11     
 12     @value("${spring.rabbitmq.password}")
 13     public string password;
 14     
 15     @value("${spring.rabbitmq.virtual-host}")
 16     public string virtualhost;
 17 
 18     @bean
 19     public connectionfactory getconnectionfactory(){
 20         cachingconnectionfactory factory=new cachingconnectionfactory();
 21         system.out.println(host);
 22         factory.sethost(host);
 23         factory.setport(port);
 24         factory.setusername(username);
 25         factory.setpassword(password);
 26         factory.setvirtualhost(virtualhost);
 27         factory.setpublisherconfirms(true);
 28         factory.setpublisherreturns(true);
 29         return factory;
 30     }
 31 }
 32 
 33 @configuration
 34 public class bindingconfig {
 35     public final static string first="direct.first";
 36     //exchange 使用 direct 模式     
 37     public final static string exchange_name="directexchange";
 38     public final static string routingkey1="directkey1";
 39     
 40     @bean
 41     public queue queuefirst(){
 42         return new queue(first);
 43     }
 44     
 45     @bean
 46     public directexchange directexchange(){
 47         return new directexchange(exchange_name);
 48     }
 49     
 50     @bean
 51     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
 52         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
 53     }
 54 }
 55 
 56 @data
 57 public class orderentity implements serializable{
 58     private string id;
 59     private string goods;
 60     private double price;
 61     private integer count;
 62     
 63     public orderentity(string id,string goods,double price,integer count){
 64         this.id=id;
 65         this.goods=goods;
 66         this.price=price;
 67         this.count=count;
 68     }
 69     
 70     public orderentity(){}
 71     
 72     public string getid() {
 73         return id;
 74     }
 75     public void setid(string id) {
 76         this.id = id;
 77     }
 78 
 79     public string getgoods() {
 80         return goods;
 81     }
 82 
 83     public void setgoodsid(string goods) {
 84         this.goods = goods;
 85     }
 86 
 87     public integer getcount() {
 88         return count;
 89     }
 90 
 91     public void setcount(integer count) {
 92         this.count = count;
 93     }
 94 
 95     public double getprice() {
 96         return price;
 97     }
 98 
 99     public void setprice(double price) {
100         this.price = price;
101     }
102 }
103 
104 @component
105 public class datasource {
106     //加入虚拟数据
107     private static list<orderentity> list=new arraylist<orderentity>(
108             arrays.aslist(new orderentity("001","nikon d750",13990.00,1),
109                           new orderentity("002","huwei p30 plus",5400.00,1),
110                           ..........));
111     
112     public datasource(){
113     }
114     
115     public list<orderentity> getorderlist(){
116         return list;
117     }
118     
119     //根据id获取对应order
120     public orderentity getorder(string id){
121         for(orderentity order:list){
122             if(order.getid()==id)
123                 return order;
124         }
125         return null;
126     }
127 }
128 
129 public class datarelation {
130     public static map map=new hashmap();
131     
132     //绑定关系
133     public static void add(string key,string value){
134         if(!map.containskey(key))
135             map.put(key,value);
136     }
137     
138     //返回orderid
139     public static object get(string key){
140         if(map.containskey(key))
141             return map.get(key);
142         else
143             return null;
144     }
145     
146     //根据 orderid 删除绑定关系
147     public static void del(string key){
148         if(map.containskey(key))
149            map.remove(key);
150     }
151 }
152 
153 @component
154 public class myconfirmcallback implements confirmcallback {
155     @autowired
156     private datasource datasource;
157     
158     @override
159     public void confirm(correlationdata correlationdata, boolean ack, string cause) {
160         string correlationid=correlationdata.getid();
161         //根据 correclationid取回对应的orderid
162         string orderid=datarelation.get(correlationid).tostring();
163         //在datasource中找回对应的order
164         orderentity order=datasource.getorder(orderid);
165         
166         if(ack){
167             system.out.println("--------------------confirmcallback-------------------\n"                 
168                 +" order's ack is true!\nid:"+order.getid()+"  goods:"+order.getgoods()
169                 +" count:"+order.getcount().tostring()+"  price:"+order.getprice());
170             datarelation.del(correlationid);    //操作完成删除对应绑定
171         }else {
172             system.out.println(order.getid()+" order's ack is: false! \ncause:"+cause);
173             //可在记录日志后把order推送到队列进行重新发送
174             .......
175         }
176     }
177 }
178 
179 @controller
180 @requestmapping("/producer")
181 public class producercontroller {
182     @autowired
183     private rabbittemplate template;
184     @autowired
185     private myconfirmcallback confirmcallback;
186     @autowired
187     private datasource datasource;
188 
189     @requestmapping("/send")
190     public void send() throws interruptedexception, ioexception{
191         //绑定 confirmcallback 回调函数
192         template.setconfirmcallback(confirmcallback);
193  
194         for(orderentity order:datasource.getorderlist()){
195             correlationdata correlationdata=getcorrelationdata();
196             //保存 correlationid 与 orderid关系
197             datarelation.add(correlationdata.getid(), order.getid());
198             //把 order 插入队列
199             template.convertandsend("directexchange",bindingconfig.routingkey1,order,correlationdata);
200         }
201     }
202     
203     private correlationdata getcorrelationdata(){
204         return new correlationdata(uuid.randomuuid().tostring());
205     }
206 }

consumer 端代码

 1 @configuration
 2 public class connectionconfig {
 3     @value("${spring.rabbitmq.host}")
 4     public string host;
 5     
 6     @value("${spring.rabbitmq.port}")
 7     public int port;
 8     
 9     @value("${spring.rabbitmq.username}")
10     public string username;
11     
12     @value("${spring.rabbitmq.password}")
13     public string password;
14     
15     @value("${spring.rabbitmq.virtual-host}")
16     public string virtualhost;
17 
18     @bean
19     public connectionfactory getconnectionfactory(){
20         cachingconnectionfactory factory=new cachingconnectionfactory();
21         factory.sethost(host);
22         factory.setport(port);
23         factory.setusername(username);
24         factory.setpassword(password);
25         factory.setvirtualhost(virtualhost);
26         return factory;
27     }
28 }
29 
30 @configuration
31 @rabbitlistener(bindings=@queuebinding(
32 exchange=@exchange(value="directexchange"),
33 value=@queue(value="direct.first"),
34 key="directkey1"))
35 public class rabbitmqlistener {
36     
37     @rabbithandler
38     public void handler(string message){
39         system.out.println(message);
40     }
41 }
42 
43 @springbootapplication
44 public class app {
45     
46     public static void main(string[] args){
47         springapplication.run(app.class, args);
48     }
49 }

运行结果

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

 

4.4 利用 returncallback 处理队列 queue 错误

使用 confirmcallback 函数只能判断消息是否成功发送到 exchange,但并不能保证消息已经成功进行队列 queue。所以,系统预备了另一个回调函数 returncallback 来监听 queue 队列处理的成败。如果队列错误绑定不存在的 queue,或者 broken server 瞬间出现问题末能找到对应的 queue,系统就会激发 producer 端 returncallback 的回调函数来进行错误处理。 returncallback 回调接口只包含一个方法 void returnedmessage(message message, int replycode, string replytext, string exchange, string routingkey),它会把出错的 replycode,replytext,exchange,routingkey等值都一起返还。与 confirmcallback 不同的是,returnedmessage 会把队列中的对象保存到 message 的 body 属性中并返还到回调函数。

注意:在绑定 returncallback 回调函数前,请先把  publisher-returns 及 mandatory 属性设置为 true 。 mandatory 参数默认为 false,用于判断 broken server是否把错误的对象返还到  producer。如末进行设置,系统将把错误的消息丢弃。

下面例子我们在调用 convertandsend 方法时特意把 routingkey 设置为 errorkey,触发 returncallback 回调,然后在 returencallback 的回调方法显示 replycode,replytext,exchange,routingkey 等值,并把队列中对象属性一并显示。

producer 端代码

  1 @configuration
  2 public class connectionconfig {
  3     @value("${spring.rabbitmq.host}")
  4     public string host;
  5     
  6     @value("${spring.rabbitmq.port}")
  7     public int port;
  8     
  9     @value("${spring.rabbitmq.username}")
 10     public string username;
 11     
 12     @value("${spring.rabbitmq.password}")
 13     public string password;
 14     
 15     @value("${spring.rabbitmq.virtual-host}")
 16     public string virtualhost;
 17 
 18     @bean
 19     public connectionfactory getconnectionfactory(){
 20         cachingconnectionfactory factory=new cachingconnectionfactory();
 21         system.out.println(host);
 22         factory.sethost(host);
 23         factory.setport(port);
 24         factory.setusername(username);
 25         factory.setpassword(password);
 26         factory.setvirtualhost(virtualhost);
 27         factory.setpublisherconfirms(true);
 28         factory.setpublisherreturns(true);
 29         return factory;
 30     }
 31 }
 32 
 33 @configuration
 34 public class bindingconfig {
 35     public final static string first="direct.first";
 36     public final static string exchange_name="directexchange";
 37     public final static string routingkey1="directkey1";
 38     
 39     @bean
 40     public queue queuefirst(){
 41         return new queue(first);
 42     }
 43 
 44     @bean
 45     public directexchange directexchange(){
 46         return new directexchange(exchange_name);
 47     }
 48     
 49     @bean
 50     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
 51         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
 52     } 
 53 }
 54 
 55 @data
 56 public class orderentity implements serializable{
 57     private string id;
 58     private string goods;
 59     private double price;
 60     private integer count;
 61     
 62     public orderentity(string id,string goods,double price,integer count){
 63         this.id=id;
 64         this.goods=goods;
 65         this.price=price;
 66         this.count=count;
 67     }
 68     
 69     public orderentity(){}
 70     
 71     public string getid() {
 72         return id;
 73     }
 74     public void setid(string id) {
 75         this.id = id;
 76     }
 77 
 78     public string getgoods() {
 79         return goods;
 80     }
 81 
 82     public void setgoodsid(string goods) {
 83         this.goods = goods;
 84     }
 85 
 86     public integer getcount() {
 87         return count;
 88     }
 89 
 90     public void setcount(integer count) {
 91         this.count = count;
 92     }
 93 
 94     public double getprice() {
 95         return price;
 96     }
 97 
 98     public void setprice(double price) {
 99         this.price = price;
100     }
101 }
102 
103 @component
104 public class datasource {
105     //虚拟数据
106     private static list<orderentity> list=new arraylist<orderentity>(
107             arrays.aslist(new orderentity("001","nikon d750",13990.00,1),
108                           new orderentity("002","huwei p30 plus",5400.00,1),
109                           ......));
110     public datasource(){
111     }
112     
113     public list<orderentity> getorderlist(){
114         return list;
115     }
116     
117     //根据id获取对应order
118     public orderentity getorder(string id){
119         for(orderentity order:list){
120             if(order.getid()==id)
121                 return order;
122         }
123         return null;
124     }
125 }
126 
127 @component
128 public class myreturncallback implements returncallback {
129 
130     @override
131     public void returnedmessage(message message, int replycode, 
132             string replytext, string exchange, string routingkey){
133         //把messagebody反序列化为 orderentity对象
134         orderentity order=converttoorder(message.getbody());
135         //显示错误原因
136         system.out.println("-------------returncallback!------------\n"
137             +" exchange:"+exchange+" replycode:"+string.valueof(replycode)
138             +" replytext:"+replytext+" key:"+routingkey+"\n orderid:"+order.getid()
139             +"  goods:"+order.getgoods()+"  count:"+order.getcount().tostring()
140             +"  price:"+order.getprice()+" ");
141     }
142     
143     //把byte[]反序列化为 orderentity对象
144     private orderentity converttoorder(byte[] bytes){
145         orderentity order=null;
146         bytearrayinputstream bis = new bytearrayinputstream (bytes);        
147         objectinputstream ois;
148         try {
149             ois = new objectinputstream (bis);
150             object obj = ois.readobject();
151             order=(orderentity)obj;
152             ois.close();   
153             bis.close(); 
154         } catch (ioexception | classnotfoundexception e) {
155             // todo 自动生成的 catch 块
156             e.printstacktrace();
157         }        
158         return order;
159     }
160 }
161 
162 @controller
163 @requestmapping("/producer")
164 public class producercontroller {
165     @autowired
166     private rabbittemplate template;
167     @autowired
168     private myreturncallback returncallback;
169     @autowired
170     private datasource datasource;
171  
172     
173     @requestmapping("/send")
174     public void send() throws interruptedexception, ioexception{
175         //把 mandatory 属性设定为true
176         template.setmandatory(true);
177         //绑定 returncallback 回调函数
178         template.setreturncallback(returncallback);
179  
180         for(orderentity order:datasource.getorderlist()){
181             correlationdata correlationdata=getcorrelationdata();
182             template.convertandsend("directexchange","errorkey",order,correlationdata);
183         }
184     }
185     
186     private correlationdata getcorrelationdata(){
187         return new correlationdata(uuid.randomuuid().tostring());
188     }
189 }

consumer 代码

 1 @configuration
 2 public class connectionconfig {
 3     @value("${spring.rabbitmq.host}")
 4     public string host;
 5     
 6     @value("${spring.rabbitmq.port}")
 7     public int port;
 8     
 9     @value("${spring.rabbitmq.username}")
10     public string username;
11     
12     @value("${spring.rabbitmq.password}")
13     public string password;
14     
15     @value("${spring.rabbitmq.virtual-host}")
16     public string virtualhost;
17 
18     @bean
19     public connectionfactory getconnectionfactory(){
20         cachingconnectionfactory factory=new cachingconnectionfactory();
21         factory.sethost(host);
22         factory.setport(port);
23         factory.setusername(username);
24         factory.setpassword(password);
25         factory.setvirtualhost(virtualhost);
26         return factory;
27     }
28 }
29 
30 @configuration
31 @rabbitlistener(bindings=@queuebinding(
32 exchange=@exchange(value="directexchange"),
33 value=@queue(value="direct.first"),
34 key="directkey1"))
35 public class rabbitmqlistener {
36     
37     @rabbithandler
38     public void handler(string message){
39         system.out.println(message);
40     }
41 }
42 
43 @springbootapplication
44 public class app {
45     
46     public static void main(string[] args){
47         springapplication.run(app.class, args);
48     }
49 }

运行结果:

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

 

五、consumer 消息接收管控 

在第四节主要介绍了 producer 端的队列发送与监控,它只能管理 producer 与 broker server 之间的通信,但并不能确认 consumer 是否能成功接收到队列,在这节内容将介绍 consumer 端的队列接收与监听。前面几节里,consumer 端都是简单地直接使用 rabbitlistener 对队列进行监听,其实 rabbitmq 已经为用户准备了功能更强大的 messagelistenercontainer 容器用于管理 message ,下面将为大家介绍。

5.1 abstractmessagelistenercontainer 介绍

abstractmeessagelistenercontainer 虚拟类是 rabbitmq 封装好的一个容器,本身并没有对消息进行处理,而是把消息的处理方式交给了 messagelistener 。而它的主要功能是实现 messagelistener 的绑定,applicationcontext 上下文的绑定,errorhandler 的错误处理方法的绑定、对消息消费的开始、结束等等默认参数进行配置,让开发人员可以在容器中对 consumer 实现统一管理。simplemessagelistenercontainer、directmessagelinstenercoontainer 都是它的子类,分别应用于不同的场景,在下面会再作详细介绍。

方法 说明
void setacknowledgemode(acknowledgemode acknowledgemode) 设定消息接收确认的模式(下文会有详细介绍)
acknowledgemode getacknowledgemode() 获取消息接收确认的模式(下文会有详细介绍)
void setprefetchcount(int prefetchcount) 设置每个 consumer 每次可接收到消息的最大数量
void setqueues(queue... queues) 设定监听queue队列
void addqueues(queue... queues) 加入监听queue队列
void setmessagelistener(object messagelistener) 绑定messagelistener,对信息进行处理
void setchannelawaremessagelistener(channelawaremessagelistener messagelistener) 绑定channelawaremessagelistener,对信息进行处理,同时可获取当前使用的channel信息
object getmessagelistener() 获取messagelistener对象
void setmessageconverter(messageconverter messageconverter) 绑定messageconverter消息转换对象 
void setapplicationcontext(applicationcontext applicationcontext) 绑定applicationcontext上下文
connectionfactory getconnectionfactory() 获取connectionfactory连接工厂
void setlistenerid(string listenerid) 设定listenerid

messagelistener 是监听消息最常用 listener,它只包含了一个方法 void onmessage(message message),这是消息接收最常用的一个方法,开发者只需要实现此方法即可对接收到的 message 进行处理。
channelawaremessagelistener 相当于是 messagelistener的一个扩展,包含了方法 void onmessage(message message, channel channel),除了对 message 进行处理外,还可以对接收此 message 的 channel 进行检测。

5.2 simplemessagelistenercontainer 常用方法

simplemessagelistenercontainer 是最常用的 messagelistener 容器,它可以通过下面的方法设置默认消费者数量与最大的消费者数量。下面例子中尝试把 consurrentconsumers 设置为3,把maxconcurrentconsumers 设置为4,并同时监控 direct 模式交换器的 direct.first,direct.second 队列。

方法 说明
void setconcurrentconsumers(final int concurrentconsumers) 设定当前队列中消费者数量
void setmaxconcurrentconsumers(int maxconcurrentconsumers) 设定当前队列中最大消费者数量

通过截图可以看到,系统默认会为每个 queue 都创建 3 个 consumers,不同的 queue 中的 consumers 是共享相同的 3 个 channel 。

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

当 producer 端发送消息时,consumers 的实际数量可根据 maxconcurrentconsumers 的配置限制进行扩展。 

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

producer 端代码

 1 @configuration
 2 public class bindingconfig {
 3     public final static string first="direct.first";
 4     public final static string second="direct.second";
 5     public final static string exchange_name="directexchange";
 6     public final static string routingkey1="directkey1";
 7     public final static string routingkey2="directkey2";
 8     
 9     @bean
10     public queue queuefirst(){
11         return new queue(first);
12     }
13     
14     @bean
15     public queue queuesecond(){
16         return new queue(second);
17     }
18     
19     @bean
20     public directexchange directexchange(){
21         return new directexchange(exchange_name);
22     }
23     
24     //利用bindingbuilder绑定direct与queuefirst
25     @bean
26     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
27         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
28     }
29     
30     //利用bindingbuilder绑定direct与queuesecond
31     @bean
32     public binding bindingexchangesecond(queue queuesecond, directexchange directexchange){       
33         return bindingbuilder.bind(queuesecond).to(directexchange).with(routingkey2);
34     }   
35 }
36 
37 @configuration
38 public class connectionconfig {
39     @value("${spring.rabbitmq.host}")
40     public string host;
41     
42     @value("${spring.rabbitmq.port}")
43     public int port;
44     
45     @value("${spring.rabbitmq.username}")
46     public string username;
47     
48     @value("${spring.rabbitmq.password}")
49     public string password;
50     
51     @value("${spring.rabbitmq.virtual-host}")
52     public string virtualhost;
53 
54     @bean
55     public connectionfactory getconnectionfactory(){
56         cachingconnectionfactory factory=new cachingconnectionfactory();
57         factory.sethost(host);
58         factory.setport(port);
59         factory.setusername(username);
60         factory.setpassword(password);
61         factory.setvirtualhost(virtualhost);
62         return factory;
63     }
64 }
65 
66 @controller
67 @requestmapping("/producer")
68 public class producercontroller {
69     @autowired
70     private rabbittemplate template;
71  
72     @requestmapping("/send")
73     public void send(httpservletresponse response) throws interruptedexception, ioexception{
74         for(integer n=0;n<100;n++){
75                 correlationdata correlationdata=getcorrelationdata();
76                 template.convertandsend("directexchange","directkey1", 
77                          "queue1"+"  "+n.tostring(),correlationdata);
78                 template.convertandsend("directexchange","directkey2"," queue2"+"  "+n.tostring(),correlationdata);            
79                 thread.currentthread().sleep(30);
80         }
81     }
82 
83     private correlationdata getcorrelationdata(){
84         return new correlationdata(uuid.randomuuid().tostring());
85     }
86 }

consumer 端代码:

  1 @configuration
  2 public class connectionconfig {
  3     @value("${spring.rabbitmq.host}")
  4     public string host;
  5     
  6     @value("${spring.rabbitmq.port}")
  7     public int port;
  8     
  9     @value("${spring.rabbitmq.username}")
 10     public string username;
 11     
 12     @value("${spring.rabbitmq.password}")
 13     public string password;
 14     
 15     @value("${spring.rabbitmq.virtual-host}")
 16     public string virtualhost;
 17 
 18     @bean
 19     public connectionfactory getconnectionfactory(){
 20         cachingconnectionfactory factory=new cachingconnectionfactory();
 21         factory.sethost(host);
 22         factory.setport(port);
 23         factory.setusername(username);
 24         factory.setpassword(password);
 25         factory.setvirtualhost(virtualhost);
 26         return factory;
 27     }
 28 }
 29 
 30 @configuration
 31 public class bindingconfig {
 32     public final static string first="direct.first";
 33     public final static string second="direct.second";
 34     public final static string exchange_name="directexchange";
 35     public final static string routingkey1="directkey1";
 36     public final static string routingkey2="directkey2";
 37     
 38     @bean
 39     public queue queuefirst(){
 40         return new queue(first);
 41     }
 42     
 43     @bean
 44     public queue queuesecond(){
 45         return new queue(second);
 46     }
 47     
 48     @bean
 49     public directexchange directexchange(){
 50         return new directexchange(exchange_name);
 51     }
 52     
 53     //利用bindingbuilder绑定direct与queuefirst
 54     @bean
 55     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
 56         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
 57     }
 58     
 59     //利用bindingbuilder绑定direct与queuesecond
 60     @bean
 61     public binding bindingexchangesecond(queue queuesecond, directexchange directexchange){       
 62         return bindingbuilder.bind(queuesecond).to(directexchange).with(routingkey2);
 63     }   
 64 }
 65 @configuration
 66 public class simplemesslistener {
 67     @autowired
 68     private rabbittemplate template;
 69     private int index=0;
 70 
 71     @bean
 72     public simplemessagelistenercontainer messagecontainer(){
 73         simplemessagelistenercontainer container=new simplemessagelistenercontainer();
 74         container.setconnectionfactory(connectionconfig.getconnectionfactory());
 75         // 绑定queue1/queue2
 76         container.setqueuenames("direct.first");      
 77         container.addqueuenames("direct.second");
 78         //设置默认 consumer 数为3
 79         container.setconcurrentconsumers(3);
 80         //设置最大 consumer 数为4
 81         container.setmaxconcurrentconsumers(4);
 82         //标记 consumertag
 83         container.setconsumertagstrategy(queue ->  "consumer"+(++index));
 84         //绑定messagelistener显示接收信息
 85         container.setmessagelistener(new messagelistener(){
 86             @override
 87             public void onmessage(message message) {
 88                 // todo 自动生成的方法存根
 89                 thread thread=thread.currentthread();
 90                 messageproperties messprop=message.getmessageproperties();
 91                 try {
 92                     system.out.println("  consumertag:"+messprop.getconsumertag()
 93                             +"  threadid is:"+thread.getid()+"  queue:"+messprop.getconsumerqueue()
 94                             +"  "+new string(message.getbody(),"utf-8"));
 95                 } catch (unsupportedencodingexception e) {
 96                     // todo 自动生成的 catch 块
 97                     e.printstacktrace();
 98                 }
 99             }
100             
101         });
102         return container;
103     }
104 }

运行结果

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

5.3 simplemessagelistenercontainer 的运作原理

在 simplemessagelistenercontainer 模式中,无论系统监听多少个 queue 队列,channel 都是共享的,类似上面的例子,4个 channel 会把接收到不同的队列请求并分发到对应的 consumer 进行处理。这样做的好处是系统可以通过 concurrentconsumers、maxconcurrentconsumers 灵活设定当前队列中消费者的数量,系统可以跟据实际需求灵活处理。但由于每个 channel 都是在固定线程中运行的,一个 channel 要游走于多个 consumer 当中,这无疑增加了系统在上下文切换中的开销。下面用系统提供的 channelawaremessagelistener 接口,以更直观的例子说明一下 simplemessagelistenercontainer 当中 channel、queue、consumer 之间的关系。

producer 端代码

 1 @configuration
 2 public class bindingconfig {
 3     public final static string first="direct.first";
 4     public final static string second="direct.second";
 5     public final static string exchange_name="directexchange";
 6     public final static string routingkey1="directkey1";
 7     public final static string routingkey2="directkey2";
 8     
 9     @bean
10     public queue queuefirst(){
11         return new queue(first);
12     }
13     
14     @bean
15     public queue queuesecond(){
16         return new queue(second);
17     }
18     
19     @bean
20     public directexchange directexchange(){
21         return new directexchange(exchange_name);
22     }
23     
24     //利用bindingbuilder绑定direct与queuefirst
25     @bean
26     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
27         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
28     }
29     
30     //利用bindingbuilder绑定direct与queuesecond
31     @bean
32     public binding bindingexchangesecond(queue queuesecond, directexchange directexchange){       
33         return bindingbuilder.bind(queuesecond).to(directexchange).with(routingkey2);
34     }   
35 }
36 
37 @configuration
38 public class connectionconfig {
39     @value("${spring.rabbitmq.host}")
40     public string host;
41     
42     @value("${spring.rabbitmq.port}")
43     public int port;
44     
45     @value("${spring.rabbitmq.username}")
46     public string username;
47     
48     @value("${spring.rabbitmq.password}")
49     public string password;
50     
51     @value("${spring.rabbitmq.virtual-host}")
52     public string virtualhost;
53 
54     @bean
55     public connectionfactory getconnectionfactory(){
56         cachingconnectionfactory factory=new cachingconnectionfactory();
57         factory.sethost(host);
58         factory.setport(port);
59         factory.setusername(username);
60         factory.setpassword(password);
61         factory.setvirtualhost(virtualhost);
62         return factory;
63     }
64 }
65 
66 @controller
67 @requestmapping("/producer")
68 public class producercontroller {
69     @autowired
70     private rabbittemplate template;
71  
72     @requestmapping("/send")
73     public void send(httpservletresponse response) throws interruptedexception, ioexception{
74         for(integer n=0;n<100;n++){
75                 correlationdata correlationdata=getcorrelationdata();
76                 template.convertandsend("directexchange","directkey1",
77                              " queue1"+"  "+n.tostring(),correlationdata);
78                 template.convertandsend("directexchange","directkey2",
79                              "queue2"+"  "+n.tostring(),correlationdata);            
80                 thread.currentthread().sleep(30);
81         }
82     }
83 
84     private correlationdata getcorrelationdata(){
85         return new correlationdata(uuid.randomuuid().tostring());
86     }
87 }

consumer 端代码

  1 @configuration
  2 public class connectionconfig {
  3     @value("${spring.rabbitmq.host}")
  4     public string host;
  5     
  6     @value("${spring.rabbitmq.port}")
  7     public int port;
  8     
  9     @value("${spring.rabbitmq.username}")
 10     public string username;
 11     
 12     @value("${spring.rabbitmq.password}")
 13     public string password;
 14     
 15     @value("${spring.rabbitmq.virtual-host}")
 16     public string virtualhost;
 17 
 18     @bean
 19     public connectionfactory getconnectionfactory(){
 20         cachingconnectionfactory factory=new cachingconnectionfactory();
 21         factory.sethost(host);
 22         factory.setport(port);
 23         factory.setusername(username);
 24         factory.setpassword(password);
 25         factory.setvirtualhost(virtualhost);
 26         return factory;
 27     }
 28 }
 29 
 30 @configuration
 31 public class bindingconfig {
 32     public final static string first="direct.first";
 33     public final static string second="direct.second";
 34     public final static string exchange_name="directexchange";
 35     public final static string routingkey1="directkey1";
 36     public final static string routingkey2="directkey2";
 37     
 38     @bean
 39     public queue queuefirst(){
 40         return new queue(first);
 41     }
 42     
 43     @bean
 44     public queue queuesecond(){
 45         return new queue(second);
 46     }
 47     
 48     @bean
 49     public directexchange directexchange(){
 50         return new directexchange(exchange_name);
 51     }
 52     
 53     //利用bindingbuilder绑定direct与queuefirst
 54     @bean
 55     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
 56         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
 57     }
 58     
 59     //利用bindingbuilder绑定direct与queuesecond
 60     @bean
 61     public binding bindingexchangesecond(queue queuesecond, directexchange directexchange){       
 62         return bindingbuilder.bind(queuesecond).to(directexchange).with(routingkey2);
 63     }   
 64 }
 65 @configuration
 66 public class simplemesslistener {
 67     @autowired
 68     private rabbittemplate template;
 69     @autowired
 70     private connectionconfig connectionconfig;
 71     private int index=0;
 72 
 73     @bean
 74     public simplemessagelistenercontainer messagecontainer(){
 75         simplemessagelistenercontainer container=new simplemessagelistenercontainer();
 76         container.setconnectionfactory(connectionconfig.getconnectionfactory());
 77         // 绑定queue1/queue2
 78         container.setqueuenames("direct.first");      
 79         container.addqueuenames("direct.second");
 80         //设置默认 consumer 数为3
 81         container.setconcurrentconsumers(3);
 82         //设置最大 consumer 数为4
 83         container.setmaxconcurrentconsumers(4);
 84         //标记 consumertag
 85         container.setconsumertagstrategy(queue ->  "consumer"+(++index));
 86         //绑定channelawaremessagelistener显示接收信息
 87         container.setchannelawaremessagelistener(new channelawaremessagelistener(){
 88             @override
 89             public void onmessage(message message, com.rabbitmq.client.channel channel) 
 90                     throws exception {
 91                 // todo 自动生成的方法存根
 92                 // todo 自动生成的方法存根
 93                 thread thread=thread.currentthread();
 94                 system.out.println("channel:"+channel.getchannelnumber()                            
 95                         +"  threadid is:"+thread.getid()
 96                         +"  consumertag:"+message.getmessageproperties().getconsumertag()
 97                         +"  queue:"+message.getmessageproperties().getconsumerqueue());
 98                         
 99             }
100             
101         });
102         return container;
103     }
104 }            

运行结果:

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

观察运行结果可以看到:每个 channel 都在固定的线程中运行,一个 channel 会向不同的 consumer 发送队列信息。了解 channel、thread、queue、consumer 之间的关系,会对 simplemessagelistenercontainer 有更深入认识。

5.4 directmessagelistenercontainer

simplemessagelistenercontainer 是经典的容器,使用 channel 共享,一旦某个 channel 关闭或重启,意味着每个队列 queue 中使用当前 channel 的 consumer 都会受到影响。 有见及此,在 rabbitmq 2.0 后,系统引入了 directmessagelistenercontainer ,它允许每个 consumer 都有各自的对应的 channel 的,channel 只管理负责管理当前 consumer 的通道。这样令 consumer 运用更灵活,同时线程并没有跟 channel 绑定,而是由独立的线程池进行管理,这是更好地解决了 simplemessagelistenercontainer 中上下文切换所带来的资源消耗问题。
下面的例子,我们尝试使用把 consumersperqueue 设置为 4,并同时监控 direct 模式 exchange 的 direct.first,direct.second 队列。

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

从管理界面可以看到,系统会为每个 consumer 都生成一个独立的 channel 进行管理。

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

producer 端代码

 1 @configuration
 2 public class bindingconfig {
 3     public final static string first="direct.first";
 4     public final static string second="direct.second";
 5     public final static string exchange_name="directexchange";
 6     public final static string routingkey1="directkey1";
 7     public final static string routingkey2="directkey2";
 8     
 9     @bean
10     public queue queuefirst(){
11         return new queue(first);
12     }
13     
14     @bean
15     public queue queuesecond(){
16         return new queue(second);
17     }
18     
19     @bean
20     public directexchange directexchange(){
21         return new directexchange(exchange_name);
22     }
23     
24     //利用bindingbuilder绑定direct与queuefirst
25     @bean
26     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
27         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
28     }
29     
30     //利用bindingbuilder绑定direct与queuesecond
31     @bean
32     public binding bindingexchangesecond(queue queuesecond, directexchange directexchange){       
33         return bindingbuilder.bind(queuesecond).to(directexchange).with(routingkey2);
34     }   
35 }
36 
37 @configuration
38 public class connectionconfig {
39     @value("${spring.rabbitmq.host}")
40     public string host;
41     
42     @value("${spring.rabbitmq.port}")
43     public int port;
44     
45     @value("${spring.rabbitmq.username}")
46     public string username;
47     
48     @value("${spring.rabbitmq.password}")
49     public string password;
50     
51     @value("${spring.rabbitmq.virtual-host}")
52     public string virtualhost;
53 
54     @bean
55     public connectionfactory getconnectionfactory(){
56         cachingconnectionfactory factory=new cachingconnectionfactory();
57         factory.sethost(host);
58         factory.setport(port);
59         factory.setusername(username);
60         factory.setpassword(password);
61         factory.setvirtualhost(virtualhost);
62         return factory;
63     }
64 }
65 
66 @controller
67 @requestmapping("/producer")
68 public class producercontroller {
69     @autowired
70     private rabbittemplate template;
71  
72     @requestmapping("/send")
73     public void send(httpservletresponse response) throws interruptedexception, ioexception{
74         for(integer n=0;n<100;n++){
75                 correlationdata correlationdata=getcorrelationdata();
76                 template.convertandsend("directexchange","directkey1",
77                              " queue1"+"  "+n.tostring(),correlationdata);
78                 template.convertandsend("directexchange","directkey2",
79                              "queue2"+"  "+n.tostring(),correlationdata);            
80                 thread.currentthread().sleep(30);
81         }
82     }
83 
84     private correlationdata getcorrelationdata(){
85         return new correlationdata(uuid.randomuuid().tostring());
86     }
87 }

consumer 端代码

 1 @configuration
 2 public class connectionconfig {
 3     @value("${spring.rabbitmq.host}")
 4     public string host;
 5     
 6     @value("${spring.rabbitmq.port}")
 7     public int port;
 8     
 9     @value("${spring.rabbitmq.username}")
10     public string username;
11     
12     @value("${spring.rabbitmq.password}")
13     public string password;
14     
15     @value("${spring.rabbitmq.virtual-host}")
16     public string virtualhost;
17 
18     @bean
19     public connectionfactory getconnectionfactory(){
20         cachingconnectionfactory factory=new cachingconnectionfactory();
21         factory.sethost(host);
22         factory.setport(port);
23         factory.setusername(username);
24         factory.setpassword(password);
25         factory.setvirtualhost(virtualhost);
26         return factory;
27     }
28 }
29 
30 @configuration
31 public class bindingconfig {
32     public final static string first="direct.first";
33     public final static string second="direct.second";
34     public final static string exchange_name="directexchange";
35     public final static string routingkey1="directkey1";
36     public final static string routingkey2="directkey2";
37     
38     @bean
39     public queue queuefirst(){
40         return new queue(first);
41     }
42     
43     @bean
44     public queue queuesecond(){
45         return new queue(second);
46     }
47     
48     @bean
49     public directexchange directexchange(){
50         return new directexchange(exchange_name);
51     }
52     
53     //利用bindingbuilder绑定direct与queuefirst
54     @bean
55     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
56         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
57     }
58     
59     //利用bindingbuilder绑定direct与queuesecond
60     @bean
61     public binding bindingexchangesecond(queue queuesecond, directexchange directexchange){       
62         return bindingbuilder.bind(queuesecond).to(directexchange).with(routingkey2);
63     }   
64 }
65 
66 @configuration
67 public class directmesslistener {
68     @autowired
69     private connectionconfig connectionconfig;
70     @autowired
71     private rabbittemplate template;
72     private int index=0;
73     
74     @bean
75     public directmessagelistenercontainer messagecontainer(){
76         directmessagelistenercontainer container=new directmessagelistenercontainer();
77         container.setconnectionfactory(connectionconfig.getconnectionfactory());
78         // 设置每个队列的 consumer 数量
79         container.setconsumersperqueue(4);
80         container.addqueuenames("direct.first");
81         container.addqueuenames("direct.second");
82         container.setconsumertagstrategy(queue -> "consumer"+(++index));
83         container.setmessagelistener(new channelawaremessagelistener(){
84             @override
85             public void onmessage(message message, com.rabbitmq.client.channel channel) 
86                     throws exception {
87                 // todo 自动生成的方法存根
88                 // todo 自动生成的方法存根
89                 thread thread=thread.currentthread();
90                 
91                 system.out.println("channel:"+channel.getchannelnumber()                            
92                         +"  threadid is:"+thread.getid()
93                         +"  consumertag:"+message.getmessageproperties().getconsumertag()
94                         +"  queue:"+message.getmessageproperties().getconsumerqueue());
95               }    
96         });
97         return container;
98     }
99 }

通过运行结果进一步可以证实,consumer 信息接收是由独立的线程池进行管理的,并没有与 channel 绑定,每个 consumer 都有自己单独的 channel,即使 channel 发生问题时,也不会对其他的 consumer 发生影响,这正是 directmessagelistenercontainer 的优胜之处。

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

5.5 consumer 的信息接收确认方式

在第四节曾经介绍过在 producer 端利用 confirmcallback / returncallback 监控信息的发送,在这节将为大家在 consumer 端监控信息的接收。
consumer 的信息接收确认模式可以通过 acknowledgemode 设定,一共有三种模式:none、manual、auto,默认是 auto 模式。其中 none 为系统确认,manual 是手动确认。
而 auto 为自动模式,系统可以根据执行情况自动发送 ack / nack。如果方法未抛出异常,则发送 ack。如果抛出异常 amqprejectanddontrequeueexception 顾名思义消息被拒绝且不会重新加入队列。如果方法抛出非 amqprejectanddontrequeueexception 异常,则系统发送 nack 消息重归队列。

channel 消息接收的常用方法

方法 说明
void basicack(long deliverytag, boolean multiple) deliverytag 为该消息的标识,multiple 为 true 代表批量确认同一批次的信息接收成功,为 false 时代表单独判定某个消息接收成功。
void basicreject(long deliverytag, boolean requeue) deliverytag 为该消息的标识,requeue 为 true时,被拒绝的消息会重新进入队列进行推送,为false时消息将不再进入队列
void basicnack(long deliverytag, boolean multiple, boolean requeue) deliverytag 为该消息的标识,multiple 为 true 代表批量确认同一批次的信息接收失败,为 false 时代表单独判定某个消息接收失败。requeue 为 true时,消息会重新进入队列进行推送,为false时消息将不再进入队列

 acknowledgemode 配置为 manual 后,用户可通过 channel 类的 void basicack(long deliverytag, boolean multiple) 方法手动确认消息接收是否成功。
若检测到有异常,可通过void basicreject(long deliverytag, boolean requeue) 或 void basicnack(long deliverytag, boolean multiple, boolean requeue) 确认是否重新把消息推送。
通过配置 prefetchcount 可设置 consumer 每次接收到的信息数量,系统默认值为 250,这表示当 consumer 队列接收到 250 请求其状态皆为 unacked 时,broker server 将暂停向 consumer 发送消息,待消息处理后再继续。
下面例子中我们尝试把 prefetchcount 设置为 10,即每个 consumer 单次最多接收到的消息为 10 条,并把 consumersperqueue 设置为 4,然后把 acknowledgemode 设置为 manual,通过手动确认消息接收,一旦发生错误,消息重新加入队列。

 producer 端代码

 1 @configuration
 2 public class bindingconfig {
 3     public final static string first="direct.first";
 4     public final static string second="direct.second";
 5     public final static string exchange_name="directexchange";
 6     public final static string routingkey1="directkey1";
 7     public final static string routingkey2="directkey2";
 8     
 9     @bean
10     public queue queuefirst(){
11         return new queue(first);
12     }
13     
14     @bean
15     public queue queuesecond(){
16         return new queue(second);
17     }
18     
19     @bean
20     public directexchange directexchange(){
21         return new directexchange(exchange_name);
22     }
23     
24     //利用bindingbuilder绑定direct与queuefirst
25     @bean
26     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
27         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
28     }
29     
30     //利用bindingbuilder绑定direct与queuesecond
31     @bean
32     public binding bindingexchangesecond(queue queuesecond, directexchange directexchange){       
33         return bindingbuilder.bind(queuesecond).to(directexchange).with(routingkey2);
34     }   
35 }
36 
37 @configuration
38 public class connectionconfig {
39     @value("${spring.rabbitmq.host}")
40     public string host;
41     
42     @value("${spring.rabbitmq.port}")
43     public int port;
44     
45     @value("${spring.rabbitmq.username}")
46     public string username;
47     
48     @value("${spring.rabbitmq.password}")
49     public string password;
50     
51     @value("${spring.rabbitmq.virtual-host}")
52     public string virtualhost;
53 
54     @bean
55     public connectionfactory getconnectionfactory(){
56         cachingconnectionfactory factory=new cachingconnectionfactory();
57         factory.sethost(host);
58         factory.setport(port);
59         factory.setusername(username);
60         factory.setpassword(password);
61         factory.setvirtualhost(virtualhost);
62         return factory;
63     }
64 }
65 
66 @controller
67 @requestmapping("/producer")
68 public class producercontroller {
69     @autowired
70     private rabbittemplate template;
71  
72     @requestmapping("/send")
73     public void send(httpservletresponse response) throws interruptedexception, ioexception{
74         for(integer n=0;n<100;n++){
75                 correlationdata correlationdata=getcorrelationdata();
76                 template.convertandsend("directexchange","directkey1",
77                              " queue1"+"  "+n.tostring(),correlationdata);
78                 template.convertandsend("directexchange","directkey2",
79                              "queue2"+"  "+n.tostring(),correlationdata);            
80         }
81     }
82 
83     private correlationdata getcorrelationdata(){
84         return new correlationdata(uuid.randomuuid().tostring());
85     }
86 }

运行后可看到 broker server 每条 queue 会有 100 条数据处于待处理状态

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

consumer 端代码

  1 @configuration
  2 public class connectionconfig {
  3     @value("${spring.rabbitmq.host}")
  4     public string host;
  5     
  6     @value("${spring.rabbitmq.port}")
  7     public int port;
  8     
  9     @value("${spring.rabbitmq.username}")
 10     public string username;
 11     
 12     @value("${spring.rabbitmq.password}")
 13     public string password;
 14     
 15     @value("${spring.rabbitmq.virtual-host}")
 16     public string virtualhost;
 17 
 18     @bean
 19     public connectionfactory getconnectionfactory(){
 20         cachingconnectionfactory factory=new cachingconnectionfactory();
 21         factory.sethost(host);
 22         factory.setport(port);
 23         factory.setusername(username);
 24         factory.setpassword(password);
 25         factory.setvirtualhost(virtualhost);
 26         return factory;
 27     }
 28 }
 29 
 30 @configuration
 31 public class bindingconfig {
 32     public final static string first="direct.first";
 33     public final static string second="direct.second";
 34     public final static string exchange_name="directexchange";
 35     public final static string routingkey1="directkey1";
 36     public final static string routingkey2="directkey2";
 37     
 38     @bean
 39     public queue queuefirst(){
 40         return new queue(first);
 41     }
 42     
 43     @bean
 44     public queue queuesecond(){
 45         return new queue(second);
 46     }
 47     
 48     @bean
 49     public directexchange directexchange(){
 50         return new directexchange(exchange_name);
 51     }
 52     
 53     //利用bindingbuilder绑定direct与queuefirst
 54     @bean
 55     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
 56         return bindingbuilder.bind(queuefirst).to(directexchange).with(routingkey1);
 57     }
 58     
 59     //利用bindingbuilder绑定direct与queuesecond
 60     @bean
 61     public binding bindingexchangesecond(queue queuesecond, directexchange directexchange){       
 62         return bindingbuilder.bind(queuesecond).to(directexchange).with(routingkey2);
 63     }   
 64 }
 65 
 66 @configuration
 67 public class directmesslistener {
 68     @autowired
 69     private connectionconfig connectionconfig;
 70     @autowired
 71     private rabbittemplate template;
 72     private int index=0;
 73     
 74     @bean
 75     public directmessagelistenercontainer messagecontainer(){
 76         directmessagelistenercontainer container=new directmessagelistenercontainer();
 77         container.setconnectionfactory(connectionconfig.getconnectionfactory());
 78         // 设置每个队列的 consumer 数量
 79         container.setconsumersperqueue(4);
 80         // 设置每个 consumer 每次的接收的消息数量为10个
 81         container.setprefetchcount(10);
 82         // 使用manual进行手动确认      
 83         container.setacknowledgemode(acknowledgemode.manual);
 84         container.addqueuenames("direct.first");
 85         container.addqueuenames("direct.second");
 86         container.setconsumertagstrategy(queue -> "consumer"+(++index));
 87         container.setmessagelistener(new channelawaremessagelistener(){
 88             @override
 89             public void onmessage(message message, com.rabbitmq.client.channel channel) 
 90                     throws exception {
 91                 thread thread=thread.currentthread();
 92                 messageproperties prop=message.getmessageproperties();
 93                 try{
 94                     system.out.println("channel:"+channel.getchannelnumber()                            
 95                             +"  threadid is:"+thread.getid()
 96                             +"  consumertag:"+prop.getconsumertag()
 97                             +"  queue:"+prop.getconsumerqueue());
 98                     //通过tag单个确认
 99                     channel.basicack(prop.getdeliverytag(), false);
100                 }catch(exception ex){
101                     //判定单个接收失败,重新加入consumer队列
102                     channel.basicreject(prop.getdeliverytag(), true);
103                 }
104                 thread.sleep(1000);
105             }    
106         });
107         return container;
108     }
109 }

观察信息接收情况,每个 consumer  一次可处理10条信息,对队列进行分批处理。

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

六、死信队列

死信队列(dead-letter-exchange) 可被看作是死信交换器。当消息在一个队列中变成死信后,它能被重新被发送到特定的交换器中,这个交换器就是dlx ,绑定dlx 的队列就称之为死信队列。消息变成死信一般是由于以下几种情况:

  • 消息被拒绝,requeue 被设置为 false, 可通过上一介绍的 void basicreject (deliverytag, requeue) 或 void basicnack(deliverytag,multiple, requeue) 完成设置 ;
  • 消息过期;
  • 队列超出最大长度。

其实死信队列 dlx 也是一个正常的交换器,和一般的交换器没有什么区别,我们可以用一般建立队列的方法,建立一个死信队列。然后建立一个正常的队列,在正常队列中加入参数 x-dead-letter-exchange、x-dead-letter-routing-key 与死信队列进行绑定,完成绑定后在管理界面 features 选项中 direct.queue.first 会显示 dlx dlk。这时当被绑定的队列出现超时,超长,或被拒绝时(注意requeue被设置为false时,对会激发死信),信息就会流入死信队列被处理。
具体的例子producer端:

 1 @configuration 
 2 public class bindingconfig {
 3     public final static string queue_first="direct.queue.first";
 4     public final static string exchange_name="directexchange";
 5     public final static string routing_key_first="directkey1";
 6     
 7     @bean
 8     public queue queuefirst(){
 9         return new queue(this.queue_first);
10     }
11     
12     @bean
13     public directexchange directexchange(){
14         return new directexchange(this.exchange_name);
15     }
16     
17     @bean
18     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
19         return bindingbuilder.bind(queuefirst).to(directexchange).with(routing_key_first);
20     }
21 }
22 
23 @configuration
24 public class connectionconfig {
25     @value("${spring.rabbitmq.host}")
26     public string host;
27     
28     @value("${spring.rabbitmq.port}")
29     public int port;
30     
31     @value("${spring.rabbitmq.username}")
32     public string username;
33     
34     @value("${spring.rabbitmq.password}")
35     public string password;
36     
37     @value("${spring.rabbitmq.virtual-host}")
38     public string virtualhost;
39 
40     @bean
41     public connectionfactory getconnectionfactory(){
42         cachingconnectionfactory factory=new cachingconnectionfactory();
43         system.out.println(host);
44         factory.sethost(host);
45         factory.setport(port);
46         factory.setusername(username);
47         factory.setpassword(password);
48         factory.setvirtualhost(virtualhost);
49         return factory;
50     }
51 }
52 
53 @controller
54 @requestmapping("/producer")
55 public class producercontroller {
56     @autowired
57     private rabbittemplate template;
58     
59     @requestmapping("/send")
60     public void send() {
61         for(int n=0;n<10;n++){            
62             template.convertandsend(bindingconfig.exchange_name,bindingconfig.routingkey1,"hello world!   "
63                    +string.valueof(n),getcorrelationdata());
64         }
65     }
66 
67      private correlationdata getcorrelationdata(){
68         return new correlationdata(uuid.randomuuid().tostring());
69     }
70 }

customer 端

  1 @configuration
  2 public class bindingconfig {
  3     //普通队列参数
  4     public final static string queue_first="direct.queue.first";
  5     public final static string exchange_name="directexchange";
  6     public final static string routing_key_first="directkey1";
  7     //死信队列参数
  8     public final static string queue_dead="direct.queue.dead";
  9     public final static string exchange_dead="directdead";
 10     public final static string routing_key_dead="directdeadkey";
 11     
 12     @bean
 13     public queue queuefirst(){
 14         map<string, object> args=new hashmap<string,object>();
 15         //声明当前死信的 exchange
 16         args.put("x-dead-letter-exchange", this.exchange_dead);
 17          //声明当前队列的死信路由key
 18         args.put("x-dead-letter-routing-key", this.routing_key_dead);
 19         //把死信队列的参数绑定到当前队列中
 20         return queuebuilder.durable(queue_first).witharguments(args).build();
 21     }
 22     
 23     @bean
 24     public directexchange directexchange(){
 25         return new directexchange(this.exchange_name);
 26     }
 27     
 28     @bean
 29     public binding bindingexchangefirst(queue queuefirst, directexchange directexchange){
 30         return bindingbuilder.bind(queuefirst).to(directexchange).with(routing_key_first);
 31     }
 32     
 33     @bean
 34     public queue queuedead(){
 35         return new queue(this.queue_dead);
 36     }
 37     
 38     @bean
 39     public directexchange directexchangedead(){
 40         return new directexchange(this.exchange_dead);
 41     }
 42     
 43     @bean
 44     public binding bindingexchangedead(queue queuedead,directexchange directexchangedead){
 45         return bindingbuilder.bind(queuedead).to(directexchangedead).with(this.routing_key_dead);
 46     }
 47 }
 48 
 49 @configuration
 50 public class connectionconfig {
 51     @value("${spring.rabbitmq.host}")
 52     public string host;
 53     
 54     @value("${spring.rabbitmq.port}")
 55     public int port;
 56     
 57     @value("${spring.rabbitmq.username}")
 58     public string username;
 59     
 60     @value("${spring.rabbitmq.password}")
 61     public string password;
 62     
 63     @value("${spring.rabbitmq.virtual-host}")
 64     public string virtualhost;
 65 
 66     @bean
 67     public connectionfactory getconnectionfactory(){
 68         cachingconnectionfactory factory=new cachingconnectionfactory();
 69         factory.sethost(host);
 70         factory.setport(port);
 71         factory.setusername(username);
 72         factory.setpassword(password);
 73         factory.setvirtualhost(virtualhost);
 74         return factory;
 75     }
 76 }
 77 
 78 @configuration
 79 public class directmesslistener {
 80     @autowired
 81     private connectionconfig connectionconfig;
 82     @autowired
 83     private rabbittemplate template;
 84     private int index=0,normalindex=0,deadindex=0;    
 85     
 86     @bean
 87     public directmessagelistenercontainer messagecontainer(){
 88         directmessagelistenercontainer container=new directmessagelistenercontainer();
 89         container.setconnectionfactory(connectionconfig.getconnectionfactory());
 90         // 设置每个队列的 consumer 数量
 91         container.setconsumersperqueue(4);
 92         // 设置每个 consumer 每次的接收的消息数量
 93         container.setprefetchcount(10);
 94         // 使用manual手动确认
 95         container.setacknowledgemode(acknowledgemode.manual);
 96         // 监听队列
 97         container.addqueuenames(bindingconfig.queue_first);
 98         container.addqueuenames(bindingconfig.queue_dead);
 99         container.setconsumertagstrategy(queue -> "consumer"+(++index));
100          
101         container.setmessagelistener(new channelawaremessagelistener(){
102             @override
103             public void onmessage(message message, com.rabbitmq.client.channel channel) 
104                     throws exception {
105                 messageproperties prop=message.getmessageproperties();
106                 if(prop.getreceivedroutingkey().equals(bindingconfig.routing_key_first)){
107                     system.out.println("this is a normal queue!  "+(++normalindex));
108                     //把当前的队列转送到死信队列中
109                     channel.basicreject(prop.getdeliverytag(), false);                
110                 }
111                 if(prop.getreceivedroutingkey().equals(bindingconfig.routing_key_dead)){
112                     system.out.println("this is a dead queue! "+(++deadindex));
113                     //模拟对死信队列处理
114                     thread.currentthread().sleep(5000);
115                     .......
116                     //处理完毕
117                     channel.basicack(prop.getdeliverytag(), false);
118                 }
119                 
120             }
121         });
122         return container;
123     }
124 }

通过管理界面可以看,信息会先发送到 direct.queue.first,然后被放进死信队列作处理。

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

运行结果

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

死信队列最常用的场景可以在订单支付,流程审批等环节。例如在 京*、淘* 等平台,当下单成功后,客户要在一定的时间内完成支付操作,否则订单被视作无效,这些业务流程就可以使用死信队列来处理。

七、持久化操作

rabbitmq 的持久化操作包含有 queue 持久化、message 持久化和 exchange 持久化三类。

7.1 queue 的持久化

队列持久化只需要在 queue 的构造函数 public queue(string name, boolean durable) 把 durable 参数置为 true 就可实现。如果队列不设置持久化( (durable 默认为 false), 那么在rabbitmq 服务重启之后,相关队列的元数据会丢失,此时数据也会丢失。

7.2 message 持久化

设置了queue 持久化以后,当 rabbitmq 服务重启之后,队列依然存在,但消息已经消失,可见单单设置队列的持久化而不设置消息持久化显得毫无意义,所以通常列队持久化会与消息持久化共同使用。
在 rabbitmq 原生态的框架下,需要把信息属性设置为 messageproperties.persistent text plain 才会实现消息的持久化。
而在 spring 框架下,由于在使用回调函数时需要把 message 重新返回队列再进行处理,所以 message 默认已经是持久化的。

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

7.3 exchage 的持久化

交换器持久化可通过构造函数 public directexchange(string name, boolean durable, boolean autodelete)  把 durable 参数置为 true 就可实现,而 autodelete 则是指在所在消费者都解除订阅的情况下自动删除。如果交换器不设置持久化,那么在 rabbitmq 服务重启之后,相关的交换器元数据会丢失,不过消息不会丢失,只是消息不再发送到该 exchange 。对一个长期使用的交换器来说,持久化还是有其必要性的。

 

本章总结

rabbitmq 发展至今,被越来越多的人认可,这和它在易用性、扩展性、可靠性和高可用性等方面的卓著表现是密不可分的。
相比于传统的 activemq 和分布式 kafka,它具有自己独有的特点。
希望文章有帮于大家对 rabbitmq 消息队列方面有更深入的了解,在不同的开发环境中灵活运用。
由于时间仓促,文章当中有不明确的地方或有错漏敬请点明。

对 java 开发有兴趣的朋友欢迎加入qq群: 共同探讨!
对 .net  开发有兴趣的朋友欢迎加入qq群:共同探讨 !

深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

相关文章

hbase 的原理与应用

mapreduce 基础编程(介绍 combine、partitioner、writablecomparable、writablecomparator 使用方式)

 

 

作者:风尘浪子
https://www.cnblogs.com/leslies2/p/11238859.html

原创作品,转载时请注明作者及出处