功能介绍
RocketMQ(消息队列 RocketMQ 版)是一个分布式消息和流数据平台,具有低延迟、高性能、高可靠性、万亿级容量和灵活的可扩展性。
借助 RocketMQ 连接器,可以实现:向指定 RocketMQ 的主题发送消息,使其他系统可以从 RocketMQ 中获取到消息再消费。
适用场景
数据集成场景中,上游系统(例如电商系统)将记录变更信息通过 RocketMQ 连接器写入 RocketMQ 的指定 Topic 后,其他系统(例如会员系统)监听指定的 RocketMQ 获取到消息并消费消息队列中的数据。
以电商业务中最常见的「订单支付」场景为例:
在订单支付成功后,需要更新订单状态、更新用户积分、通知商家有新订单、更新推荐系统中的用户画像等等。
250px|700px|reset
- 引入 MQ 后,订单支付现在只需要关注它最重要的流程:更新订单状态即可。其他不重要的事情全部交给 MQ 来通知。这便是 MQ 解决的最核心的问题:系统解耦。
- 因为 MQ 的引入,更新用户积分、通知商家、更新用户画像这些步骤全部变成了异步执行,能减少订单支付的整体耗时,提升订单系统的吞吐量。这便是 MQ 的另一个典型应用场景:异步通信。
配置 RocketMQ 连接器
(一)选择 RocketMQ 连接器
点击「三方集成」分组,选择「 RocketMQ 」。添加后,会展开 RocketMQ 连接器的配置面板:
250px|700px|reset
250px|700px|reset
(二)配置连接器
操作与凭证
配置项 | 配置说明 |
执行操作 | 目前仅支持:发送消息 |
RocketMQ 的凭证 | 可以新建或选择一个写入 RocketMQ 时,需要携带的凭证,新建凭证详见下文 |
创建凭证
在节点配置选择凭证时新建凭证,点击后「新建」后将显示新建凭证弹窗:
250px|700px|reset
250px|700px|reset
需要配置的内容如下:
配置项 | 说明 |
名称 | 凭证名称 |
API 名称 | 应用内凭证的唯一标识,自动生成,可编辑。合理设置 API 名称能让代码更易维护。 |
鉴权方式 | 选择 RocketMQ 触发时身份认证的鉴权方式,目前可选项:PSM PSM 鉴权方式仅支持字节租户使用 |
主题(Topic) | RocketMQ 的 Topic,引用凭证后可以使用该 Topic 完成数据生产/消费 |
集群名称 | RocketMQ 的 Cluster 信息 |
新建后的凭证,将加入到选择凭证下拉框列表内,选择后将展示凭证信息。
基础配置
配置项的说明详见下表:
配置项 | 说明 |
分片键 | 即 Sharding Key ,根据消息的分片键指定将消息投递到哪个消息队列中 |
消息体 | 投递的具体消息内容,线上环境和开发环境发送的消息体需分别配置 |
消息标识 | 消息的 Tag,消息队列的消费者可根据该标识来过滤消息 |
消息键 | 消息的 Key,支持添加多个消息键,键与键之间用「;」隔开 |
生产者组标识 | 生产组的名称,一类 Producer 的标识 |
高级配置
高级配置中可以设置一些触发时的高级选项,均有默认值,若无特殊需求可无需配置。
高级配置详见下表:
配置项 | 说明 |
发送超时时间/ms | 默认的发送超时时间,可设置范围:1000~15000 |
发送失败后的重试次数 | 同步发送失败的话,在 RocketMQ 内部重试多少次,可设置范围:0~3 |
消息体最大值/KB | 允许发送的最大消息体大小,可设置范围:1~100 |
延迟消费时间间隔 | 消费者将延迟收到生产者投递消息的时间间隔 |
输出数据
「输出数据」展示了连接器输出数据的结构和各字段类型及名称:
RocketMQ 连接器会把输出数据会保存至全局变量中:
PSM 鉴权方式下,输出的元信息示例如下:
{
"extraFields": null,
"messageQueue": {
"brokerName": "test_hl4",
"queueId": 0,
"topic": "ipaas_test_lr"
},
"msgId": "0A0C40600037000000007A1C93080001",
"offsetMsgId": "0A9459D80000233D0000747B3298D4B2",
"queueOffset": 7,
"regionId": "DefaultRegion",
"respHeader": {
"errCode": 0,
"errMsg": "OK"
},
"transactionId": ""
}
(三)输出数据使用说明
可以在 NodeJS 节点中引用输出数据的 API 名称进行 JSON 变量的消费,如下图:
250px|700px|reset

















