• 文档
  • 控制台
  • 登录
  • 立即注册
    目前不支持用户自主注册,如需注册账号,请联系400-080-1100
消息队列Kafka
下载PDF

3 操作指南

3.1 管理实例

3.1.1 开通Kafka

简介

应用接入消息队列Kafka前,需要在控制台开通Kafka实例。您可根据业务需求选择不同的实例规格。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击“新建实例”,进入新建实例页。

根据参数说明配置参数。

WX20241019-172054@2x.png


(4)单击“下一步”,确认配置信息。

(5)确认配置无误后,单击“立即开通”。


3.1.2 访问Kafka实例

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入该实例概览页。

3.1.3 升配实例

限制与指导

仅运行中的实例支持升配。

实例升配持续时间为几分钟,期间实例将无法正常工作,请谨慎操作。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“升配”,进入Kafka实例变更页。

(3)选择目标实例规格、磁盘容量、实例节点数。

(4)单击“立即变更”,确认变更实例。


3.1.4 释放实例

限制与指导

实例释放后不可恢复,请谨慎操作。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“释放”,弹出删除对话框。

(3)单击“确定”,确认释放该Kafka实例。


3.1.5 重启实例

限制与指导

实例重启持续时间为几分钟,期间实例将无法正常工作,请谨慎重启。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“重启”,弹出重启对话框。

(3)单击“确定”,确认重启该Kafka实例。


3.1.6 查看实例详情

简介

新建Kafka实例后,您可以在控制台查看Kafka实例列表和每个Kafka实例的详情,包括实例状态等基本信息、实例规格和存储空间等实例配置、各个协议接入点等访问信息、付费信息等。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例的实例名称,进入实例详情页。

(3)查看该实例的基本信息、网路信息和事件列表。

• 基本信息:在基本信息模块,可修改实例名称、实例别名、生产消息大小和消息保留时长等信息。

开启指标采集:设置指标采集开关。

开启日志采集:设置日志采集开关。

• 网络信息:在网络信息模块,可查看协议和接入点信息。

接入点信息可单击其后的“cc.png ”复制。

如开启弹性公网可在弹性公网后设置。

• 事件列表:在事件列表模块,可查看时间的记录时间、事件类型、事件原因和事件详情。


3.1.7 开启弹性公网

简介

当业务需要使用公网访问Kafka实例,需要开启弹性公网。

限制与指导

开启弹性公网操作,会重启实例,导致业务中断,请谨慎操作。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例的实例名称,进入实例详情页。

(3)在基本信息模块,单击弹性公网后的“bb.png ”,弹出编辑弹性公网对话框。

(4)选择弹性公网IP。

(5)单击“确定”。


3.2 概览页介绍

WX20241019-172725@2x.png

Kafka控制台概览页展示和提供如下信息或功能入口。

• 单击“创建Topic”,可直接进入Topic管理页,进行Topic的创建。

• 单击“创建消费组”,快速进入消费组管理页,进行消费组创建。

• 查看当前实例broker数量、topic数量、消费组数量、消费者数量、ACL用户数等信息。

• 查看Topic列表,展示Topic的名称、分区数量、Topic副本数。

• 查看消费组列表,展示消费组名称、消费组数量、消费者状态、堆积量。

• 实例规格:展示当前实例的创建时间、计费模式、规格、实例节点数、是否开启SASL。

• 帮助中心:提供文档中心和视频中心的入口,暂未启用。

• 最佳实践:提供Kafka使用过程中可参考的最佳实践,暂未启用。

3.3 Broker管理

3.3.1 查看Broker详情

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“Broker管理”,进入Broker管理页。

(4)单击目标Broker ID,进入Broker详情页,查看基本信息和配置信息。


3.3.2 编辑Broker

限制与指导

编辑后的配置项将对所有Broker生效,请谨慎操作。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“Broker管理”,进入Broker管理页。

(4)单击目标Broker ID,进入Broker详情页。

(5)单击配置信息后的“编辑”,弹出编辑Broker对话框。

(6)根据需要对Broker信息进行编辑。

(7)单击“确定”。


3.3.3 重启Broker

简介

当遇到业务需要切换流量等场景的时候,您可重启Broker。

限制与指导

重启Broker会导致Kafka客户端在几秒内重新连接。不影响生产和消费消息。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“Broker管理”,进入Broker管理页。

(4)单击目标Broker操作列的“重启”,弹出重启对话框。

(5)单击“确定”,重启Broker。


3.4 Topic管理

3.4.1 新建Topic

简介

每个Topic可以有多个生产者向其发送消息,也可以有多个消费者消费其中的消息。

限制与指导

• 成功新建Topic之后,不支持修改Topic名称,新建时请谨慎操作。

• 成功新建Topic之后,分区数量只能调大,不能调小,新建或修改时请合理规划分区数量。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入该实例概览页。

(3)在左侧导航栏,选择“Topic管理”,进入Topic管理页。

(4)单击“新建”,弹出新建Topic对话框。

(5)根据参数说明填写相关信息后,单击“确定”,Topic新建成功。

WX20241019-174232@2x.png


3.4.2 查看Topic详情

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“Topic管理”,进入Topic管理页。

(4)单击目标Topic名称,进入该Topic详情页。

(5)查看该Topic详情。


3.4.3 编辑Topic

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“Topic管理”,进入Topic管理页。

(4)单击目标Topic操作列的“编辑”,弹出编辑Topic对话框。

(5)根据需要编辑信息。

(6)单击“保存”,编辑成功。


3.4.4 删除Topic

限制与指导

• 删除Topic后,相关生产者、消费者会立即停止服务。

• Topic中的元数据和消息数据,包括积累的未消费信息,会被自动清除。且清除后不可恢复,请谨慎操作。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“Topic管理”,进入Topic管理页。

(4)单击目标Topic操作列的“删除”,弹出删除对话框。

(5)单击“确定”,删除该Topic。


3.5 消费组管理

3.5.1 查看消费组详情

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“消费组管理”,进入消费组列表页。

(4)单击目标消费组操作列的“详情”,查看该消费组的基本信息、监控信息和消费状态等详情。


3.5.2 重置消费状态

限制与指导

消费组下是空时,才可以被重置。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“消费组管理”,进入消费组列表页。

(4)单击目标消费组操作列的“重置消费状态”。

(5)填写Topic名称,选择“从最初位点开始消费”、“从最新位点开始消费”或“从指定时间点的位点开始消费”。

(6)(重置方式为“从指定时间点的位点开始消费”时)在起始时间选择框中选择时间。

(7)单击“确定”,完成重置消费状态操作。


3.5.3 删除消费组

限制与指导

• 仅支持删除Empty状态的消费组。

• 删除消费组后,由此消费组ID标识的消费者实例将立即停止接收消息,同时删除消费组相关资源。删除后,消费组和相关资源不可恢复,请谨慎操作。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“消费组管理”,进入消费组列表页。

(4)单击目标消费组操作列的“删除”,弹出确认提示对话框。

(5)单击“确定”,删除该消费组。


3.6 查询消息

简介

成功接入消息队列 Kafka版之后,如果遇到消息消费异常,可以通过消息查询功能查看服务端的详细消息内容,确认服务端的消息详情是否与生产端或消费端完全一致,排查消息生产或消费问题。

消息队列 Kafka版提供以下方式查询消息详情。

• 按位点查询

查询指定Topic中、指定分区、指定位点对应的消息。适用于消息发送至的分区ID及消息位点非常明确的场景。

• 按时间查询

查询指定Topic、指定分区在指定时间范围内的消息列表。适用于消息发送的时间段非常明确的情况。

推荐您在以下场景中使用消息查询功能:

• 查看消息的具体内容,验证消息内容是否和生产端/消费端一致。

• 下载指定消息内容,以供进一步的问题排查。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“消息查询”,进入消息查询页。

查询类型选择“按位点查询”,指定Topic名称、分区和起始位点,单击“查询”,查看结果。

查询类型选择“按时间查询”,指定Topic名称和分区,选择时间范围,单击“查询”,查看结果。


3.7 安全策略

3.7.1 用户管理

3.7.1.1 新建用户

简介

Kafka开启ACL后,需要新建用户,控制用户对Kafka集群的某些资源的访问权限,以保护Kafka集群中的数据安全。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“安全策略 > 用户管理”,进入用户管理页。

(4)单击“新建”,弹出新建用户对话框。

(5)根据参数说明完成配置。

(6)单击“确定”。

image.png

3.7.1.2 管理用户

在用户管理页面:

• 编辑:单击目标用户操作列的“编辑”,编辑用户密码和认证方式。

• 删除:单击目标用户操作列的“删除”,删除该用户。

3.7.2 ACL管理

3.7.2.1 新建ACL

简介

ACL是消息队列Kafka提供的管理SASL用户和客户端使用SDK收发消息权限的服务,和开源Apache Kafka保持一致。ACL只针对客户端使用SDK收发消息定义一系列不同的规则,与消息队列Kafka控制台和API操作无关。

操作步骤

(1)进入消息队列 Kafka系统页面。

(2)单击目标实例操作列的“访问”,进入实例概览页。

(3)在左侧导航栏,选择“安全策略 > ACL管理”,进入ACL管理页。

(4)单击“新建”,弹出新建ACL管理规则对话框。

(5)根据参数说明完成配置。

WX20241019-175110@2x.png


(6)单击“确定”。

3.7.2.2 管理ACL策略

在ACL管理页:

• 查询ACL规则:在页面上方,选择筛选项,也可输入关键词查询。

• 删除ACL规则:单击目标规则操作列的“删除”,删除该规则。




意见反馈

文档内容是否对您有帮助?

如您有其他疑问,您也可以通过在线客服来与我们联系探讨 在线客服

联系我们
回到顶部