Kafka 命令行工具 kcat/kafkacat

大家好，欢迎来到IT知识分享网。

简介

kcat， 又称为 kafkacat，是一款非 JVM 的 Kafka 消息生产和消费的命令行工具，适用于 Kafka 0.8 及以上版本。

生产者模式：kcat 从标准输入读取数据，-D 指定分割符，把数据发送到Kafka 集群，-b 指定集群地址， -t 指定topic名称， -p 指定分区

消费者模式：kcat 从指定的 topic 和 partition 消费数据，并打印到标准输出。

kcat 还支持打印 Kafka 集群的状态，topics，pairtions 信息。

安装方式

1. Ubuntu 环境

sudo apt-get update sudo apt-get install kafkacat 

2. MacOS 环境

brew install kcat 

3. 从源码编译安装

git clone https://github.com/edenhill/kcat.git cd kcat ./configure make make install 

使用

Ubuntu 中使用 kafkacat, 在 MacOS 中使用 kcat, 如果是源码方式安装也是使用 kcat

1. 生产者

常用参数：
-P: 说明以生产者模式运行
-b : Kafka集群地址，端口为9092时可省略端口
-t: topic名称
-p: 分区编号
-z: 压缩格式，如snappy

tail -f /var/log/syslog | kafkacat -b mybroker -t syslog -P 

2. 消费者

常用参数：
-P: 说明以消费者模式运行
-b : Kafka集群地址，端口为9092时可省略端口
-t: topic名称
-p: 分区编号
-J: 以 Json 格式打印数据

示例：

#消费 syslog 所有数据 kafkacat -C -b mybroker -t syslog #消费 syslog 最近2000条数据 kafkacat -C -b mybroker -t syslog -p 0 -o -2000 -e #消费 mytopic 指定时间戳的数据 kafkacat -b mybroker -C -t mytopic -o s@43 -o e@01 #消费多个 topic kafkacat -b mybroker -G mygroup topic1 topic2 

3. Kafka信息查询

# 查询给定时间戳对应的 offset kafkacat -b mybroker -Q -t mytopic:3: -t mytopic2:0: #打印 Kafka 集群所有元数据信息 kafkacat -L -b mybroker # 以 Json 格式打印 Kafka 集群所有元数据信息 kafkacat -b mybroker -L -J | jq .