kafka常用命令

kafka 常用命令

查看当前服务器中的所有 Topic
bin/kafka-topics.sh --list --zookeeper zk01:2181
创建 Topic
./kafka-topics.sh --create --zookeeper zk01:2181 --replication-factor 1 --partitions 3 --topic first

说明：replication-factor 是指副本数量，partitions 是指分区数量

删除 Topic
bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test
需要 server.properties 中设置 delete.topic.enable = true 否则只是标记删除或者直接重启。

通过 Shell 命令发送消息
kafka-console-producer.sh --broker-list kafka01:9092 --topic demo
通过 Shell 消费消息
bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1
查看消费位置
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup
查看某个 Topic 的详情
kafka-topics.sh --topic test --describe --zookeeper zk01:2181

kafka常用参数
bootstrap.servers kafka集群的broker-list，如：
hadoop01:9092,hadoop02:9092 无 必选
key.serializer key的序列化器 ByteArraySerializer
StringSerializer 必选
value.serializer value的序列化器 ByteArraySerializer
StringSerializer 必选
acks 确保生产者可靠性设置，有三个选项：
acks=0：不等待成功返回
acks=1：等Leader写成功返回
acks=all：等Leader和所有ISR中的Follower写成功返回，all也可以用-1代替 -1 0,1,-1,all 建议必选
buffer.memory Producer总体内存大小 33554432 不要超过物理内存，根据实际情况调整 建议必选
batch.size 每个partition的未发送消息大小 16384 根据实际情况调整 建议必选