kafka集群管理工具kafka-manager安装步骤

技术  /  管理员 发布于 3年前   693

kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。

具体支持以下内容：

管理多个集群

轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）

运行首选副本选举

使用选项生成分区分配以选择要使用的代理

运行分区重新分配（基于生成的分配）

使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置）

删除主题（仅支持0.8.2+并记住在代理配置中设置delete.topic.enable = true）

主题列表现在指示标记为删除的主题（仅支持0.8.2+）

批量生成多个主题的分区分配，并可选择要使用的代理

批量运行重新分配多个主题的分区

将分区添加到现有主题

更新现有主题的配置

测试：

在cdh3节点的/big_data/kafka目录下操作

生产：

在n3节点的/big_data/kafka目录下操作

1. 安装sbt

curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
mv bintray-sbt-rpm.repo /etc/yum.repos.d/
yum install sbt

2. 下载编译 - 项目地址

git clone https://github.com/yahoo/kafka-manager.git
cd kafka-manager
sbt clean dist

3. 安装配置

编译成功后，会在target/universal下生成一个zip包

解压并修改配置文件

unzip kafka-manager-1.3.0.4.zip
vim kafka-manager-1.3.0.4/conf/application.conf 

将application.conf中的kafka-manager.zkhosts的值

设置为你的zk地址并设置WEB访问端口号：

kafka-manager.zkhosts="10.66.0.11:2181,10.66.0.22:2181,10.66.0.33:2181"
http.port=9001

在目录

/big_data/kafka/kafka-manager/target/universal/kafka-manager-1.3.3.18/bin

下执行命令：

./kafka-manager -Dconfig.file=/big_data/kafka/kafka-manager/target/universal/kafka-manager-1.3.3.18/conf/application.conf

拓展知识：

Kafka常用操作:

1.查看group id: 

./kafka-consumer-groups.sh --zookeeper  n1:2181,n2:2181,n3:2181 --list

2.查看kafka的消费偏移量:

./data/cloudera/parcels/CDH/bin/zookeeper-client
ls /consumers/console-consumer-75797/offsets/raw_log/0
get /consumers/console-consumer-75797/offsets/raw_log/0

3.设置消费偏移量:

set /consumers/consumer-group/offsets/TOPIC_NAME/0 1429

...