Kafka 单机（集群）安装部署（自带zookeeper）

背景
kafka官网http://kafka.apache./
kafka下载页面http://kafka.apache./donloads
kafka配置快速入门http://kafka.apache./quickstart
新版本的kafka自带有zookeeper，本篇文章记录使用自带zookeeper搭建kafka集群。

消息队列术语

•Kafka将消息以ic为单位进行归纳。
•将向Kafka ic发布消息的程序成为producers.
•将预订ics并消费消息的程序成为consumer.
•Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
producers通过网络将消息发送到Kafka集群，集群向消费者提供消息，如下图所示

客户端和服务端通过TCP协议通信。Kafka提供了Java客户端，并且对多种语言都提供了支持。

3.1.0 稳定版本下载地址

https://.apache./dyn/closer.cgi?path=/kafka/3.1.0/kafka_2.13-3.1.0.tgz

1、操作命令

cd /usr/local/

tar -zxvf kafka_2.11-2.0.0.tgz  //解压 tar 包

rm -rf LICENSE NOTICE site-docs  //删除 LICENSE、NOTICE 、site-docs

2、启动zookeeper

cd bin/

./zookeeper-server-start.sh ../config/zookeeper.properties&   //启动

jps               //查看启动成功 

3、启动Kafka

./kafka-server-start.sh ../config/server.properties&

   

 4、停止Kafka 、zookeeper

./kafka-server-s.sh   //先停kafka server

./zookeeper-server-s.sh  //再停zookeeper

5、Kafka 使用

1）创建ic   pushu

./kafka-ics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --ic pushu 

2) 查询ic 是否OK

./kafka-ics.sh --list --bootstrap-server localhost:9092

 3）生产者

 ./kafka-console-producer.sh --broker-list  localhost:9092  --ic pushu

4）消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092  --ic pushu

 单机方式已验证OK，可以大胆的通过Python，Java，等Client方式对接使用。

6、集群方式

1）其他机器 安装Kafka

分别往192.168.10.66、192.168.10.88、192.168.10.99这三台虚拟机上安装kafka

2）配置server.properties

cd  /data/softare/kafka_2.13-3.1.0/config

配置 broker.id 每个机器独立的ID 

配置zookeeper集群端口

  3）集群配置完成，非常完美！