kafka+zookeeper在linux上的安装

kafka-broker1

kafka-broker2

...

kafka-brokerN

ip1 主机名1
ip2 主机名2
...
ipN 主机名N

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi

#2. 遍历集群所有机器
for host in 主机名1 主机名2 主机名N
do
  echo ======================== $host ========================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4. 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file dose not exists!
    fi
  done
done

chmod 777 xsync

ssh-keygen -t rsa

三次回车

ssh-copy-id 主机名称1

yes，回车

输入密码，回车

#JAVA_HOME
export JAVA_HOME=/opt/module/解压后的JDK文件夹名称
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile.d/my_env.sh

java -version

xsync /etc/profile.d/my_env.sh

xsync /opt/module/解压后的JDK文件夹名称

mkdir /opt/module/zookeeper文件夹/data

vim myid

mv zoo_sample.cfg zoo.cfg

vim zoo.cfg

#!/bin/bash

case $1 in
"start"){
  for i in 主机名称1 主机名称2 主机名称N
  do
    echo ------------- zookeeper $i 启动 --------------------
    ssh $i "/opt/module/zookeeper文件夹/bin/zkServer.sh start"
  done
};;
"stop"){
  for i in 主机名称1 主机名称2 主机名称N
  do
    echo ------------- zookeeper $i 停止 --------------------
    ssh $i "/opt/module/zookeeper文件夹/bin/zkServer.sh stop"
  done
};;
"status"){
  for i in 主机名称1 主机名称2 主机名称N
  do
    echo ------------- zookeeper $i 状态 --------------------
    ssh $i "/opt/module/zookeeper文件夹/bin/zkServer.sh status"
  done
};;
esac

chmod 777 zk.sh

mkdir data

broker.id：kafka节点id，只要保证唯一即可，一般按顺序填写1,2,3,4...

advertised.listeners：对外暴露的ip和端口，每个节点需要单独配置
格式：PLAINTEXT://当前服务器主机名称:9092

log.dirs：数据文件路径

zookeeper.connect：主机名称1:2181,主机名称2:2181,主机名称N:2181/kafka

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka文件夹名称
export PATH=$PATH:$KAFKA_HOME/bin

#!/bin/bash

case $1 in
"start"){
  for i in 主机名称1 主机名称2 主机名称N
  do
    echo ------------- kafka $i 启动 --------------------
    ssh $i "/opt/module/kafka文件夹/bin/kafka-server-start.sh daemon /opt/module/kafka文件夹/config/server.properties"
  done
};;
"stop"){
  for i in 主机名称1 主机名称2 主机名称N
  do
    echo ------------- kafka $i 停止 --------------------
    ssh $i "/opt/module/kafka文件夹/bin/kafka-server-stop.sh"
  done
};;
esac

chmod 777 kfk.sh

#!/bin/bash

for i in 主机名称1 主机名称2 主机名称N
do
  echo --------------------- $i ------------------------
  ssh $i "$*"
done

chmod 777 xcall

#!/bin/bash

case $1 in
"start"){
  echo ===================== 启动 kafka集群 =======================

  #启动zookeeper集群
  zk.sh start

  #启动kafka集群
  kfk.sh start
};;
"stop"){
  echo ===================== 停止 kafka集群 =======================

  #停止kafka集群
  kfk.sh stop

  #循环直至kafka集群进程全部停止
  kafka_count=$(xcall jps | grep Kafka | wc -l)
  while [ $kafka_count -gt 0 ]
  do
    sleep 1
    kafka_count=$(xcall jps | grep Kafka | wc -l)
    echo "当前未停止的 Kafka 进程数为 $kafka_count"
  done
 
  #停止zookeeper集群
  zk.sh stop
};;
esac

chmod 777 cluster.sh