【Kafka】docker 中配置带 Kerberos 认证的 Kafka 环境（全过程）

1. 准备 docker

• 下载镜像 docker pull centos/systemd，该镜像是基于 centos7 增加了 systemd 的功能，可以更方便启动后台服务

• 启动镜像

  • 使用 systemd 功能需要权限，如果是模拟 gitlab services 就不要使用 systemd 的方式启动

  • 如果不使用 systemd 功能 docker run -itd --name kafka_kerberos -p 9092:9092 centos/systemd

  • 如果使用 systemd 功能 docker run -itd --name kafka_kerberos -p 9092:9092 --privileged=true centos/systemd /usr/sbin/init

• 根据需求清空 /etc/resolv.conf，内网环境中自动添加的 8.8.8.8 会影响网络

• 启动 sshd /usr/sbin/sshd -D &

2. 配置 kerberos

服务端

• 安装服务端 yum install krb5-server

• 配置 /etc/hosts

  • 根据需要配置，配置下面 /etc/krb5.conf 文件中 TEST.COM 里的域名对应的 IP

• 配置 /etc/krb5.conf

  • 对下面的行进行修改，其它行不变

    default_realm = TEST.COM
    default_ccache_name = /tmp/krb5cc_%{uid}
    dns_lookup_realm = false
    dns_lookup_kdc = false
    rdns = false
    # 这行注释掉
    # renew_lifetime=...
    
    [realms]
    TEST.COM = {
        kdc = kafka_kerberos
        admin_server = kafka_kerberos
    }
    
    [domain_realm]
    .test.com = TEST.COM
    test.com = TEST.COM
    

• 配置 /var/kerberos/krb5kdc/kdc.conf，将 EXAMPLE.COM 修改为 TEST.COM

• 配置 /var/kerberos/krb5kdc/kadm5.acl，配置对 Kerberos 数据库的访问权限的，我只将 EXAMPLE.COM 改为了 TEST.COM，有权限需要可以找资料学习配置

• 初始化 Kerberos 数据库

  • kdb5_util create -s -r TEST.COM

  • 键入密码，个人输入 kerberos，记录在此，以免忘记

• 启动 kerberos 服务

  • 不使用 systemd 启动 (不带 systemd 的 docker 镜像需要用这种方式启动)

    /usr/sbin/krb5kdc -P /var/run/krb5kdc.pid -r TEST.COM
    /usr/sbin/kadmind -P /var/run/kadmind.pid -r TEST.COM
    

  • 使用 systemd 启动

    systemctl start krb5kdc
    systemctl start kadmin
    

• kerberos 服务端使用 kadmin.local 进行管理，创建 root 的 principal (默认是 {当前用户}/[email protected])

  • kadmin.local -q "add_principal root/[email protected]"
  • 输入密码，个人输入密码 root，记录在此，以免忘记

客户端

• 安装客户端 yum install krb5-workstation

• 配置 /etc/krb5，将服务端的文件拷贝覆盖

• 在客户端使用 kadmin 管理

• 认证用户

  kinit root/[email protected]

• 查看当前认证的用户

  klist

• 清空当前认证缓存

  kdestroy

3. 配置 kafka 环境

在 kafka 官网下载一个可用版本

在服务端生成认证所需的密钥

# 创建 principal
kadmin.local -q "add_principal -randkey zookeeper/[email protected]"
kadmin.local -q "add_principal -randkey kafka/[email protected]"
kadmin.local -q "add_principal -randkey [email protected]"

# 生成密钥前必须要建立密钥放置的目录
mkdir /root/keytabs

# 生成密钥文件
kadmin.local -q "xst -k /root/keytabs/zookeeper-server.keytab zookeeper/[email protected]"
kadmin.local -q "xst -k /root/keytabs/kafka-server.keytab kafka/[email protected]"
kadmin.local -q "xst -k /root/keytabs/kafka-client.keytab [email protected]"

# 测试是否能够认证成功
kinit -kt /root/keytabs/zookeeper-server.keytab zookeeper/[email protected]
klist

配置 java 环境

# 安装JDK安装包（先查，再下载development环境的）
yum install openjdk-devel

# 配置JAVA的真实位置
which java # 找到java位置
ls -lr /usr/bin/java # 找到java链接的文件(上面执行的结果)
ls -lrt /etc/alternatives/java # 找到链接文件的真实地址(上面执行的结果)

# 配置JAVA_HOME (上面执行的结果，截取到系统版本号)
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

开始配置 kafka 环境

• 配置 zookeeper 相关文件

  • 创建 config/kerberos/zookeeper-server-jaas.conf 文件，注意下面内容有两个分号

    Server {
        com.sun.security.auth.module.Krb5LoginModule required
        useKeyTab=true
        storeKey=true
        useTicketCache=false
        keyTab="/root/keytabs/zookeeper-server.keytab"
        principal="zookeeper/[email protected]";
    };
    

  • 拷贝 config/zookeeper.properties 到 config/zookeeper-kerberos.properties，在末尾添加以下内容

    # 根据需要配置 dataDir
    dataDir=/root/kafka_data/zookeeper
    
    authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
    jaasLoginRenew=3600000
    sessionRequireClientSASLAuth=true
    

  • 创建启动脚本 zookeeper_start.sh

    export KAFKA_OPTS='-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/root/kafka_2.13-2.7.1/config/kerberos/zookeeper-server-jaas.conf'
    ./bin/zookeeper-server-start.sh -daemon config/zookeeper-kerberos.properties
    

  • 创建停止脚本 zookeeper_stop.sh

    ./bin/zookeeper-server-stop.sh config/zookeeper.properties
    

• 配置 kafka 相关文件

  • 创建 config/kerberos/kafka-server.jaas.conf 文件，注意下面内容有两个分号

    KafkaServer {
        com.sun.security.auth.module.Krb5LoginModule required
        useKeyTab=true
        storeKey=true
        useTicketCache=false
        keyTab="/root/keytabs/kafka-server.keytab"
        principal="kafka/[email protected]";
    };
    
    Client {
        com.sun.security.auth.module.Krb5LoginModule required
        useKeyTab=true
        storeKey=true
        useTicketCache=false
        keyTab="/root/keytabs/kafka-server.keytab"
        principal="kafka/[email protected]";
    };
    

  • 拷贝 config/server.properties 到 config/server-kerberos.properties，在末尾添加以下内容

    # 根据需要配置 log.dirs
    log.dirs=/root/kafka_data/kafka-logs
    
    # 这里要将 localhost 改为 principal 中的值，与 zookeeper/kafka_kerberos 对应
    zookeeper.connect=kafka_kerberos:2181
    listeners=SASL_PLAINTEXT://0.0.0.0:9092
    advertised.listeners=SASL_PLAINTEXT://kafka_kerberos:9092
    security.inter.broker.protocol=SASL_PLAINTEXT
    sasl.mechanism.inter.broker.protocol=GSSAPI
    sasl.enabled.mechanisms=GSSAPI
    
    # 需要和 principal 相同
    sasl.kerberos.service.name=kafka
    

  • 创建启动脚本 kafka_start.sh

    export KAFKA_OPTS='-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/root/kafka_2.13-2.7.1/config/kerberos/kafka-server-jaas.conf'
    ./bin/kafka-server-start.sh -daemon config/server-kerberos.properties
    

  • 创建停止脚本 kafka_stop.sh

    ./bin/kafka-server-stop.sh config/server-kerberos.properties
    

  • 创建 topic_list.sh 脚本

    export KAFKA_OPTS='-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/root/kafka_2.13-2.7.1/config/kerberos/kafka-server-jaas.conf'
    ./bin/kafka-topics.sh --zookeeper kafka_kerberos:2181 --list
    

  • 创建 create_topic.sh 脚本

    export KAFKA_OPTS='-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/root/kafka_2.13-2.7.1/config/kerberos/kafka-server-jaas.conf'
    ./bin/kafka-topics.sh --create --zookeeper kafka_kerberos:2181 --replication-factor 1 --partitions 1 --topic $1
    

  • 创建 delete_topic.sh 脚本

    export KAFKA_OPTS='-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/root/kafka_2.13-2.7.1/config/kerberos/kafka-server-jaas.conf'
    ./bin/kafka-topics.sh --delete --zookeeper kafka_kerberos:2181 --topic $1
    

• 配置 kafka 客户端相关文件

  • 创建 config/kerberos/kafka-client-jaas.conf 文件，注意下面内容有两个分号

    KafkaClient {
        com.sun.security.auth.module.Krb5LoginModule required
        useKeyTab=true
        storeKey=true
        useTicketCache=false
        keyTab="/root/keytabs/kafka-client.keytab"
        principal="[email protected]";
    };
    

  • 创建 config/client-kerberos.properties 文件

    security.protocol=SASL_PLAINTEXT
    sasl.mechanism=GSSAPI
    sasl.kerberos.service.name=kafka
    

  • 创建 producer.sh 脚本

    export KAFKA_OPTS='-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/root/kafka_2.13-2.7.1/config/kerberos/kafka-client-jaas.conf'
    ./bin/kafka-console-producer.sh --broker-list kafka_kerberos:9092 --topic $1 --producer.config config/client-kerberos.properties
    

  • 创建 consumer.sh 脚本

    export KAFKA_OPTS='-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/root/kafka_2.13-2.7.1/config/kerberos/kafka-client-jaas.conf'
    ./bin/kafka-console-consumer.sh --bootstrap-server kafka_kerberos:9092 --topic $1 --from-beginning --consumer.config config/client-kerberos.properties
    

过程中报错处理

• 报错 Server not found in Kerberos database

  • 查看 /var/log/krb5kdc.log 中报错，找不到 zookeeper/[email protected]

  • 原因：配置 server-kerberos.properties 文件时，需要更改连接 zookeeper 的 host