Apache zookeeper kafka 开启SASL安全认证_kafka开启认证
#### 2. 查看创建的用户信息
kafka-configs 脚本是用来设置主题级别参数的。其实，它的功能还有很多。比如在这个例子中，我们使用它来创建 SASL/SCRAM 认证中的用户信息。可以使用下列命令来查看刚才创建的用户数据。
./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users
#（可以单独指定某个用户 --entity-name producer，如下）
./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name producer
ZK客户端命令行查看：
./zkCli.sh -server localhost:2181
ls /config/users
#### 3. **配置kafka jaas文件**
配置了用户之后，我们需要为 Broker 创建一个对应的 JAAS 文件。在实际场景中，需要为每台单独的物理 Broker 机器都创建一份 JAAS 文件。
Kafka 的 jaas认证配置文件，配置的是登录类，超管密码和管理的帐号密码列表
vim kafka\_server\_jaas.conf
KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username =“admin”
password=“admin123”
user_admin=“admin123”
user_producer=“producer123”
user_consumer=“consumer123”;
};
KafkaClient {
org.apache.kafka.common.security.scram.ScramLoginModule required
username=“admin”
password=“admin123”
user_producer=“producer123”
user_consumer=“consumer123”;
};
Client {
org.apache.kafka.common.security.scram.ScramLoginModule required
username=“kafka”
password=“kafka123”;
};
KafkaServer中usename配置的是kafka服务端使用的账号和密码，后面的user\_xxx事预设的普通帐号认证信息。
中间部分配置的是PLAIN认证方式的账户和密码，其中producer1是账户名，producer123是密码。
Client配置了broker到Zookeeper的连接用户名密码，这里要和前面zookeeper配置中的zk\_jaas.conf.conf 中 user\_kafka 的账号和密码相同。
关于这个文件内容，需要注意以下两点：
1）不要忘记最后一行和倒数第二行结尾处的分号；
2）JAAS 文件中不需要任何空格键。
#### 4. **kafka 配置文件启用SASL认证**
Kafka 服务配置文件 server.propertis，配置认证协议及认证实现类
cat server.properties其它内容都注释掉，然后追加如下内容：
broker.id=0
listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
sasl.enabled.mechanisms=SCRAM-SHA-256,PLAIN
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
security.inter.broker.protocol=SASL_PLAINTEXT
allow.everyone.if.no.acl.found=false
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
super.users=User:admin
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
delete.topic.enable=true
auto.create.topics.enable=false
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=60000
group.initial.rebalance.delay.ms=0
Host.name=43.138.0.199
#### 5. **kafka 启动脚本添加认证文件路径的环境变量**
Kafka 安全认证可以直接通过环境变量 -Djava.security.auth.login.config 设置，修改 Kafka 启动脚本 kafka-start-server.sh 文件最后一行，增加一个参数指向 jaas 配置文件的绝对路径
vi kafka-server-start.sh
exec $base_dir/kafka-run-class.sh EXTRAARGS−Djava.security.auth.login.config=/home/lighthouse/kafka2.12−2.2.1/config/kafkaserverjaas.confkafka.Kafka"EXTRA_ARGS -Djava.security.auth.login.config=/home/lighthouse/kafka_2.12-2.2.1/config/kafka_server_jaas.conf kafka.Kafka "EXTRAARGS−Djava.security.auth.login.config=/home/lighthouse/kafka2.12−2.2.1/config/kafkaserverjaas.confkafka.Kafka"@"
#### 6. **kafka客户端配置**
1) 配置consumer.properties和producer.properties,都要加入以下配置
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-512
2) 生产者配置
使用kafka-console-producer.sh脚本测试生产者，由于开启安全认证和授权，此时使用console-producer脚本来尝试发送消息，那么消息会发送失败，原因是没有指定合法的认证用户，因此客户端需要做相应的配置，需要创建一个名为producer.conf的配置文件给producer程序使用。
config目录下创建一个producer.conf的文件，cat producer.conf文件内容如下：
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
mLoginModule required username=“producer” password=“producer123”;
注意：Topic设置写权限
3) 消费者配置
使用kafka-console-consumer.sh脚本测试生产者，由于开启安全认证和授权，因此客户端需要做相应的配置。需要为 consumer 用户创建consumer.conf给消费者程序，同时设置对topic的读权限。
config目录下创建一个consumer.conf的文件，cat consumer.conf文件内容如下：
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
mLoginModule required username=“consumer” password=“consumer123”;
注意：Topic设置读权限。
4) 在生产者和消费者启动脚本中引入JAAS文件
vim bin/kafka-console-producer.sh
if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
export KAFKA_HEAP_OPTS=“-Xmx512M”
fi
添加这行
export KAFKA_OPTS=“-Djava.security.auth.login.config=…/config/kafka_server_jaas.conf”
exec $(dirname 0)/kafka−run−class.shkafka.tools.ConsoleProducer"0)/kafka-run-class.sh kafka.tools.ConsoleProducer "0)/kafka−run−class.shkafka.tools.ConsoleProducer"@"
vim bin/kafka-console-consumer.sh
if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
export KAFKA_HEAP_OPTS=“-Xmx512M”
fi
添加这行
export KAFKA_OPTS=“-Djava.security.auth.login.config=…/config/kafka_server_jaas.conf”
exec $(dirname 0)/kafka−run−class.shkafka.tools.ConsoleConsumer"0)/kafka-run-class.sh kafka.tools.ConsoleConsumer "0)/kafka−run−class.shkafka.tools.ConsoleConsumer"@"
### 启动kafka
nohup kafka-server-start.sh /path-to-kafka/config/server.properties &
我自己写了一个脚本，同时启动zookeeper和kafka
文件名称叫startup.sh内容如下：
cd /home/lighthouse/zk-3.4.14/zookeeper-3.4.14/bin
./zkServer.sh start
cd /home/lighthouse/kafka_2.12-2.2.1/
nohup bin/kafka-server-start.sh config/server.properties > output.txt &
zookeeper没有启动成功，我找下原因。把整个过程重新整理了一遍，发现zookeeper、kafka启动成功了。
### 检查验证
./zkCli.sh -server localhost:2181
ls /brokers/ids
#### 1. 生产者测试
1） 创建一个测试主题test\_topic
./kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --partitions 1 --topic test_topic
2）查看创建的Topic
./kafka-topics.sh --list --zookeeper localhost:2181 test_topic
./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test_topic
注：kafka开启认证后，当生产者往Topic写数据需要为主题配置权限（write），即对生产者赋予写的权限。
**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**
**深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**
**因此收集整理了一份《2024年网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点，真正体系化！**
**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注网络安全获取）**
### 给大家的福利
**零基础入门**
对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。
同时每个成长路线对应的板块都有配套的视频提供：
因篇幅有限，仅展示部分资料
网络安全面试题
绿盟护网行动
还有大家最喜欢的黑客技术
**网络安全源码合集+工具包**
**所有资料共282G**，朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》，可以扫描下方二维码领取（如遇扫码问题，可以在评论区留言领取哦）~
**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
dnimg.cn/img_convert/5072ce807750c7ec721c2501c29cb7d5.png)
**所有资料共282G**，朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》，可以扫描下方二维码领取（如遇扫码问题，可以在评论区留言领取哦）~
**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
[外链图片转存中...(img-5sMg9dsC-1712941102621)]
北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台
更多推荐
24
0- 0
已为社区贡献1条内容
所有评论(0)