小五的个人杂货铺

发表于2024-02-20|更新于2024-02-20|spring|kafka•springboot•spring

配置文件12345678910spring.kafka.wh.bootstrap-servers=192.168.1.130:9092,192.168.1.130:9093spring.kafka.wh.consumer.group-id=kafka_demospring.kafka.wh.consumer.enable-auto-commit=falsespring.kafka.es.consumer.auto-offset-reset=latestspring.kafka.es.bootstrap-servers=192.168.1.130:9094spring.kafka.es.consumer.group-id=kafka_demospring.kafka.es.consumer.enable-auto-commit=falsespring.kafka.es.consumer.auto-offset-reset=latestlog-topic-name=test KafkaWhConfig12345678910111213141516171819202122232425...

Kafka-Eagle监控&Kraft模式

发表于2023-03-24|更新于2023-06-15|kafka|kafka•mq

Kafka-Eagle监控Kafka-Eagle框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。在此之前监控工具需要MySQL作为持久化手段。一、Kafka环境准备1、关闭 Kafka 集群12# 停止集群kf.sh stop 2、修改/opt/module/kafka/bin/kafka-server-start.sh1vim bin/kafka-server-start.sh 修改如下参数值： 123if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi 为 12345if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX...

Kafka集群搭建(含ZK模式和Kraft模式)

发表于2023-03-24|更新于2023-06-15|kafka|kafka•mq

前言环境介绍虚拟机软件：VirtualBox Linux 发行版本：Ubuntu 20.04.4 虚拟机核心数：1 core 虚拟机内存：2 GB JDK 版本：1.8.0_202 ZK 版本：3.8.0 Kafka 版本：3.2.0 Kafka - ZK 模式Kafka 2.8.0 之前，所有元数据信息都存储在 ZK。 ZK 成为 Kafka 瓶颈。从 2.8.0 开始，可以将元数据信息存储在 Kafka，脱离 ZK。集群规划 node01 node02 node03 zk zk zk kafka kafka kafka ZK 集群部署可以参考《Hadoop HA 搭建》中的 ZK 集群搭建 Kafka 集群部署Kafka 环境变量1234567$ vim /etc/profile# 尾部添加以下内容export KAFKA_HOME=/opt/kafka-3.2.0export PATH=$PATH:$KAFKA_HOME/bin$ xsync $KAFKA_HOME$ xsync /etc/profile 配置 server.properties1...

kafka生产调优

发表于2023-03-24|更新于2023-06-15|kafka|kafka•mq

一、Kafka 硬件配置选择1、场景说明 2、服务器台数选择 3、磁盘选择 4、内存选择Kafka 内存组成：堆内存 + 页缓存 1）Kafka 堆内存建议每个节点：10g ~ 15g 在 kafka-server-start.sh 中修改 123if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx10G -Xms10G"fi 查看 Kafka 进程号: 1234[atguigu@hadoop102 kafka]$ jps2321 Kafka5255 Jps1931 QuorumPeerMain 根据 Kafka 进程号，查看 Kafka 的 GC 情况: 1jstat -gc 2321 1s 10 新生代GC次数根据 Kafka 进程号，查看 Kafka 的堆内存： 12345678910111213141516171819202122232425262728293031323334353637383940414243...