当前位置：首页 > news >正文

202534 ｜ KafKa简介+应用场景+集群搭建+快速入门

news 来源：原创 2025/8/3 6:23:10

Apache Kafka 简介

一、什么是 Kafka？

Apache Kafka 是一个高吞吐量、分布式、可扩展的流处理平台，用于构建实时数据管道和流应用程序。它最初由 LinkedIn 开发，并于 2011 年开源，目前由 Apache 软件基金会进行维护。

Kafka 具备以下核心特性：

发布-订阅消息系统：支持生产者向主题（Topic）发送消息，消费者从主题中读取消息。
高吞吐量与低延迟：可处理百万级每秒消息，延迟低于几毫秒。
持久化存储：消息以日志形式存储在磁盘上，可设定保留时间。
可水平扩展：通过分区（Partition）机制轻松扩展读写能力。
高容错性：副本机制保障在节点故障时依旧能够正常运行。

Kafka 不仅是一个消息队列，更是一个用于流数据处理的统一平台。

二、Kafka 的应用场景

Kafka 在大数据和分布式系统领域具有广泛应用，主要包括：

1. 日志收集与传输

Kafka 可统一收集来自不同服务或服务器的日志，作为日志系统的核心组件，将数据传输至后端处理系统（如 Hadoop、Elasticsearch 等）。

2. 实时数据分析

结合 Apache Flink、Spark Streaming 等流处理框架，Kafka 可用于构建实时分析平台，实现实时用户行为分析、实时监控等。

3. 事件驱动架构（EDA）

Kafka 作为微服务架构中的事件总线，使服务之间通过事件解耦，从而提高系统灵活性与可维护性。

4. 数据管道（Data Pipeline）

Kafka 能将数据从数据库、日志系统等源系统传输到数据仓库或数据湖，是构建高效可靠数据管道的核心工具。

5. 替代传统消息队列

在对吞吐量、可扩展性有更高要求的系统中，Kafka 可替代传统消息中间件（如 RabbitMQ、ActiveMQ）作为消息传递通道。

三、Kafka 的诞生背景

Kafka 的诞生源于 LinkedIn 内部对于日志处理和数据传输系统的性能瓶颈：

LinkedIn 的业务快速增长，系统需要处理海量的用户行为数据与日志。
传统的消息队列系统难以满足高吞吐量与高可用性的要求。
工程团队设计了一种新的架构，将“分布式日志”作为核心思想，构建出一个同时支持日志收集、传输与处理的统一平台。

Kafka 在设计上融合了以下理念：

以持久化日志为核心数据结构：每条消息即为一条日志记录，可重复读取。
分布式架构支持高可用性与高扩展性：通过集群部署和分区副本机制实现。
支持批处理和流处理双模式：既可用于数据采集与离线分析，也适合实时流处理。

这一创新架构为 Kafka 后来的广泛应用打下了坚实基础，也推动了现代数据架构的演进。

好的！以下是 Kafka Java 快速入门指南，适合初学者快速了解如何在 Java 程序中使用 Kafka 实现消息的生产与消费。

明白了！以下是使用 Mermaid 格式图形 重新整理的 Kafka 集群搭建指南，清晰展示了 Kafka + ZooKeeper 的集群结构和搭建步骤。

Kafka 集群搭建指南（ZooKeeper 模式）

一、Kafka 集群架构图（Mermaid 格式）

二、准备工作

1. 系统要求

Linux/CentOS/Ubuntu（或容器）
Java 8+（推荐 Java 11）
至少 3 台机器或虚拟节点

2. 下载 Kafka 安装包（每台机器）

wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz
tar -xzf kafka_2.13-3.6.0.tgz
cd kafka_2.13-3.6.0

三、配置 ZooKeeper 集群

1. 修改 `config/zookeeper.properties`

dataDir=/tmp/zookeeper
clientPort=2181
server.1=192.168.1.101:2888:3888
server.2=192.168.1.102:2888:3888
server.3=192.168.1.103:2888:3888

2. 设置每个节点的 myid

echo 1 > /tmp/zookeeper/myid  # 节点1
echo 2 > /tmp/zookeeper/myid  # 节点2
echo 3 > /tmp/zookeeper/myid  # 节点3

3. 启动 ZooKeeper（每台执行）

bin/zookeeper-server-start.sh config/zookeeper.properties

四、配置 Kafka Broker

每台机器修改 config/server.properties，示例：

broker.id=1                           # 每个节点唯一（如 1、2、3）
listeners=PLAINTEXT://192.168.1.101:9092
log.dirs=/tmp/kafka-logs-1
zookeeper.connect=192.168.1.101:2181,192.168.1.102:2181,192.168.1.103:2181

启动 Kafka：

bin/kafka-server-start.sh config/server.properties

五、验证集群

1. 创建主题

bin/kafka-topics.sh --create \
--bootstrap-server 192.168.1.101:9092 \
--replication-factor 3 --partitions 3 \
--topic test-topic

2. 查看主题分布

bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server 192.168.1.101:9092

六、发送与消费消息

生产者：

bin/kafka-console-producer.sh --topic test-topic --bootstrap-server 192.168.1.101:9092

消费者：

bin/kafka-console-consumer.sh --topic test-topic --bootstrap-server 192.168.1.102:9092 --from-beginning

七、常见问题

问题	原因
Kafka 启动失败	broker.id 重复或端口冲突
消息无法消费	ZooKeeper 未正常连接，主题未正确创建
节点日志混乱或冲突	log.dirs 配置重复，broker.id 没有区分
ZooKeeper 单点故障	节点不足，推荐部署奇数个节点（3/5）

Kafka Java 快速入门指南

一、准备工作

1. 添加 Maven 依赖

在你的项目的 pom.xml 中添加以下依赖：

<dependencies><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>3.6.0</version></dependency>
</dependencies>

二、Kafka Producer 示例（生产者）

1. 编写 KafkaProducerDemo.java

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;public class KafkaProducerDemo {public static void main(String[] args) {// 配置Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092"); // Kafka 地址props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");// 创建生产者KafkaProducer<String, String> producer = new KafkaProducer<>(props);// 发送消息for (int i = 0; i < 5; i++) {String message = "Hello Kafka " + i;producer.send(new ProducerRecord<>("test-topic", message));System.out.println("Sent: " + message);}producer.close();}
}

三、Kafka Consumer 示例（消费者）

1. 编写 KafkaConsumerDemo.java

import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;public class KafkaConsumerDemo {public static void main(String[] args) {// 配置Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("group.id", "test-group"); // 消费组props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");props.put("auto.offset.reset", "earliest"); // 从头开始消费// 创建消费者KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);// 订阅主题consumer.subscribe(Collections.singletonList("test-topic"));// 消费消息while (true) {ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));for (ConsumerRecord<String, String> record : records) {System.out.printf("Received message: key=%s, value=%s, offset=%d%n",record.key(), record.value(), record.offset());}}}
}

四、运行顺序建议

启动 Kafka 服务（本地或远程）
先运行消费者 KafkaConsumerDemo（等待监听）
再运行生产者 KafkaProducerDemo（发送消息）

五、调试小技巧

确保 Kafka 服务正常运行，端口默认为 9092。
主题 test-topic 必须提前创建，或在 Kafka 开启 auto.create.topics.enable=true 的情况下自动创建。
消费者默认是“只消费一次”，再次运行需更改 group.id 或开启重复读取逻辑。

202534 ｜ KafKa简介+应用场景+集群搭建+快速入门

Apache Kafka 简介一、什么是 Kafka？ Apache Kafka 是一个高吞吐量、分布式、可扩展的流处理平台，用于构建实时数据管道和流应用程序。它最初由 LinkedIn 开发，并于 2011 年开源，目前由 Apache 软件基金会进行维护。 Kafka 具备…...

编程日记 2025/8/3 6:23:10

[思维模式-25]：《本质思考力》-6- 马克思主义哲学的五对基本哲学范畴，以及在计算机领域的体现

一、马克思主义哲学的五对基本哲学范畴， 马克思主义哲学的五对基本哲学范畴是内容与形式、现象与本质、原因与结果、必然性与偶然性、可能性与现实性，以下为具体分析： 内容与形式：组成元素 VS 组成结构内容指构成事物内在要素的…...

编程日记 2025/7/29 21:50:52

6. 存储池配置与CephFS创建 ceph version 14.2.22

6. 存储池配置与CephFS创建 6.1 CRUSH规则管理6.2 纠删码配置6.3 为SSD和HDD创建专用CRUSH规则6.4 创建CephFS存储池6.5 验证存储池配置记录OSD盘符所有节点都执行 7. 客户端挂载CephFS7.1 Ubuntu客户端配置7.2 使用内核驱动挂载7.3 设置开机自动挂载说明：配置Cep…...

编程日记 2025/8/3 6:23:09

RocketMQ Kafka区别

架构 ZooKeeper：管理 Broker 注册、分区 Leader 选举及消费者组状态。Broker：存储 Partition数据，每个 Partition 为独立日志文件。Producer/Consumer：通过 ZooKeeper获取路由信息，实现消息分发与消费。 NameServer&am…...

编程日记 2025/7/29 21:50:48

linux和linux 、linux和windows实现文件复制笔记

前提：两设备得在同一局域网下,且启用了ssh 一、linux和linux实现文件复制从 Ubuntu B 复制文件夹到 Ubuntu A 在 Ubuntu A 上打开终端，执行： scp -r userBubuntuB_IP:/home/userB/folder_to_copy /home/userA/destination/ 二、linux和…...

编程日记 2025/8/3 6:22:00

Flink 运维监控与指标采集实战

一、引言：实时任务为什么必须监控？在实时任务中，任务失败、数据延迟、资源瓶颈往往并非由明显的代码异常引发，而是隐蔽地潜藏在： Kafka 积压无告警 Flink Checkpoint 卡顿却无人知晓反压、TaskManager 内存 OOM 未实时感知为了保障业务 SLA、高可用与可观测性，构建完…...

编程日记 2025/8/3 1:12:05

linux 开发小技巧之git增加指令别名

众所周知，git的指令执行时都得敲好几个字符才能补充上来，比如常用的git status，是不是要将全部的字符一个个地在键盘敲上来，有没有更懒惰点办法，可以将经常用到的git命令通过其他的别名的方式填充，比如刚刚…...

编程日记 2025/7/30 22:19:42

【八股消消乐】项目中如何优化JVM内存分配？

😊你好，我是小航，一个正在变秃、变强的文艺倾年。 🔔本专栏《八股消消乐》旨在记录个人所背的八股文，包括Java/Go开发、Vue开发、系统架构、大模型开发、机器学习、深度学习、力扣算法等相关知识点，期待与你…...

编程日记 2025/8/2 0:47:16

操作系统实验习题解析上篇

孤村落日残霞，轻烟老树寒鸦，一点飞鸿影下。青山绿水，白草红叶黄花。 ————《天净沙秋》白朴【元】目录实验一： 代码： 解析： 运行结果： 实验二： 代码解析 1. 类设计 …...

编程日记 2025/8/3 0:17:36

Yocto中`${B}`变量的作用

在Yocto项目中，${B}是一个关键路径变量，用于指定构建目录（Build Directory），其作用是存放编译过程中生成的中间文件（如Makefile、目标文件、日志等），从而将构建产物与源码目录分离，保持源码环境的独立性^1。具体解析：定义与默认路径默认情况下，${B}的路径为${TM…...

编程日记 2025/8/3 6:21:59

JDBC执行sql过程

1. 加载数据库驱动 JDBC 通过驱动（Driver） 实现与不同数据库的通信。驱动需提前加载到 JVM： 手动加载（JDBC 4.0 前）： Class.forName("com.mysql.cj.jdbc.Driver"); // MySQL 驱…...

编程日记 2025/8/3 6:19:17

python如何提取Chrome中的保存的网站登录用户名密码？

很多浏览器都贴心地提供了保存用户密码功能，用户一旦开启，就不需要每次都输入用户名、密码，非常方便。作为python脚本，能否拿到用户提前保存在浏览器中的用户名密码，用以自动登录呢？必须有，小爬…...

编程日记 2025/8/3 6:20:15

【数据结构入门训练DAY-30】数的划分

文章目录前言一、题目二、解题思路结语前言本次训练内容训练DFS。训练解题思维。一、题目将整数n分成k份，且每份不能为空，任意两份不能相同(不考虑顺序)。例如：n7，k3，下面三种分法被认为是相同的。 {1&a…...

编程日记 2025/8/3 6:20:14

CD37.【C++ Dev】string类的模拟实现(上)

目录 1.string基本知识的回顾 2.简单的模拟实现准备操作代码实现成员变量构造函数 C风格构造的函数无参构造函数 C风格构造的函数与无参构造函数合二为一析构函数 c_str() size() operator[ ] 可读可写只可读 iterator(指针版) begin()和end() 编辑…...

编程日记 2025/7/31 21:04:21

Java代理

一、代理的基本定义 1.什么是Java代理模式:给目标对象提供一个代理对象，并且由代理对象控制对目标对象的引用。 2.类是构建对象的模板下面是最简单的代理实现（这只是一个演示会报错） package 代理;public class xiaoming {public static…...

编程日记 2025/8/3 6:21:58

源码示例：使用SpringBoot+Vue+ElementUI+UniAPP技术组合开发一套小微企业ERP系统

目录一、系统架构设计 1、技术分层 2、开发环境二、快速开发实践 1、后端搭建（Spring Boot） 2、前端管理端（VueElementUI） 3、移动端开发（UniAPP） 三、关键集成方案 1、统一接口处理 2、跨平台…...

编程日记 2025/7/29 21:50:20

.Net Mqtt协议-MQTTNet（一）简介

一、MQTTNet 简介 MQTTnet 是一个高性能的MQTT类库，支持.NET Core和.NET Framework。二、MQTTNet 原理 MQTTnet 是一个用于.NET的高性能MQTT类库，实现了MQTT协议的各个层级，包括连接、会话、发布/订阅、QoS（服务质量&#xff0…...

编程日记 2025/7/29 21:50:17

路由策略和策略路由的区别以及配置案例

区别路由策略：路由策略是通过ACL等方式控制路由发布，让对方学到适当路由条目，比如有20条路由，只想让某个路由器学到10条，可以通过路由策略进行过滤。策略路由：策略路由是通过定义策略和应用&#xff0c…...

编程日记 2025/7/30 9:21:31

【Debian】关于LubanCat-RK3588s开发板安装Debian的一些事

琐碎的事问题不少，甚至一度让我以为核心坏了按照指引烧录完Debian11-gnome镜像后启动，此时输出的分辨率不一定匹配显示器，进而导致黑屏，此时需要使用MobaXterm的串口终端以运行一些指令，下载链接用xrandr指令查看显示…...

编程日记 2025/7/29 21:50:13

vmware环境ORACLE RAC环境数据库节点1无法启动问题分析处理

近期在一个客户数据库巡检时发现ORACLE RAC环境数据库一节点故障，只有二节点在运行。 RAC环境正常安装完成后，后期典型的节点无法启动问题就是私网异常、共享存储异常等，检查机器日志可以快速定位问题；本次问题就是因为心跳网络问…...

编程日记 2025/8/3 5:33:39

前端性能优化全攻略：从基础体验到首屏加载的深度实践

在移动互联网时代，用户体验已成为产品竞争力的核心要素。本文将从基础交互优化和首屏加载专项两个维度，系统梳理前端性能优化的关键策略。（对应图片1的整体框架设计） 一、基础性能优化四维模型 1. 首次打开加速方案 • 资源压缩…...

编程日记 2025/8/2 13:39:24

选对第三方软件测试公司，项目验收成功率提升90%

在当今数字化浪潮中，软件质量已成为企业竞争力的核心要素。然而，软件开发团队往往因资源有限或视角局限，难以全面发现潜在问题。这时，第三方软件测试公司凭借其独立性和专业性，成为企业确保软件质量的关键伙伴。尤其在…...

编程日记 2025/7/29 21:50:05

golang常用库之-protojson 库（json.Marshal 和 protojson.Marshal 序列化对比）

文章目录 golang常用库之-protojson 库（json.Marshal 和 protojson.Marshal 序列化对比）什么是protojson 库什么情况需要用 protojson？ json.Marshal 和 protojson.Marshal 序列化对比简单示例json.Marshal 的潜在问题 (对于 Protobuf 结构体…...

编程日记 2025/7/29 21:50:03

嵌入式学习笔记 - 运算放大器的共模抑制比

一定义共模抑制比（Common Mode Rejection Ratio, ‌CMRR‌）是衡量差分放大器（或差分电路）抑制共模信号能力的关键指标。它在电子工程中尤为重要，特别是在需要处理微弱信号或对抗环境噪声的场景中。核心概念 ‌共…...

编程日记 2025/8/1 15:14:13

Taccel：一个高性能的GPU加速视触觉机器人模拟平台

触觉感知对于实现人类水平的机器人操作能力至关重要。而视觉触觉传感器（VBTS）作为一种有前景的解决方案，通过相机捕捉弹性凝胶垫的形变模式来感知接触的方式，为视触觉机器人提供了高空间分辨率和成本效益。然而，这些传…...

编程日记 2025/8/1 22:55:29

高效Python开发：uv包管理器全面解析

目录 uv简介亮点与 pip、pip-tools、pipx、poetry、pyenv、virtualenv 对比安装uv快速开始uv安装pythonuv运行脚本运行无依赖的脚本运行有依赖的脚本创建带元数据的 Python 脚本使用 shebang 创建可执行文件使用其他package indexes锁定依赖提高可复现性指定不同的 Python 版本…...

编程日记 2025/7/29 21:49:56

笔记 1 PyTorch构建线性回归模型 1.1 创建数据集 import torch from torch.utils.data import TensorDataset # 创建x和y张量数据集对象 from torch.utils.data import DataLoader # 创建数据集加载器 import torch.nn as nn # 损失函数和回归函数 from torch.optim impo…...

编程日记 2025/7/31 1:32:26

PyTorch API 2 - 混合精度、微分、cpu、cuda、可视化

文章目录自动混合精度包 - torch.amp自动类型转换参数说明梯度缩放自动转换操作符参考操作符适用性CUDA 操作特定行为可自动转换为 float16 的 CUDA 运算可自动转换为 float32 的 CUDA 运算提升至最宽输入类型的 CUDA 操作优先使用 binary_cross_entropy_with_logits 而非 bi…...

编程日记 2025/8/1 11:12:13

window 显示驱动开发-AGP 类型伸缩空间段

AGP 类型的伸缩空间段类似于线性光圈空间段。但是，内核模式显示微型端口驱动程序（KMD）不会通过 AGP 类型的伸缩空间段公开 dxgkDdiBuildPagingBuffer 回调函数的DXGK_OPERATION_MAP_APERTURE_SEGMENT和DXGK_OPERATION_UNMAP_APERTURE_SEGMEN…...

编程日记 2025/8/1 17:44:06

异地多活单元化架构下的微服务体系

治理服务间的跨IDC调用，而数据库层面还是要跨IDC 服务注册中心拆开、金融要求，距离太远，异地备库，如果延迟没读到数据就可能有资损，IDC3平时不能用，IDC1挂了还是有数据同步问题，IDC3日常维护…...

编程日记 2025/8/1 11:11:47

LinkedList源码解析

添加元素方法 add方法详解 /*E:创建LinkedList对象时泛型中设置好的数据类型e: 传递的参数boolean： 添加成功即为true，添加失败即为false */public boolean add(E e) {// 在链表最后一个结点后面插入新结点(根据待插入元素封装的结点) linkLast(e);/…...

编程日记 2025/7/31 10:57:04

Android 13 使能user版本进recovery

在 debug 版本上，可以在关机状态下，同时按电源键和音量加键进 recovery 。 user 版本上不行。参考使用 build 变体 debug 版本和 user 版本的差别之一就是 ro.debuggable 属性不同。顺着这个思路追踪，找到 bootable/recovery/reco…...

编程日记 2025/7/29 21:49:44

Docker 使用总结及完整示例介绍

以下是一份详细的 Docker 使用总结及完整示例介绍，涵盖基础概念、常用命令和实际应用场景： 一、Docker 核心概念镜像 (Image) 只读模板，用于创建容器。例如：ubuntu:22.04, nginx:alpine 容器 (Container) 镜像的运行实例&#x…...

编程日记 2025/8/3 4:56:49

[Linux]多线程（二）原生线程库---pthread库的使用

[Linux]多线程（二）原生线程库—pthread库的使用水墨不写bug 文章目录一、pthread原生线程库的使用1. pthread_create全面的看待线程返回值2. pthread_join3. pthread_exit对比理解线程退出？1、return退出2、调用C库函数exit()退出3、调用pt…...

编程日记 2025/7/29 21:49:39

1.短信登录

1.0 问题记录 1.0.1 redis 重复 token 问题每次用户登录时，后端会创建一个新的 token 并存入 Redis，但之前登录的 token 还没有过期。这可能会导致以下问题： 1. Redis 中存在大量未过期但实际已不使用的 token2. 同一用户可能有多个有效 …...

编程日记 2025/8/1 11:26:36

Vue v-model 深度解析：实现原理与高级用法

一、v-model 的本质 v-model 是 Vue 中最常用的指令之一，它本质上是一个语法糖，用于在表单元素和自定义组件上实现双向数据绑定。在 Vue 2.x 和 Vue 3.x 中，v-model 的实现机制有所不同，但核心思想都是简化数据绑定的过程。 1.1…...

编程日记 2025/8/3 1:50:47

Java动态代理超详细解析：三步+内存图（堆栈分析）

0.本文适合谁？ 1.刚学Java动态代理，被Proxy、InvocationHandler绕晕的同学 2.想彻底搞懂代理对象在内存中如何工作的开发者 3.需要面试突击动态代理知识的求职 1.动态代理的本质（三步走） 动态代理的核心可以拆解为三个关键…...

编程日记 2025/8/2 13:12:54

MySQL 从入门到精通（六）：视图全面详解 —— 虚拟表的灵活运用

在数据库开发中，我们经常需要重复执行复杂的多表查询，或是需要限制用户只能访问特定数据。这时候，MySQL 的视图（View）就能大显身手。作为一种 “虚拟表”，视图不存储实际数据，却能基于 SQL 查询…...

编程日记 2025/8/1 15:29:10

Linux 下 Java 部署环境搭建与项目部署详细步骤

目录 1. 软件环境准备 1.1 更新软件包库 1.2 安装 OpenJDK 1.3 安装 MySQL 数据库 2. 部署 Web 项目到 Linux 2.1 数据准备和配置 2.2 Maven 打包项目 2.3 上传 Jar 包至云服务器 2.4 启动应用程序 2.5 配置防火墙与端口开放 2.6 访问与验证项目 2.7 进程管理与问题…...

编程日记 2025/7/30 9:06:05