当前位置： 首页 > news >正文

大数据学习（100）-kafka详解

news 来源：原创 2025/8/22 14:04:28

🍋🍋大数据学习🍋🍋

🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

        Apache Kafka 是一个 分布式流处理平台，主要用于构建 高吞吐量、低延迟、可扩展 的实时数据管道和流式应用程序。它广泛应用于日志聚合、事件溯源、消息队列、实时分析等场景。

Kafka 核心概念

1. Producer（生产者）

向 Kafka 发布（写入） 消息的客户端。

可以指定消息发送到哪个 Topic（主题） 和 Partition（分区）。

2. Consumer（消费者）

从 Kafka 订阅（读取） 消息的客户端。

消费者可以组成 Consumer Group（消费者组），实现负载均衡。

3. Broker（代理服务器）

Kafka 集群中的单个服务器节点。

负责存储消息、处理生产者和消费者的请求。

4. Topic（主题）

消息的分类（类似数据库中的表）。

一个 Topic 可以分成多个 Partition（分区），提高并行处理能力。

5. Partition（分区）

Topic 的物理存储单元，分布在不同的 Broker 上。

每个 Partition 是一个 有序、不可变 的消息队列。

消息在 Partition 内按 Offset（偏移量） 索引。

6. Replication（副本）

每个 Partition 可以有多个副本（Leader + Followers），提高容错能力。

Leader 处理读写请求，Followers 同步数据。

7. Consumer Group（消费者组）

多个消费者可以组成一个组，共同消费一个 Topic。

每个 Partition 只能被组内的 一个消费者 消费，实现负载均衡。

Kafka 核心特性

✅ 高吞吐量

  • 支持每秒百万级消息处理（取决于硬件和配置）。

  • 采用 顺序 I/O 和 零拷贝（Zero-Copy） 技术优化性能。

✅ 持久化存储

  • 消息默认持久化到磁盘（可配置保留时间）。

  • 支持 日志压缩（Log Compaction），只保留最新 Key 的消息。

✅ 水平扩展

  • 可以通过增加 Broker 和 Partition 来扩展集群。

  • 支持动态扩容。

✅ 容错性

  • 通过 副本（Replication） 机制保证数据不丢失。

  • 如果 Leader 宕机，Follower 会自动接管。

✅ 流处理支持

  • 可与 Kafka Streams、Flink、Spark Streaming 等流处理框架集成。

Kafka 使用场景

        消息队列（MQ）：解耦生产者和消费者，异步处理任务。

        日志收集：集中存储和分析应用日志（如 ELK 架构）。

        实时数据处理：结合 Flink/Spark 进行实时计算。

        事件溯源（Event Sourcing）：记录系统状态变化。

        Metrics & Monitoring：传输监控数据（如 Prometheus + Kafka）。

Kafka vs 传统消息队列（RabbitMQ）

特性KafkaRabbitMQ
吞吐量极高（百万级/秒）中等（万级/秒）
延迟低（毫秒级）极低（微秒级）
持久化默认持久化可选
消费模式基于 Pull（消费者主动拉取）基于 Push（Broker 推送）
适用场景大数据流处理、日志任务队列、RPC

相关文章：

大数据学习（100）-kafka详解

🍋🍋大数据学习🍋🍋 🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一…...

编程日记 2025/8/22 14:04:28

unittest测试模块:Python 标准库中的单元测试利器

在当今的软件开发中，测试的必要性不言而喻。为了确保代码的质量和稳定性，开发者需要一种高效的方式去编写和运行单元测试。Python 提供了一个强大的工具——unittest。这是一个标准库模块，专为编写和运行测试而设计，帮助开发者减少…...

编程日记 2025/8/22 13:12:36

java后端对时间进行格式处理

时间格式处理 通过java后端，使用jackson库的注解JsonFormat(pattern "yyyy-MM-dd HH:mm:ss")进行格式化 package com.weiyu.pojo;import com.fasterxml.jackson.annotation.JsonFormat; import lombok.AllArgsConstructor; import lombok.Data; import …...

编程日记 2025/8/23 12:13:21

Spring的简单介绍

Spring的简单介绍 Spring 是一个开源的 Java 企业级应用开发框架，旨在简化企业应用的开发过程。它通过提供全面的基础设施支持，帮助开发人员构建可靠的、高效的、可扩展的企业级应用程序。Spring 提供了多种功能模块，支持开发不同类型的应用…...

编程日记 2025/8/23 12:10:48

Python基础知识点（函数2）

#需求 打印stu_info def show_info(name,age): print(f"姓名：{name},年龄：{age}") #1.必要参数 在调用函数的时候必须传值 show_info("tom",3) #注意！对于形参，除了个数要匹配，顺序也要匹配 …...

编程日记 2025/8/23 12:07:32

MySQL的左连接、右连接、内连接、外连接

一、前言 MySQL中的左连接、右连接、内连接和全外连接是用于多表关联查询的核心操作。 二、内连接（INNER JOIN） 定义：返回两个表中完全匹配的行，即只保留两个表连接字段值相等的行。示例场景：查询所有有选课记录的学…...

编程日记 2025/8/21 14:48:23

Springboot JPA ShardingSphere 根据年分表

Spring Boot集成JPA与ShardingSphere实现按年分表&#xff0c;需重点关注分片算法选择、时间字段映射及动态表管理。以下是实现方案&#xff1a; 一、依赖配置 1‌. 核心依赖引入‌ <!-- ShardingSphere JDBC --> <dependency><groupId>org.apache.shardi…...

编程日记 2025/8/23 12:14:58

巧记英语四级单词 Unit1-3【晓艳老师版】

light 光&#xff0c;轻的、 grant v.准予&#xff0c;承认 gr官人&#xff0c;ant蚂蚁&#xff0c;外面下着大雨&#xff0c;官人让蚂蚁进来了grind v.摩擦&#xff0c;磨碎 官人在里面的 磨刀&#xff0c;准备找法海给白娘子报仇slight v.稍微的&#xff0c;有点的 light 光…...

编程日记 2025/8/23 12:08:36

Flink 任务调度机制

一、Task 任务调度执行流程 一、Graph 的概念 Flink 中的执行图可以分为四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。 StreamGraph：执行用户代码中的 env.execute() 方法后，根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的…...

编程日记 2025/8/23 12:09:38

设计模式之享元模式

1. 概念 享元模式(Flyweight Pattern), 运用共享技术有效地支持大量细粒度对象的复用。系统只使用少量的对象&#xff0c;而这些对象都很相似&#xff0c;状态变化很小&#xff0c;可以实现对象的多次复用。 在享元模式中可以共享的相同内容称为内部状态(Intrinsic State)&…...

编程日记 2025/8/23 7:26:33

设计模式 - 策略模式Strategy

设计思想&#xff1a; 策略模式的就是定义一系列算法&#xff0c;将他们一个个封装起来&#xff0c;并且使它们可以相互替换&#xff0c;通常我们的代码中出现大量的if...else...或者switch语句时&#xff0c;我们都可以使用策略模式来优化代码 典型场景&#xff1a; 支付系…...

编程日记 2025/8/23 12:07:33

23种设计模式-行为型模式-策略

文章目录 简介场景解决代码关键实现细节 总结 简介 策略是一种行为设计模式&#xff0c;它能让你定义一系列算法&#xff0c;并将每种算法分别放入独立的类中&#xff0c;以使算法对象能够被替换。 场景 你在开发一款导航应用&#xff0c;类似高德。你要实现自动路线规划的功…...

编程日记 2025/8/23 12:09:36

Ubuntu16.04配置远程连接

配置静态IP Ubuntu16.04 修改超管账户默认密码 # 修改root账户默认密码 sudo passwd Ubuntu16.04安装SSH # 安装ssh服务&#xff1a; sudo apt-get install ssh# 启动SSH服务&#xff1a; sudo /etc/init.d/ssh start # 开机自启 sudo systemctl enable ssh# 如无法连接&…...

编程日记 2025/8/23 12:13:21

window部署虚拟机VirtualBox来部署flink

window通过Cygwin部署flink-1.15.0失败 按理来说Cygwin可以在window模拟unix环境来部署运行flink&#xff0c; 但是在flink 不知从哪个版本开始&#xff0c;flink启动时会在window时创建临时文件夹&#xff0c;传递的文件夹名称参数中有冒号&#xff0c;导致文件夹创建失败&a…...

编程日记 2025/8/23 12:09:37

mac 卸载流氓软件安全助手

之前个人电脑在公司使用过一段时间&#xff0c;为了使用网线联网安装了公司指定的 联软上网助手&#xff0c;谁知安装容易卸载难&#xff0c;后来找运维来卸载&#xff0c;输入管理员密码后&#xff0c;也无反应&#xff0c;最后不了了之了&#xff0c;这个毒瘤软件长期在后台驻…...

编程日记 2025/8/23 12:08:38

java基础使用- 泛型

泛型 泛型作用泛型语法(1) 泛型类/接口(2) 泛型方法 类型参数命名习惯类型通配符&#xff08;Wildcards&#xff09;(1) 无界通配符 <?>表示“未知类型”(2) 上界通配符 <? extends T>表示“T 或 T 的子类”。(3) 下界通配符 <? super T>表示“T 或 T 的父…...

编程日记 2025/8/17 10:11:08

Appium的学习总结-Inspector参数设置和界面使用（5）

环境搭建好后&#xff0c;怎么使用呢&#xff1f; 环境这里使用的是&#xff1a; Appium的Server端GUI 22版本 Inspector需要单独下载安装&#xff0c;GUI里并没有集成。 &#xff08;使用Appium v1.22.0,查看元素信息需要另外安装下载Appium Inspector&#xff09; 操作&…...

编程日记 2025/8/23 12:15:49

多孔介质电化学：原理、应用与展望

引言 多孔介质广泛存在于自然界与人工材料体系中&#xff0c;从土壤、岩石到电池电极、催化剂载体等。多孔介质电化学作为一门交叉学科&#xff0c;融合了电化学与多孔介质理论&#xff0c;聚焦于电流在充满电解液的多孔介质内的传输规律以及电化学反应在复杂多孔结构中的发生…...

编程日记 2025/8/21 1:20:42

使用Prometheus监控systemd服务并可视化

实训背景 你是一家企业的运维工程师&#xff0c;需将服务器的systemd服务监控集成到Prometheus&#xff0c;并通过Grafana展示实时数据。需求如下&#xff1a; 数据采集&#xff1a;监控所有systemd服务的状态&#xff08;运行/停止&#xff09;、资源占用&#xff08;CPU、内…...

编程日记 2025/8/18 0:38:12

网络游戏服务器如何构建全方位防御体系？DDoS与CC攻击实战防护指南

一、DDoS与CC攻击&#xff1a;游戏服务器的两大“隐形杀手” DDoS攻击&#xff1a;通过僵尸网络发起海量流量冲击&#xff0c;常见形式包括SYN Flood&#xff08;占满连接队列&#xff09;、UDP Flood&#xff08;耗尽带宽&#xff09;、DNS放大攻击&#xff08;小查询引发大流…...

编程日记 2025/8/21 5:19:08

geoserver搭建Docker一键直接安装并上传tif影像预览

geoserver搭建Docker一键直接安装 文章目录 geoserver搭建Docker一键直接安装前言一、Docker拉取Geoserver二、运行后使用geoserver进行数据管理进入geoserver调整语言登录geoserver上传一个tif影像建立工作空间并上传自己的tif数据建立图层预览 总结 前言 使用docker安装geos…...

编程日记 2025/8/23 12:07:29

ragflow本地部署(WSL下Ubuntu)

本地docker及 docker-compose版本 安装参考&#xff1a; 实践笔记-docker安装及配置镜像源实践笔记-docker-compose安装 1.下载源码 git clone https://github.com/infiniflow/ragflow.git2.运行docker-compose拉取镜像 cd ragflow/docker docker-compose up -d3.启动报错…...

编程日记 2025/8/19 5:03:21

面试题ing

1、js中set和map的作用和区别? 在 JavaScript 中&#xff0c;Set 和 Map 是两种非常重要的集合类型 1、Set 是一种集合数据结构&#xff0c;用于存储唯一值。它类似于数组&#xff0c;但成员的值都是唯一的&#xff0c;没有重复的值。Set 中的值只能是唯一的&#xff0c;任何…...

编程日记 2025/8/17 23:11:07

我的NISP二级之路-02

目录 一.数据库 二.TCP/IP协议 分层结构 三.STRIDE模型 四.检查评估与自评估 检查评估 自评估 五.信息安全应急响应过程 六.系统工程 七.SSE-CMM 八.CC标准 九.九项重点工作 记背: 一.数据库 关于数据库恢复技术&#xff0c;下列说法不正确的是&#xff1a…...

编程日记 2025/8/23 12:07:33

私有云平台总体建设方案

一、总体规划 二、项目建设...

编程日记 2025/8/19 1:42:23

前端使用正则表达式提取经纬度 度分秒值

经纬度&#xff1a;1240′0.0″&#xff0c;我想提取度分秒 const regex /(\d\.\d)\s*(\d\.\d)′\s*(\d\.\d)″/; const latMatches record.latDegreeMinuteSecond.match(regex); if (latMatches) {record.latDegree latMatches[1]; // 提取度record.latMinute latMatches[…...

编程日记 2025/8/19 2:27:10

如何在 Windows 11 上查找计算机的 IP 地址？

原文&#xff1a;如何在 Windows 11 上查找计算机的 IP 地址&#xff1f; | w3cschool笔记 在开始之前&#xff0c;我们先来了解一下什么是 IP 地址&#xff1a; 假设你住在一栋公寓楼里&#xff0c;快递员需要把包裹送到你家。为了确保快递能准确送到&#xff0c;你需要提供…...

编程日记 2025/8/19 16:27:36

JavaEE vs JavaSE：Java开发的两大世界深度解析

JavaEE vs JavaSE&#xff1a;Java开发的两大世界深度解析 &#x1f310;☕ 前言&#xff1a;Java世界的双子星座 作为一名Java开发者&#xff0c;你是否曾经困惑过JavaSE和JavaEE的区别&#xff1f;是否在选择学习路径时感到迷茫&#xff1f;别担心&#xff01;今天我们将彻…...

编程日记 2025/8/21 15:44:38

[环境配置] 2. 依赖库安装

依赖库安装 本文档详细介绍深度学习项目所需的核心依赖库安装过程&#xff0c;包括 CUDA、PyTorch 等组件的安装和配置。 CUDA和cuDNN安装 CUDA安装 检查显卡是否支持CUDA&#xff1a; 访问NVIDIA官网查看支持列表使用命令 nvidia-smi 查看显卡信息 下载安装CUDA Toolkit&a…...

编程日记 2025/8/17 22:11:40

No module named ‘keras.api._v2‘

No module named keras.api._v2 解解方法&#xff0c;同&#xff1a; No module named ‘keras.engine‘-CSDN博客...

编程日记 2025/8/17 22:11:36

线性方程组的解法

文章目录 线性方程组的解法认识一些基本的矩阵函数MATLAB 实现机电工程学院教学函数构造1.高斯消元法2.列主元消去法3. L U LU LU分解法 线性方程组的解法 看到以下线性方程组的一般形式&#xff1a;设有以下的 n n n阶线性方程组&#xff1a; A x b \mathbf{Ax}\mathbf{b} A…...

编程日记 2025/8/23 7:16:22

OpenHarmony-5.0.0-Risc-V架构搭建DeepSeek-R1

OpenHarmony-5.0.0-Risc-V架构搭建DeepSeek-R1 参考laval社区的文章&#xff1a;OpenHarmony带你玩转DeepSeekR1大模型 文章目录 OpenHarmony-5.0.0-Risc-V架构搭建DeepSeek-R1前言一、前期准备二、获取源码1.错误示范2.下载 三、编译llama.cpp1.生成makefile2.编译 四、模型文…...

编程日记 2025/8/21 2:41:12

Elixir语言的函数定义

Elixir语言的函数定义 Elixir是一种基于Erlang虚拟机&#xff08;BEAM&#xff09;的函数式编程语言&#xff0c;因其并发特性及可扩展性而受到广泛欢迎。在Elixir中&#xff0c;函数是程序的基本构建块&#xff0c;了解如何定义和使用函数对于掌握这门语言至关重要。本文将深…...

编程日记 2025/8/22 14:14:40

Spring MVC 数据绑定教程

一、数据绑定概述 将HTTP请求中的表单数据自动映射到Controller方法的参数中&#xff0c;支持多种数据类型绑定。 二、自动绑定数据类型 2.1 基本数据类型绑定 支持类型 基本类型&#xff1a;int, double 等包装类&#xff1a;Integer, Double 等String 类型 实现步骤 创…...

编程日记 2025/8/20 4:34:44

可发1区的超级创新思路（python 实现）：基于时空解耦和对比学习的可解释性模型

首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！ 目录 首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！ 一、应用领域 二、模型解析 1.1 创新点深度解读 (1) 双路空间解耦架构（双路编码器…...

编程日记 2025/8/19 20:27:10

一个简单的php加密的理解

前言 原帖子 https://www.52pojie.cn/thread-1991616-1-1.html 一段简单的 php 代码加密&#xff0c;大佬使用了一段 python 代码给解密出来了&#xff0c;但是我没太理解整个逻辑 于是在本地跑了一遍&#xff0c;尝试理解整个解密流程&#xff0c;这里记录下整个学习过程 …...

编程日记 2025/8/21 14:14:08

基于微信小程序的高校寝室快修小程序研究

标题:基于微信小程序的高校寝室快修小程序研究 内容:1.摘要 随着高校规模的不断扩大&#xff0c;学生寝室数量增多&#xff0c;寝室设施维修需求日益增长。传统的维修报修方式效率低下&#xff0c;易出现信息传递不及时等问题。本文旨在研究基于微信小程序的高校寝室快修小程序…...

编程日记 2025/8/18 0:21:37

windows11在连接第二屏幕之后没有声音问题

博主在使用HDMI线连接第二个屏幕之后发现没有声音了。经过翻阅资料总结以下几个步骤。 1、拔开HDMI线&#xff0c;观察是否有声音&#xff0c;如果有声音就是HDMI线插上之后的声音输出设备选择问题。 观察下图&#xff1a; 声音输出设备&#xff1a;1、电脑麦克风&#xff0…...

编程日记 2025/8/19 14:01:22

手撕Tomcat

后端开发进阶&#xff1a;Web APP -> Web 服务器 Jerrymouse Server设计目标如下&#xff1a; 1、支持Servlet 6的大部分功能&#xff1a; 支持Servlet组件&#xff1b; 支持Filter组件&#xff1b; 支持Listener组件&#xff1b; 支持Sesssion&#xff08;仅限Cookie模式&a…...

编程日记 2025/8/21 15:22:16

oracle 快速创建表结构

在 Oracle 中快速创建表结构&#xff08;仅复制表结构&#xff0c;不复制数据&#xff09;可以通过以下方法实现&#xff0c;适用于需要快速复制表定义或生成空表的场景 1. 使用 CREATE TABLE AS SELECT (CTAS) 方法 -- 复制源表的全部列和数据类型&#xff0c;但不复制数据 C…...

编程日记 2025/8/20 7:45:47

InnoDB存储引擎的三大特性

InnoDB存储引擎的三大特性 Buffer Pool 原理&#xff1a;Buffer Poo 是InnoDB存储引擎用于缓存数据页和索引页的内存区域。他提高了数据库的读写性能&#xff0c;因为数据也和索引页在内存中读写比磁盘上快得多。需要访问数据时&#xff0c;InnoDB会在Buffer Pool 中查找&…...

编程日记 2025/8/23 8:37:08

算法初识-时间复杂度空间复杂度

注&#xff1a;观看Adbul Bari算法视频 算法概念 算法&#xff1a;先验分析&#xff0c;不依托于硬件&#xff0c;无语言限制&#xff0c;逻辑。 程序&#xff1a;后验测试&#xff0c;依托硬件&#xff0c;语言限制&#xff0c;实现。 特点&#xff1a; 输入-0或多个输出-至…...

编程日记 2025/8/17 23:16:11

MySQL8.0.40编译安装（Mysql8.0.40 Compilation and Installation）

MySQL8.0.40编译安装 近期MySQL发布了8.0.40版本&#xff0c;与之前的版本相比&#xff0c;部分依赖包发生了变化&#xff0c;因此重新编译一版&#xff0c;也便于大家参考。 1. 下载源码 选择对应的版本、选择源码、操作系统 如果没有登录或者没有MySQL官网账号&#xff0…...

编程日记 2025/8/22 0:01:04

一个简单的跨平台Python GUI自动化 AutoPy

象一下&#xff0c;你坐在电脑前&#xff0c;手指轻轻一点&#xff0c;鼠标自己动了起来&#xff0c;键盘仿佛被无形的手操控&#xff0c;屏幕上的任务自动完成——这一切不需要你费力&#xff0c;只靠几行代码就能实现。这就是AutoPy的魅力&#xff0c;一个简单却强大的跨平台…...

编程日记 2025/8/21 1:37:50

C++中常见函数

目录 stringstream ss(line); 为什么使用 stringstream while(ss>>num){} arr.push_back(num); numeric_limits ::min() pair result throw invalid_argument(""); vector arr;和int arr[];有什么区别&#xff1f; 数据结构的本质 内存管理 功能与易用…...

编程日记 2025/8/17 23:02:51

C++: 类型转换

C: 类型转换 &#xff08;一&#xff09;C语言中的类型转换volatile关键字 修饰const变量 &#xff08;二&#xff09;C四种强制类型转换1. static_cast2. reinterpret_cast3. const_cast4. dynamic_cast总结 (三)RTTI &#xff08;一&#xff09;C语言中的类型转换 在C语言中…...

编程日记 2025/8/17 22:11:38

Linux驱动开发进阶（五）- 系统调用

文章目录 1、前言2、阻塞与非阻塞IO2.1、阻塞方式2.2、非阻塞方式2.3、小结 3、异步IO3.1、poll3.2、select3.3、epoll3.4、poll和epoll示例比较3.5、异步通知 4、unlocked_ioctl5、sysfs_notify 1、前言 学习参考书籍以及本文涉及的示例程序&#xff1a;李山文的《Linux驱动开…...

编程日记 2025/8/22 2:27:58

深度解析：文件或目录损坏且无法读取的应对之道

引言 在数字化办公与数据存储日益普及的今天&#xff0c;我们时常会遭遇各种数据问题&#xff0c;其中“文件或目录损坏且无法读取”这一状况尤为令人头疼。无论是个人用户存储在电脑硬盘、移动硬盘、U盘等设备中的重要文档、照片、视频&#xff0c;还是企业服务器上的关键业务…...

编程日记 2025/8/20 17:39:21

农业股龙头公司有哪些？

农业股票的龙头公司通常是指在农业领域具有较高市场份额、较强品牌影响力和较好财务表现的企业。以下是一些国内外知名的农业龙头公司&#xff1a; 国内农业龙头公司 中国中化 - 作为国内最大的化肥生产企业之一&#xff0c;主要从事化肥、种子、农药等产品的生产和销售。丰乐…...

编程日记 2025/8/19 23:27:35

【正点原子】如何设置 ATK-DLMP135 开发板 eth0 的开机默认 IP 地址

开机就想让 eth0 乖乖用静态 IP&#xff1f;别再被 DHCP 抢走地址了&#xff01; 三步教你彻底掌控 ATK-DLMP135 的网络启动配置&#xff0c;简单粗暴&#xff0c;实测有效&#xff01; 正点原子STM32MP135开发板Linux核心板嵌入式ARM双千兆以太网CAN 1. 删除 dhcpcd 自动获取…...

编程日记 2025/8/20 4:39:40