Kafka 的发展历程
Kafka 作为一个高性能的分布式消息流平台,从诞生到现在已经有了长足的发展,经历了多个版本的迭代。下面是 Kafka 的 发展历史、版本迭代 以及 新特性 的概述。
1. Kafka 的诞生与早期发展
- 2010年:Kafka 由 LinkedIn 的工程师 Jay Kreps、Neha Narkhede 和 Jun Rao 开发,最初的目标是为 LinkedIn 提供一个高吞吐量、可扩展的消息队列,支持处理大量的日志数据。Kafka 最初设计的目的是提供一个 分布式日志系统,能够高效地处理大规模的数据流。
- 2011年:Kafka 成为 LinkedIn 内部的数据流系统的核心,支持实时数据流的处理和消费。LinkedIn 开始使用 Kafka 作为其日志和事件数据的 消息传递层。
- 2011年10月:Kafka 项目正式开源,发布了第一个版本。通过开源,Kafka 得到了更广泛的关注和使用,并逐渐发展成流行的消息中间件系统。
2. Kafka 1.x 版本(2013-2017)
- 2013年10月:Kafka 0.8.0 发布。这个版本是 Kafka 项目的重要里程碑,加入了 消费者组(Consumer Group)的支持,消费者可以协调工作,实现负载均衡和容错。
- Kafka 0.8.1:引入了 Kafka 的多个副本机制,即每个分区数据都有多个副本,用于实现高可用性。
- Kafka 0.9.0:此版本引入了 安全性增强,支持 SSL 加密 和 SASL 认证,标志着 Kafka 在企业级应用中的成熟。
- Kafka 0.10.0:这一版本引入了 消息压缩、Kafka Streams API 和 消费者的高效消费方式,标志着 Kafka 开始作为流处理平台出现。
- Kafka 0.10.2:引入了 消息幂等性,确保生产者发送的消息不会因为网络问题等导致重复发送,提高了消息可靠性。
3. Kafka 2.x 版本(2018-2021)
Kafka 在 2.x 版本中加入了许多重要的新特性,使其成为大数据流处理和实时数据平台的核心组件。
- Kafka 2.0.0(2018年7月发布):
- KIP-500(Kafka Improvement Proposal 500)引入了 Kafka 的 无 Zookeeper 架构,但这项特性在后续版本逐步实施。
- 引入了 Kafka Streams API 的增强,进一步优化了流处理的功能。
- 支持了更高效的 生产者和消费者协议,提高了性能。
- Kafka 2.1.0(2018年11月发布):
- 该版本引入了 更高效的 Kafka Streams API 和 新的事务性生产者,可以支持 Exactly Once 消息语义(精确一次语义),这使得 Kafka 能够保证 生产者、消费者 和 Kafka Streams 在发生失败时不会导致数据丢失或重复处理。
- Kafka 2.2.0(2019年4月发布):
- 引入了 Kafka Connect 的增强,提供更强大的 数据源 和 数据接收器 扩展能力。
- 增强了 Kafka Streams 的窗口化和性能。
- Kafka 2.3.0(2019年6月发布):
- 引入了 Kafka Streams 的动态线程管理,可以根据流量的变化调整流处理的并发度。
- 支持 Kafka Connect 配置的增量更新,简化了连接器的管理。
- Kafka 2.4.0(2019年11月发布):
- 引入了 Kafka Streams 处理状态管理 的改进和 Kafka Connect 的增量数据处理。
- 完善了 跨数据中心的复制 和 提升了性能。
- Kafka 2.5.0(2020年4月发布):
- 引入了 无 Zookeeper 的元数据管理,即 Kafka 开始在没有 Zookeeper 的情况下存储集群元数据(这项特性在后续版本中进一步完善)。
- 优化了 Kafka 消费者的 分配算法 和 自动均衡。
- Kafka 2.6.0(2020年8月发布):
- 引入了 Kafka Streams 的容错性增强,并增加了对 架构变更 和 数据恢复 的支持。
- 完成了 Kafka 不依赖 Zookeeper 的过渡,逐步实现了 KRaft 模式(Kafka Raft),即在 Kafka 自身管理元数据的模式下运行。
4. Kafka 2.8.0 及之后版本(2021-至今)
- Kafka 2.8.0(2021年4月发布):
- Kafka 正式进入 KRaft 模式,逐步摆脱 Zookeeper,实现 Kafka 自管理的元数据存储。
- 进一步提高了 事务性支持,对 Exactly Once 语义做了更多优化。
- 加强了 跨数据中心复制 和 消息压缩的性能。
- Kafka 2.8.1(2021年6月发布):
- 解决了 Kafka 集群中的一些 性能问题 和 bug 修复。
- 完善了 无 Zookeeper 模式 下的稳定性和性能。
- Kafka 3.0.0(2021年9月发布):
- 完全去除 Zookeeper,标志着 Kafka 完全过渡到 KRaft 模式,Kafka 集群的元数据管理不再依赖 Zookeeper。
- 引入了更高效的 日志压缩机制,减少了存储开销。
- 加强了 数据存储 的优化,提升了 消息存储的写入和读取性能。
5. Kafka 的新特性和演变
- 无 Zookeeper 模式(KRaft):
- 早期 Kafka 依赖 Zookeeper 来管理集群的元数据,但随着时间的推移,Kafka 逐步去除了 Zookeeper,采用了 KRaft 模式(Kafka Raft)。这一模式下,Kafka 自身管理集群的元数据,提高了集群的稳定性和简化了操作。
- Exactly Once 语义:
- Kafka 逐步增强了对 Exactly Once 语义的支持,确保消息在生产、消费和流处理过程中不会丢失,也不会重复处理。特别是 2.x 版本引入的 事务性支持,大大增强了 Kafka 作为分布式消息系统的可靠性。
- Kafka Streams 和 ksqlDB:
- Kafka Streams API 提供了一个用于实时流处理的强大框架,能够基于 Kafka 中的数据流执行复杂的实时数据分析。
- ksqlDB 是一个流式 SQL 引擎,提供了更简便的流处理方式,用户可以使用 SQL 来编写 Kafka 数据流处理的查询。
- Kafka Connect:
- Kafka Connect 提供了一个用于连接各种数据源和数据目标的框架,简化了将外部系统与 Kafka 集成的复杂度。它支持高效的增量数据同步,并能与许多外部数据存储(如数据库、HDFS、Elasticsearch)无缝集成。
总结
Kafka 的发展历程见证了它从一个专注于大规模日志传输的消息系统,逐步演变为一个广泛用于 大数据流处理、实时数据流分析 和 分布式事件驱动系统 的核心组件。其版本迭代中,越来越多的功能和优化被加入,例如:
- 高吞吐量、低延迟;
- 事务性支持和 Exactly Once 语义;
- Kafka Streams 和 ksqlDB 流处理能力;
- 去 Zookeeper 模式的 KRaft 引擎 等。
随着大数据、实时分析和分布式系统的不断发展,Kafka 将继续发挥在数据流处理领域中的关键作用。
相关文章:
Kafka 的发展历程
Kafka 作为一个高性能的分布式消息流平台,从诞生到现在已经有了长足的发展,经历了多个版本的迭代。下面是 Kafka 的 发展历史、版本迭代 以及 新特性 的概述。 1. Kafka 的诞生与早期发展 2010年:Kafka 由 LinkedIn 的工程师 Jay Kreps、Ne…...
PowerBI 之DAX 3:文本、信息、财务、时间智能函数
文章目录 一、文本函数1.1 FORMAT函数1.1.1 数字格式1.1.2 日期/时间格式1.1.3 自定义格式 1.2 CONCATENATE与CONCATENATEX1.2.1 返回多个类别名称1.2.2 返回多个类别的名称和数据,并排序 1.3 使用SEARCH进行模糊查找 二、信息函数2.1 ISINSCOPE 三、财务函数3.1 PV…...
GESP C++三级 知识点讲解
C编程三级标准 (一)知识点详述 (1)了解二进制数据编码:原码、反码、补码。 (2)掌握数据的进制转换:二进制、八进制、十进制、十六进制。 (3)掌握位运算:与(&)、或(|)、非(~)、异或(^)、左移(<<)、右移(>>)的基本使用方法及原理。 (4)了解算法的概念与描述&…...
如何访问和使用Sora:OpenAI视频生成模型的完整指南
OpenAI的Sora作为革命性的视频生成模型,能够根据文本提示创建长达60秒的高质量视频内容。本教程将详细介绍目前Sora的使用方法和访问途径。 一、Sora当前访问状态(2024年3月更新) 目前Sora仍处于有限访问阶段,OpenAI采取了分阶段…...
MyBatis 分页插件使用教程
MyBatis 分页插件使用教程 MyBatis 是一款优秀的持久层框架,但原生的 MyBatis 并不支持分页查询。为了简化分页操作,MyBatis 官方和第三方提供了多种分页插件,最常用的就是 MyBatis-Plus 的分页插件。本文详细介绍 MyBatis-Plus 分页插件的使…...
OpenDriveVLA:通过大型视觉-语言-动作模型实现端到端自动驾驶
25年3月来自慕尼黑工大和慕尼黑大学的论文“OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model”。 OpenDriveVLA,一种专为端到端自动驾驶而设计的视觉-语言-动作 (VLA) 模型。OpenDriveVLA 以开源预训练大型视觉-语言…...
深入探究C++ 运算符重载:以日期类为例
目录 前言 一、运算符重载基础 1.1 运算符重载原理 1.2 示例代码 二、赋值运算符重载 2.1 赋值运算符重载格式 2.2 代码实现 2.3 注意事项 三、前置和后置重载 3.1 前置重载 3.2 后置重载 四、日期类的完整实现 4.1 获取某月天数 4.2 完整类定义 五、总结 前言 …...
2024第十五届蓝桥杯大赛软件赛省赛Java大学B组 报数游戏 类斐波那契循环数 分布式队列 食堂 最优分组 星际旅行 LITS游戏 拼十字
目录 A 报数游戏 B 类斐波那契循环数 C 分布式队列 D 食堂 E 最优分组 F 星际旅行 G LITS 游戏 H 拼十字 今天心血来潮把去年的题目又做了一遍... 本人去年大一 拿的是全省第五进的国赛 而如今的已经是一名 codeforces 1500 分的入门级别的算竞选手了 下周又是蓝桥杯…...
4月6日随笔
一觉起来十点多 其实六点和九点分别醒过一次。 起来之后点了个侍卫草推荐的猪排饭,真的巨好吃,猪排很脆,溏心蛋也很香 但是因为酒店十二点半要退房,就匆匆吃完了猪排和一半米饭就走了 今天下午在科技楼写了一会作业,…...
[GN] sigrokdecode 模块学习指南 --- 准备阶段
系列文章目录 文章目录 系列文章目录前言指南libsigrokdecode 学习一、构建环境安装libsigrokdecode安装 sigrok-cli(命令行工具)安装 PulseView(图形界面)关联 libsigrokdecode完整验证参数解释 二、BUG解决1. 确保编译时启用了 …...
【力扣hot100题】(056)电话号码的字母组合
依旧是很经典的回溯。 记得当初做这题想了半天电话号码怎么存储,用哈希表就可以解决。 class Solution { public:vector<string> result;string digits;int loc0;unordered_map<char,string> dictionary{{2,"abc"},{3,"def"},{4,…...
kotlin,数字滚动选择
用国内的通义灵码和codegeex都没有弄出来,最后只得用墙外的chatgpt才弄出一个满意的。kotlin真的有点难,好在有AI,让学习没这难了。 package com.example.mynumsetimport android.os.Bundle import androidx.activity.ComponentActivity imp…...
Flask学习笔记 - 数据库
Flask 数据库操作 Flask 提供了多种方式来与数据库进行交互,包括直接使用 SQL 和利用 ORM(对象关系映射)工具,如 SQLAlchemy。 使用SQLAlchemy创建和管理数据库:使用 db.create_all() 创建表。CRUD 操作:…...
学透Spring Boot — 015. 自废武功——关闭自动配置
这是我的《学透Spring Boot》专栏的第15篇文章,了解更多请移步我的专栏:CSDN Postnull的专栏《学透Spring Boot》 目录 遇到的问题 分析日志 自动配置的过程 解决报错 方法1:添加数据库配置 方法2:关闭JPA自动配置 总结 遇…...
DeepSeek本地部署(Ollama)
1. Ollama 安装 Ollama 官网地址: https://ollama.com/安装包网盘地址: https://pan.baidu.com 2. Deepseek 部署 根据自己电脑配置和应用需求选择不同模型,配置不足会导致运行时候卡顿。 版本安装指令模型大小硬盘(存储)显卡…...
Python如何将已经安装的包导出为 .whl 文件以便离线使用
1、确认已安装的依赖包 pip list --formatfreeze > requirements.txt2、下载但不安装依赖包 # 单个包使用 pip download 依赖包名称 -d ./offline_packages# 多个包使用 pip download -r requirements.txt -d ./offline_packages使用离线包的时候,还需要确保在与…...
TypeScript学习第十六篇 - interface和type的区别?
在 TypeScript 中,interface 和 type 都用于定义自定义类型,但它们有一些关键区别: 1. 主要区别 1.1. 语法差异 interface 使用 interface 关键字。 interface Person {name: string;age: number; } type 使用 type 关键字。 type Pers…...
vue-axios跨域问题
vue-axios跨域问题 跨域原因现象前端解决方案 跨域原因 跨域:浏览器从一个域名的网页去请求另一个域名的资源时,域名、端口、协议任一不同,都是跨域。 在前后端分离的模式下,前后端的域名是不一致的,此时就会发生跨域…...
PyCharm中虚拟环境.venv搭建详解
PyCharm中创建、配置和管理虚拟环境,可以确保每个项目都有独立的依赖项,从而提高开发效率和项目的可移植性。接下来介绍一下pycharm虚拟环境的目录介绍以及搭建和管理办法。 虚拟环境目录是PyCharm中用于存储虚拟环境相关文件和配置的文件夹。PyCharm虚…...
小刚说C语言刷题——第16讲 switch语句
在日常生活中,我们经常会遇到多分支的情况。当分支较多时,我们可以用嵌套的if-else语句。但是这样会让结构显得混乱。这个时候我们可以考虑用switch语句。 1.语法格式 switch (表达式) { case 常量表达式1: 语句1; break; case 常量表达式…...
关联容器-模板类pair数对
关联容器 关联容器和顺序容器有着根本的不同:关联容器中的元素是按关键字来保存和访问的,而顺序容器中的元素是按它们在容器中的位置来顺序保存和访问的。 关联容器支持高效的关键字查找和访问。 两个主要的关联容器(associative-container),set和map。 set 中每个元素只包…...
Linux:基础IO---inode
文章目录 1. inode1.1 未被打开的文件1.2 认识硬件1.3 对磁盘进行逻辑抽象(解构)1.4 文件系统 序:在上一个章节缓冲区中,我通过将几个实例进行对比,引出了C语言级别即用户级别的缓冲区的概念,将用户级缓冲与…...
蓝桥杯_LITS游戏 俄罗斯方块 模拟 暴力 搜索 DFS 剪纸 枚举
从格子图的第一个格子开始,依次尝试放置 L、I、T、S 形状。在放置每个形状时,检查当前位置是否合法(是否在格子图范围内且没有被其他形状占据)。如果合法,我们就标记当前位置为已占据,并递归地尝试放置下一…...
蓝桥杯基础算法-字符串与集合
对集合的考察集中在集合的特性和功能。 set-唯一性 list-有序性 集合元素的个数 思路分析:set的唯一性,取出重复的子串 eg: 下标0截取的范围:【0,最大下标】 下标1截取的范围:【1,最大下标…...
ChatGPT 4:解锁AI文案、绘画与视频创作新纪元
文章目录 一、ChatGPT 4的技术革新二、AI文案创作:精准生成与个性化定制三、AI绘画艺术:从文字到图像的神奇转化四、AI视频制作:自动化剪辑与创意实现五、知识库与ChatGPT 4的深度融合六、全新的变革和机遇《ChatGPT 4 应用详解:A…...
【C++】多态详解
文章目录 一、多态的概念二、多态的效果及实现1.多态的效果2.实现多态有两个必须条件3.虚函数4.虚函数的重写/覆盖5.多态场景下两个很坑的选择题6.重载/重写/隐藏的对比 三、虚函数重写的一些其他知识1.协变(了解)2.析构函数的重写3.检测是否重写&#x…...
Python与CATIA集成实现拓扑面颜色映射——图像驱动自动化设计实战
一、技术背景与需求场景 在汽车/航空等高端制造领域,常需将二维图像的颜色特征映射到三维模型的拓扑表面。传统手动操作耗时且易出错,本文通过Python-CATIA集成技术实现像素级颜色自动映射,可应用于: 涂装方案可视化验证材料纹理…...
Qt中的多种输出方式,信号与槽的基本使用
完成Hello World可以通过很多控件实现 如采用编辑框来完成hello world 编辑框分为单行编辑框----QLineEdit 和多行编辑框---QTextEdit 采用单行编辑框,创建项目后,展开forms文件夹,双击ui文件进入 qt designer设计页面 找到line edit 拖到页…...
C语言查漏补缺:基础篇
1.原理 C语言是一门编译型计算机语言,要编写C代码,C源代码文本文件本身无法直接执行,必须通过编译器翻译和链接器的链接,生成二进制的可执行文件,然后才能执行。这里的二进制的可执行文件就是我们最终要形成的可执行程…...
【ElasticSearch】
目录 1. 基本知识1.1 restful语法1.2 内部基于_version乐观锁控制1.3 restful 批量(bulk)增删改 2. 分布式及容错机制2.1 ElasticSearch分布式基础1 ES分布式机制2 rebalance3 master节点4 节点对等 2.2 分片shard、副本replica机制2.3 es容错机制 3. 文…...
投资策略分析:十年年化32.2%,夏普比1.31的动量斜率策略(策略源码+数据下载)
原创内容第848篇,专注智能量化投资、个人成长与财富自由。 竹杖芒鞋轻胜马,谁怕?一蓑烟雨任平生。 回首向来萧瑟处,归去,也无风雨也无晴。 苏轼被贬黄州期间,借雨中徐行的意象,表达对人生荣辱得…...
httpx模块的使用
在使用requests模块发起请求时,报以下错误,表示服务器有可能使用的是http2.0协议版本,导致requests无法爬取。 此时就可以使用httpx模块爬取。 先下载httpx模块: pip install httpx[http2]然后用httpx发起请求: impo…...
【文献研究】含硼钢中BN表面偏析对可镀性的影响
《B 添加钢的溶融 Zn めっき性に及ぼす BN 表面析出の影響》由JFE公司田原大輔等人撰写。研究聚焦 B 添加钢在低露点退火时 BN 形成对镀锌性的影响,对汽车用高强度钢镀锌工艺优化意义重大。通过多组对比实验,结合多种分析手段,明确了相关因素…...
Logo语言的区块链
Logo语言的区块链探索 引言 随着科技的快速发展,区块链作为一种颠覆传统的分布式账本技术,正逐渐被许多行业所接受和应用。其核心特性在于去中心化、透明性、不可篡改性和安全性,这些特性使得区块链在金融、供应链、医疗、版权保护等领域显…...
3D Gaussian Splatting as MCMC 与gsplat中的应用实现
3D高斯泼溅(3D Gaussian splatting)自2023年提出以后,相关研究paper井喷式增长,尽管出现了许多改进版本,但依旧面临着诸多挑战,例如实现照片级真实感、应对高存储需求,而 “悬浮的高斯核” 问题就是其中之一。浮动高斯核通常由输入图像中的曝光或颜色不一致引发,也可能…...
车载ECU底软测试:方法与技术的深度解析
文章目录 引言车载 ECU 底软概述测试目标测试范围功能验证性能与实时性安全性与可靠性兼容性测试测试工具与技术方案分层测试方法与技术实现1. 单元测试(Unit Testing)2. 集成测试(Integration Testing)3. 系统测试(System Testing)4. 安全认证测试(Certification Testi…...
机器视觉3D中激光偏镜的优点
机器视觉的3D应用中,激光偏镜(如偏振片、波片、偏振分束器等)通过其独特的偏振控制能力,显著提升了系统的测量精度、抗干扰能力和适应性。以下是其核心优点: 1. 提升3D成像精度 抑制环境光干扰:偏振片可滤除非偏振的环境杂光(如日光、室内照明),仅保留激光偏振信号,大…...
25.6 多模态AI类型系统实战:日均10万请求下的99.99%可靠性保障与10倍性能提升
多模态AI类型系统实战:日均10万请求下的99.99%可靠性保障与10倍性能提升 关键词:类型标注实践, Pydantic 数据建模, 多模态数据处理, CogView 集成, CharGLM 对话引擎 1. 类型系统在 AI 应用中的核心价值 在复杂 Agent 系统中,类型标注是保障代码健壮性的第一道防线。当我…...
单链表的实现 | 附学生信息管理系统的实现
目录 1.前言: 2.单链表的相关概念: 2.1定义: 2.2形式: 2.3特点: 3.常见功能及代码 : 3.1创建节点: 3.2头插: 3.3尾插: 3.4头删: 3.5尾删: 3.6插入…...
【CMake】《CMake构建实战:项目开发卷》笔记-Chapter11-实践:基于onnxruntime的手写数字识别库
第11章 实践:基于onnxruntime的手写数字识别库 读者已经跟着本书实践了很多零零散散的实例,应该能够熟练使用CMake来构建C和C程序了吧!不过,前面的实例往往都是针对某个特定功能编写的,我们可能很难将它们综合起来实…...
微软主要收入云计算,OFFICE,操作系统和游戏10大分类
微软2024年主要收入10大分类是哪些,再加一列赚钱比例 微软 2024 财年的财务数据可能尚未完全统计完成,且官方可能没有正好按 10 大分类公布主要收入情况。不过,依据微软过往的业务板块和常见的收入来源,下面是模拟的表格,赚钱比例…...
PDF预览-搜索并高亮文本
在PDF.js中实现搜索高亮功能可以通过自定义一些代码来实现。PDF.js 是一个通用的、基于Web的PDF阅读器,它允许你在网页上嵌入PDF文件,并提供基本的阅读功能。要实现搜索并高亮显示文本,你可以通过以下几个步骤来完成: 1. 引入PDF…...
随笔1 认识编译命令
1.认识编译命令 1.1 解释gcc编译命令: gcc test1.cpp -o test1 pkg-config --cflags --libs opencv 命令解析: gcc:GNU C/C 编译器,用于编译C/C代码。 test1.cpp:源代码文件。 -o test1:指定输出的可执行文件名为t…...
【谷歌设置】chrome打开页面在新tab设置(新版)
这里一定要在搜索之后点击账户,然后选择更过设置 选择在新窗口打开搜索结果...
9.翻页器组件设计开发与应用(Vue父子组件通信)
翻页器组件设计开发与使用 写在前面el-pagination分页器的用法用法介绍实战案例实现代码 Vue中的父子组件用法与通信何谓父子组件搭建Paginator.vue子组件组件初步搭建父组件向子组件传参通信子组件向父组件通信 最终代码Index.vuePaginator.vue 总结 欢迎加入Gerapy二次开发教…...
MyBatis-Flex关联查询
MyBatis-Flex关联查询 在 MyBatis-Flex 中,我们内置了 3 种方案,帮助用户进行关联查询,比如 一对多、一对一、多对一、多对多等场景,他们分别是: 方案1:Relations 注解方案2:Field Query方案3…...
Lucene.Net 分词器选择指南:盘古分词 vs 结巴分词
文章目录 前言一、核心特性对比二、典型场景推荐1. 选择盘古分词的场景2. 选择结巴分词的场景 三、关键指标实测对比1. 分词质量测试(F1值)2. 性能测试(单线程) 四、如何选择?决策树五、进阶优化建议1. 盘古分词优化方…...
YOLOv11实战电力设备缺陷检测
本文采用YOLOv11作为核心算法框架,结合PyQt5构建用户界面,使用Python3进行开发。YOLOv11以其高效的实时检测能力,在多个目标检测任务中展现出卓越性能。本研究针对电力设备缺陷数据集进行训练和优化,该数据集包含丰富的电力设备缺…...
LINUX 5 vim cat zip unzip
dd u撤销 ctrlr取消撤销 q!刚才的操作不做保存 刚才是编辑模式 现在是可视化模式 多行注释...
Redis的常见命令
Redis的常见命令 官方命令文档:https://redis.io/docs/latest/commands/ 文章目录 Redis的常见命令Redis数据结构介绍Redis通用命令1.String类型2.Hash类型3.List类型List类型的常见命令:利用List结构实现:栈、队列、阻塞队列: 4.…...