当前位置：首页 > news >正文

【MQ】如何保证消息队列的高性能？

news 来源：原创 2025/5/16 11:40:30

零拷贝

Kafka 使用到了 mmap 和 sendfile 的方式来实现零拷贝。分别对应 Java 的 MappedByteBuffer 和 FileChannel.transferTo

顺序写磁盘

Kafka 采用顺序写文件的方式来提高磁盘写入性能。顺序写文件，基本减少了磁盘寻道和旋转的次数
完成一次磁盘 IO，需要经过寻道、旋转和数据传输三个步骤，如果在写磁盘的时候省去寻道、旋转可以极大地提高磁盘读写的性能。
Kafka 中每个分区是一个有序的，不可变的消息序列，新的消息不断追加到 Partition 的末尾，在 Kafka 中 Partition 只是一个逻辑概念，Kafka 将 Partition 划分为多个 Segment，每个 Segment 对应一个物理文件，Kafka 对 segment 文件追加写，这就是顺序写文件

页缓存技术

应当使用本地磁盘作为存储介质。Page Cache 的存在就可以提升消息的读取速度，

批量传输与压缩消息

生产端有两个重要的参数：batch.size和linger.ms。这两个参数就和 Producer 的批量发送消息有关。

网络模型

Kafka 自己实现了网络模型做 RPC。底层基于 Java NIO，采用和 Netty 一样的 Reactor 线程模型。
Kafka 即基于 Reactor 模型实现了多路复用和处理线程池。
Reactor 模型基于池化思想，避免为每个连接创建线程，连接完成后将业务处理交给线程池处理；基于 IO 复用模型，多个连接共用同一个阻塞对象，不用等待所有的连接。遍历到有新数据可以处理时，操作系统会通知程序，线程跳出阻塞状态，进行业务逻辑处理

分区并发

Kafka 的 Topic 可以分成多个 Partition，每个 Paritition 类似于一个队列，保证数据有序。同一个 Group 下的不同 Consumer 并发消费 Paritition，分区实际上是调优 Kafka 并行度的最小单元，因此，可以说，每增加一个 Paritition 就增加了一个消费并发。

高效的文件数据结构

每个 Topic 又可以分为一个或多个分区。每个分区各自存在一个记录消息数据的日志文件。Kafka 每个分区日志在物理上实际按大小被分成多个 Segment。
segment file 组成：由 2 大部分组成，分别为 index file 和 data file，此 2 个文件一一对应，成对出现，
index 采用稀疏索引，这样每个 index 文件大小有限，Kafka 采用mmap的方式，直接将 index 文件映射到内存，这样对 index 的操作就不需要操作磁盘 IO
分段和索引的策略：利用偏移量和时间索引文件实现快速消息查找

【MQ】如何保证消息队列的高性能？

零拷贝 Kafka 使用到了 mmap 和 sendfile 的方式来实现零拷贝。分别对应 Java 的 MappedByteBuffer 和 FileChannel.transferTo 顺序写磁盘 Kafka 采用顺序写文件的方式来提高磁盘写入性能。顺序写文件，基本减少了磁盘寻道和旋转的次数完成一次磁盘 IO&#xff0…...

编程日记 2025/5/16 11:40:30

通义灵码插件保姆级教学-IDEA(安装及使用)

一、JetBrains IDEA 中安装指南官方下载指南：通义灵码安装教程-阿里云步骤 1：准备工作操作系统：Windows 7 及以上、macOS、Linux； 下载并安装兼容的 JetBrains IDEs 2020.3 及以上版本，通义灵码与以下 IDE 兼容&…...

编程日记 2025/5/8 21:43:07

babylon.js-3：了解STL网格模型

网格模型上色本篇文章主要介绍如何在 BabylonJS 中实现STL网格模型上色。文章目录网格模型上色运用场景概要延申正文加载器库的支持认识 OBJ 和 STL 文件GUI 色板选择器网格模型异步加载加载动画网格模型上色官方即将弃用 ImportMesh 而推荐使用 ImportMeshAsync 说明OBJ …...

编程日记 2025/5/16 11:24:00

面向对象设计（大三上）--往年试卷题+答案

目录 1. UML以及相关概念 1.1 动态图&静态图 1.2 交互图 1.3 序列图 1.4 类图以及关联关系 1.4.1类图 1.4.2 关系类型 (1) 用例图中的包含、扩展关系（include & extend） (2) 类图中的聚合、组合关系（aggragation & composition） 1.5 图对象以及职责划…...

编程日记 2025/5/15 1:47:45

Java基础知识总结（二十四）--Collections

它的出现给集合操作提供了更多的功能。这个类不需要创建对象，内部提供的都是静态方法。静态方法： Collections.sort(list);//list集合进行元素的自然顺序排序。 Collections.sort(list,new ComparatorByLen());//按指定的比较器方法排序。 class Co…...

编程日记 2025/5/16 1:37:29

大语言模型的API接口如何操作

选择大语言模型根据自身需求和应用场景选择合适的大语言模型，如 OpenAI 的 GPT 系列、百度的文心一言、智谱的 GLM 等。需要考虑模型的性能、功能特点、适用领域、成本等因素。获取 API 密钥和凭证注册账号：访问所选大语言模型的官方平台或相关开发…...

编程日记 2025/5/16 11:22:37

【漫话机器学习系列】067.希腊字母（greek letters）-写法、名称、读法和常见用途

希腊字母（Greek Letters） 希腊字母在数学、科学、工程学和编程中广泛使用，常用于表示变量、常量、参数、角度等。以下是希腊字母的完整列表及其常见用途。大写与小写希腊字母表大写小写名称（英文）名称（…...

编程日记 2025/5/12 6:14:39

Kotlin判空辅助工具

1）?.操作符 //执行逻辑 if (person ! null) {person.doSomething() } //表达式 person?.doSomething() 2）?:操作符 //执行逻辑 val c if (a ! null) {a } else {b } //表达式 val c a ?: b 3）!!表达式 var message: String? &qu…...

编程日记 2025/5/10 20:38:57

【Python-办公自动化】实现自动化输出json数据类型的分析报告和正逆转换

分析报告 import json from pprint import pprint, PrettyPrinterdef analyze_energy_data(file_path):"""能源数据分析与结构查看函数参数：file_path (str): JSON文件路径功能：1. 加载并解析JSON数据2. 显示数据结构概览3. 交互式结构探索"""…...

编程日记 2025/5/14 19:37:30

深入理解指针（2）

数组名的理解什么是数组名？在计算机编程中，数组名是用于标识一个数组的名称。那应当如何来理解数组名呢？事实上，在数组中数组名就是数组首元素的地址。示例1： #include<stdio.h> int main() {int arr[10] …...

编程日记 2025/5/13 18:22:17

SOME/IP--协议英文原文讲解3

前言 SOME/IP协议越来越多的用于汽车电子行业中，关于协议详细完全的中文资料却没有，所以我将结合工作经验并对照英文原版协议做一系列的文章。基本分三大块： 1. SOME/IP协议讲解 2. SOME/IP-SD协议讲解 3. python/C举例调试讲解 Note: Thi…...

编程日记 2025/5/13 6:40:10

计算机网络之计算机网络主要性能

一、速率与带宽速率： 定义：数据的传送速率，也称数据率或比特率，表示单位时间内传输的比特数。单位：比特/秒（bit/s），常用单位有千比特/秒（kb/s）、兆比特/秒…...

编程日记 2025/5/12 14:45:12

家居 EDI：Haverty‘s EDI 需求分析

Havertys 成立于 1885 年，是一家历史悠久的美国家具零售商。公司致力于为客户提供高品质的家具和家居饰品，其产品线涵盖客厅、卧室、餐厅及办公家具等多个领域。电子数据交换（EDI）是一种通过标准化电子格式在商业伙伴之间进行数据…...

编程日记 2025/5/13 14:13:19

JavaScript - Web APIs（上）

Web API 介绍严格意义上讲，我们在 JavaScript 阶段学习的知识绝大部分属于 ECMAScript 的知识体系，ECMAScript 简称 ES 它提供了一套语言标准规范，如变量、数据类型、表达式、语句、函数等语法规则都是由 ECMAScript 规定的。浏览器将 ECM…...

编程日记 2025/5/14 17:59:07

【漫话机器学习系列】068.网格搜索（GridSearch）

网格搜索（Grid Search） 网格搜索（Grid Search）是一种用于优化机器学习模型超参数的技术。它通过系统地遍历给定的参数组合，找出使模型性能达到最优的参数配置。网格搜索的核心思想定义参数网格创建一个包含超参数值…...

编程日记 2025/5/14 20:21:52

基本分类文本生成MindMap:https://app.pollyoyo.com/planttext <style> mindmapDiagram {node {BackgroundColor yellow}:depth(0) {BackGroundColor SkyBlue}:depth(1) {BackGroundColor lightGreen} } </style> * MySQL 索引** 数据结构角度 *** B树索引*** 哈…...

编程日记 2025/5/14 20:23:33

OSCP：发送钓鱼电子邮件执行客户端攻击

概述在渗透测试领域，钓鱼攻击是一种有效的客户端攻击手段，尤其在目标用户缺乏安全意识或系统存在未修复漏洞时，成功率较高。针对Windows平台，滥用Windows库文件（.Library-ms）是一种技术性较强但易于实施的…...

编程日记 2025/5/15 17:50:22

Oracle 普通用户连接hang住处理方法

一、现象说明 $ sqlplus / as sysdbaSQL*Plus: Release 19.0.0.0.0 - Production on Wed Dec 18 16:49:19 2024 Version 19.11.0.0.0Copyright (c) 1982, 2020, Oracle. All rights reserved.Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Pro…...

编程日记 2025/5/12 5:56:18

C++ ——— 学习并使用 priority_queue 类

目录何为 priority_queue 类学习并使用 priority_queue 类实例化一个 priority_queue 类对象插入数据遍历堆（默认是大堆） 通过改变实例化的模板参数修改为小堆何为 priority_queue 类 priority_queue 类为优先级队列，其本质就是…...

编程日记 2025/5/14 20:40:25

JVM--类加载器

概念类加载器：只参与加载过程中的字节码获取并加载到内存中的部分；java虚拟机提供给应用程序去实现获取类和接口字节码数据的一种技术，也就是说java虚拟机是允许程序员写代码去获取字节码信息类加载是加载的第一步，主要有以下三…...

编程日记 2025/5/16 3:52:18

【C++】类与对象初级应用篇：打造自定义日期类与日期计算器（2w5k字长文附源码）

文章目录一、日期类的实现1. 日期类的默认成员函数的分析与实现构造函数其它默认成员函数 2. 各种逻辑比较运算符重载3. 日期加与减天数日期加天数系列日期减天数系列日期加减天数的最后修定和- -系列 4. 日期减日期方法一方法二 5. 流插入与流提取重载流插入重载流提取重载(含…...

编程日记 2025/5/14 12:17:49

ROS应用之SwarmSim在ROS 中的协同路径规划

SwarmSim 在 ROS 中的协同路径规划前言在多机器人系统（Multi-Robot Systems, MRS）中，SwarmSim 是一个常用的模拟工具，可以对多机器人进行仿真以实现复杂任务的协同。除了任务分配逻辑以外，SwarmSim 在协同路径规划方…...

编程日记 2025/5/11 8:18:37

Shell特殊位置变量以及常用内置变量总结

目录 1. 特殊的状态变量 1.1 $?（上一个命令的退出状态） 1.2 $$（当前进程的 PID） 1.3 $!（后台进程的 PID） 1.4 $_（上一条命令的最后一个参数） 2.常用shell内置变量 2.1 echo&…...

编程日记 2025/5/12 17:56:35

【ollama通过命令行启动后如何在网页端查看运行】

ollama通过命令行启动后如何在网页端查看运行 http://localhost:11434/...

编程日记 2025/5/7 0:13:23

【MySQL】初始MySQL、库与表的操作

目录基本使用使用案例 SQL分类存储引擎库的操作字符集和校验规则查看系统默认字符集和校验规则查看数据库支持的字符集查看数据库支持的字符集校验规则指定编码常见数据库校验规则对数据库的影响操纵数据库库的备份与恢复表的操作创建表查看表 …...

编程日记 2025/5/16 9:37:32

信息学奥赛一本通 1342：【例4-1】最短路径问题

【题目描述】平面上有n个点（n<100），每个点的坐标均在-10000~10000之间。其中的一些点之间有连线。若有连线，则表示可从一个点到达另一个点，即两点间有通路，通路的距离为两点间的直线距离。现在的任务是…...

编程日记 2025/5/16 2:24:23

芯片AI深度实战：基础篇之langchain

基于ollama, langchain,可以构建一个自己的知识库，比如这个 Build Your Own RAG App: A Step-by-Step Guide to Setup LLM locally using Ollama, Python, and ChromaDB | HackerNoon 这是因为： 以上范例就实现了这样一个流程： 系列文章&…...

编程日记 2025/5/12 0:25:20

Autogen_core 测试代码：test_cache_store.py

目录原始代码测试代码代码中用到的typing注解原始代码 from typing import Dict, Generic, Optional, Protocol, TypeVarT TypeVar("T")class CacheStore(Protocol, Generic[T]):"""This protocol defines the basic interface for store/cache o…...

编程日记 2025/5/16 2:18:02

AI大模型开发原理篇-1：语言模型雏形之N-Gram模型

N-Gram模型概念 N-Gram模型是一种基于统计的语言模型，用于预测文本中某个词语的出现概率。它通过分析一个词语序列中前面N-1个词的出现频率来预测下一个词的出现。具体来说，N-Gram模型通过将文本切分为长度为N的词序列来进行建模。注意：这…...

编程日记 2025/5/14 21:07:07

Haproxy入门学习二

一、Haproxy的算法 1.haproxy通过固定参数balance指明对后端服务器的调度算法，其中balance参数可以配置在listen或backend选项中 2.haproxy的调度算法分为静态和动态调度算法，其中有些算法可以根据参数在静态和动态算法中相互转换 3.静态算法&#xff1a…...

编程日记 2025/5/11 9:55:07

【C++题解】1014. 编程求1+1/2+1/3+...+1/n

问题：1014. 编程求11/21/3…1/n 类型：简单循环题目描述： 编程求 11/21/3⋯1/n 。输入： 输入一行，只有一个整数 n(1≤n≤200) 。输出： 输出只有一行（这意味着末尾有一个回车符号&#x…...

编程日记 2025/5/14 8:19:20

Java基础知识-第14章-Java注解

1、注解(Annotation)概述从JDK5.0开始，Java增加了对元数据(MetaData) 的支持，也就是Annotation(注解)Annotation其实就是代码里的特殊标记，这些标记可以在编译，类加载，运行时被读取，并执行相应的处理。通…...

编程日记 2025/5/11 0:26:27

python算法和数据结构刷题[1]：数组、矩阵、字符串

一画图二伪代码三写代码 LeetCode必刷100题：一份来自面试官的算法地图（题解持续更新中）-CSDN博客算法通关手册（LeetCode） | 算法通关手册（LeetCode） (itcharge.cn) 面试经典 150 题 - 学习计…...

编程日记 2025/5/15 13:20:09

【javaweb项目idea版】蛋糕商城（可复用成其他商城项目）

该项目虽然是蛋糕商城项目，但是可以复用成其他商城项目或者购物车项目想要源码的uu可点赞后私聊技术栈主要为：javawebservletmvcc3p0idea运行功能模块主要分为用户模块和后台管理员模块具有商城购物的完整功能基础模块登录注册个人信息编辑…...

编程日记 2025/5/16 10:50:03

人格分裂(交互问答)-小白想懂Elasticsearch

通过交互式追问了解一个中间件 ? 啥是Elasticsearch ! 分布式搜索和分析引擎 ? 为啥是分布式搜索，单体难道用不了吗 ? 实际上是说这个东西可以分布式部署 ! 单机可用但扩展性差，分布式通过分片、副本和负载均衡实现海量数据存储与高并发处理 ? 提…...

编程日记 2025/5/14 10:57:06

独立开发者日刊 | Deepseek 统一多模态 AI Janus 开源 |语音秒变文章 | 免费 AI 视频答案引擎

独立开发者产品日刊，每日汇集 ProductHunt 热榜产品介绍，⚡️ 1句Slogan榨干产品灵魂，⚡️ 3秒 get 全球独立开发者的爆款灵感。关注小前，每日捕获全球产品灵感。 Jotform for Canva 标语：为 Canva 创建强大表单类别&a…...

编程日记 2025/5/16 8:04:42

1999-2020年全国各地区-财政状况分析-一般预算收入-各项税收-个人所得税

1999-2020年全国各地区-财政状况分析-一般预算收入-各项税收-个人所得税https://download.csdn.net/download/2401_84585615/89575946 https://download.csdn.net/download/2401_84585615/89575946 一般预算收入是指各级政府按照预算法规定，将预计取得的各项收入纳…...

编程日记 2025/5/11 0:39:24

基础项目实战——3D赛车（c++）

目录前言一、渲染引擎二、关闭事件三、梯形绘制四、轨道绘制五、边缘绘制六、草坪绘制七、前后移动八、左右移动九、曲线轨道十、课山坡轨道十一、循环轨道十二、背景展示十三、引入速度十四、物品绘制十五、课数字路障十六、分数展示十七、重新生成十八、…...

编程日记 2025/5/12 23:08:13

AboutDialog组件的功能和用法

文章目录 1 概念介绍2 使用方法3 示例代码我们在上一章回中介绍了AlertDialog Widget相关的内容,本章回中将介绍AboutDialog Widget.闲话休提，让我们一起Talk Flutter吧。 1 概念介绍我们在这里说的AboutDialog是一种弹出式窗口，和上一章回中介绍的Al…...

编程日记 2025/5/16 5:10:26

hdfs之读写流程

写入流程： 客户端Client想将文件a.txt上传至hdfs，首先向Namenode发送请求进行权限校验，Namenode通过后会计算出来三个节点，并将这三个节点告知客户端，客户端将输入进行切割成块，一个一个的块进行传输&…...

编程日记 2025/5/12 15:58:32

链表的介绍

目录引言优缺点与链表相似的数据结构注意事项单向链表的实现基础实现创建类创建成员变量创建特殊方法增加数据push_back方法insert方法删除数据del_back方法del_index方法 clear方法查询数据at方法与重载的中括号运算符toArray方法indexOf方法修改数据获取链表大小测试方法…...

编程日记 2025/5/15 22:47:19

背着开发板回家过年~

大家好，我是bug菌~ 小明，过年了， 别再死磕什么STM32底层驱动、linux平台总线驱动框架、嵌入式实时操作系统源码这些了。你背着电脑和开发板回家，压根没一点实际用处。发小们潇洒地出入各种娱乐场所，唱着歌&#xff0…...

编程日记 2025/5/13 0:01:32

Kafka 日志存储 — 磁盘存储

Kafka 依赖与磁盘来存储和缓存消息，采用文件追加的方式来写入消息。顺序写盘的速度快于随机写内存。 1 磁盘存储除顺序写入外，Kafka中大量使用了页缓存、零拷贝等技术来进一步提升吞吐性能。 1.1 页缓存页缓存是操作系统实现的一种磁盘缓存&#x…...

编程日记 2025/5/13 21:20:36

【机器学习】自定义数据集使用tensorflow框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测

一、使用tensorflow框架实现逻辑回归 1. 数据部分： 首先自定义了一个简单的数据集，特征 X 是 100 个随机样本，每个样本一个特征，目标值 y 基于线性关系并添加了噪声。tensorflow框架不需要numpy 数组转换为相应的张量&#xff0…...

编程日记 2025/5/16 8:50:25

RK3568中使用QT opencv（显示基础图像）

文章目录一、查看对应的开发环境是否有opencv的库二、QT使用opencv 一、查看对应的开发环境是否有opencv的库在开发板中的/usr/lib目录下查看是否有opencv的库： 这里使用的是正点原子的ubuntu虚拟机，在他的虚拟机里面已经安装好了opencv的库。二、…...

编程日记 2025/5/13 11:08:10

Brave132 编译指南 Windows 篇：获取源码（六）

1. 引言在 Brave 浏览器 132 版本的编译过程中，获取源代码是至关重要的第一步。源代码包含了 Brave 浏览器的所有核心功能、特性和组件的实现细节，是深入理解、定制和优化 Brave 的基础。通过获取和管理源代码，开发者能够深入探索 Brave 的…...

编程日记 2025/5/15 17:50:30

解决 pip install 出现 error: subprocess-exited-with-error 错误的方法

解决 pip install 出现 error: subprocess-exited-with-error 错误的方法_pip安装报错 subprocess-CSDN博客文章浏览阅读10w次，点赞62次，收藏86次。通过上述步骤，我们成功解决了 pip install 时出现的 error: subprocess-exited-with-error 错…...

编程日记 2025/5/8 4:31:38

网络安全攻防实战：从基础防护到高级对抗

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 引言在信息化时代，网络安全已经成为企业、政府和个人必须重视的问题。从数据泄露到勒索软件攻击，每一次…...

编程日记 2025/5/15 11:46:23

DeepSeek大模型技术解析：从架构到应用的全面探索

一、引言在人工智能领域，大模型的发展日新月异，其中DeepSeek大模型凭借其卓越的性能和广泛的应用场景，迅速成为业界的焦点。本文旨在深入剖析DeepSeek大模型的技术细节，从架构到应用进行全面探索，以期为读者提供一个…...

编程日记 2025/5/15 18:56:43

Deepseek的api调用报错乱码问题

最近的deepseek也是很火，但是在调用api的过程中也会出现一些大大小小的问题，所以这里也给出一种问题和他的解决方案，报错的类型如下图所示 API Streaming Failed Command failed with exit code 1: powershell (Get-CimInstance -ClassName W…...

编程日记 2025/5/9 5:02:19

零拷贝