当前位置： 首页 > news >正文

3、Kafka 核心架构拆解和总结

news 来源：原创 2025/8/17 10:35:44

1. Kafka 与其他消息队列（RabbitMQ、RocketMQ）核心区别

  • 架构原理：
    • Kafka 采用分布式日志存储架构，所有消息以追加写入的方式存储在磁盘上，天然支持高吞吐和持久化，分区机制便于横向扩展。
    • RabbitMQ 基于 AMQP 协议，消息通过 Exchange 路由到 Queue，支持灵活的路由和消息确认机制，适合复杂业务解耦。
    • RocketMQ 支持分布式事务、顺序消息、定时/延迟消息，采用长轮询拉取，强调高可用和事务一致性。
  • 应用场景：
    • Kafka 适合大数据日志采集、实时流处理、事件驱动架构、监控数据汇聚等高吞吐场景。
    • RabbitMQ 适合微服务解耦、异步任务、短消息通知等对可靠性和灵活性要求高的场景。
    • RocketMQ 适合金融、电商等对事务一致性和高并发有特殊要求的业务。
  • 优缺点：
    • Kafka 优势在于高吞吐、可扩展性强、生态完善，劣势是消息实时性略低、功能相对聚焦。
    • RabbitMQ 优势在于协议标准、路由灵活，劣势是高并发下性能瓶颈明显。
    • RocketMQ 优势在于事务、顺序、延迟消息，劣势是生态和社区活跃度略逊。

2. Kafka 日志段（LogSegment）设计

在这里插入图片描述

  • 结构原理：
    • 每个分区由多个 LogSegment 组成，每个 Segment 包含 .log（消息数据）、.index（偏移量索引）、.timeindex（时间戳索引）、.txnindex（事物索引文件)等文件。
    • .log 文件顺序追加写入消息，.index 文件加速 offset 定位，.timeindex 支持按时间检索。
  • 机制与优势：
    • 分段存储避免单文件过大，便于定期清理和高效查找。
    • 旧 Segment 可直接删除或压缩，提升磁盘利用率。
  • 配置建议：
    • 通过 log.segment.bytes、log.retention.hours 等参数灵活控制分段和保留策略。

3. 时间轮（TimingWheel）算法

  • 原理：
    • Kafka 内部采用分层时间轮（TimingWheel）管理延迟任务，如副本同步超时、消息重试等。
    • 每层时间轮由若干时间格（slot）组成，任务根据延迟时间被分配到不同层级和 slot。
  • 机制与优势：
    • 插入/删除任务时间复杂度 O(1)，极大提升定时任务调度效率。
    • 结合 DelayQueue 只推进非空 slot，减少无效轮询和 CPU 消耗。
  • 应用场景：
    • 适合毫秒到小时级的延迟任务，如请求超时、重试、定时消息等。

4. 消费者再平衡（Rebalance）机制

  • 触发条件：
    • 消费者组成员增减（如新消费者加入或退出）、订阅 Topic 变化、心跳超时（session.timeout.ms）等。
  • 机制：
    • Kafka 通过协调者（Coordinator）分配分区给各消费者，确保同一分区同一时刻只被一个消费者消费。
    • 再平衡期间，所有消费者会暂停拉取，重新分配分区。
  • 优化建议：
    • 调整 max.poll.interval.ms、session.timeout.ms，避免因消费慢或心跳超时频繁触发 Rebalance。
    • 使用静态分区分配（Static Membership）减少分区漂移。
  • 优缺点：
    • 优点：保证分区消费唯一性，便于扩缩容。
    • 缺点：频繁 Rebalance 会导致消费暂停，影响实时性。

5. 数据保留策略

  • 原理：
    • Kafka 支持按时间（log.retention.hours）、大小（log.retention.bytes）、日志段（log.segment.bytes）等多种方式保留消息。
  • 机制与配置：
    • 超过保留时间或空间的 Segment 会被自动删除或压缩（compact）。
    • 日志类数据建议短保留，审计/合规类数据可设置长保留。
  • 优缺点：
    • 灵活应对不同业务需求，兼顾存储成本和数据可用性。
    • 保留时间过长会占用大量磁盘，需结合磁盘容量合理配置。

6. 副本同步机制

  • 原理：
    • Kafka 采用 Leader-Follower 架构，Leader 负责所有读写，Follower 通过 fetch 请求批量拉取 Leader 数据。
    • Leader 维护 ISR（In-Sync Replicas）集合，只有 ISR 内副本同步后消息才算提交。
  • 机制与优势：
    • 零拷贝（sendfile）技术减少数据传输开销。
    • Follower 落后过多会被移出 ISR，保证数据一致性。
  • 配置建议：
    • replica.lag.time.max.ms 控制最大同步延迟，min.insync.replicas 保证高可用。

7. 消息压缩算法

  • 支持算法：GZIP（高压缩率）、Snappy（低延迟）、LZ4（平衡压缩率与速度）。
  • 原理与机制：
    • Producer 端可通过 compression.type 参数选择压缩算法，Broker 和 Consumer 自动解压。
  • 选择建议：
    • 网络带宽紧张优先高压缩率（GZIP），对延迟敏感优先低延迟（Snappy/LZ4）。
    • 需权衡 CPU 占用和网络传输效率。

8. Producer异步/同步发送

  • 异步发送：
    • Producer 调用 send() 方法异步提交消息，主线程不阻塞，适合高吞吐场景。
    • 需通过回调函数处理发送异常。
  • 同步发送：
    • 调用 get() 方法阻塞等待 Broker 确认，适合对可靠性要求极高的场景。
  • 可靠性保障：
    • 设置 acks=all，确保所有 ISR 副本确认。
    • 启用重试（retries 参数），防止网络抖动导致消息丢失。
  • 优缺点：
    • 异步吞吐高但可靠性略低，需配合回调和幂等性。
    • 同步可靠性高但吞吐低，适合关键业务。

9. Controller作用与选举

  • 职责：
    • 管理分区 Leader 选举、Broker 上下线、副本同步状态、元数据更新。
  • 选举机制：
    • 旧版依赖 ZooKeeper 临时节点，最先注册的 Broker 成为 Controller。
    • 新版（KRaft 模式）采用内置 Raft 协议实现分布式共识，无需 ZooKeeper。
  • 高可用保障：
    • Controller 故障时自动重新选举，保证集群元数据一致性和高可用。

10. Kafka Streams API

  • 核心思想：
    • 以 Topic 为输入/输出流，支持有状态流处理（State Store）、窗口操作、Exactly-Once 语义。
  • 机制与优势：
    • 轻量级库，直接嵌入应用，无需独立集群。
    • 支持流批一体、端到端一致性。
  • 与 Flink/Spark Streaming 区别：
    • Kafka Streams 适合轻量级 ETL、实时聚合，Flink/Spark 适合复杂流批处理和大规模数据分析。

Kafka 延迟消息能力补充

  • Kafka 3.5+：原生支持延迟消息，最大延迟由 log.retention.ms 决定，默认 7 天，可配置更长。
  • 时间戳过滤：Producer 设置未来时间戳，Consumer 过滤未到期消息，理论无上限，受 Topic 保留策略影响。
  • 时间轮算法：适合小时级以内短延迟，精度高，常用于内部定时任务、重试等。
  • 外部工具：如 Flink、Kafka Connect 可实现更长延迟，理论无限制，适合复杂调度。
  • 配置建议：根据业务需求权衡存储成本与延迟精度，合理设置 log.retention.ms 和相关参数。

低延迟优化要点

  • 生产者端：
    • 合理设置 batch.size、linger.ms，批量发送提升吞吐同时兼顾延迟。
    • 选择高效压缩算法（lz4/snappy），减少网络传输时间。
    • acks=1 可降低延迟但牺牲可靠性，acks=all 更安全但延迟略高。
  • 消费者端：
    • 利用零拷贝拉取（sendfile），减少数据拷贝。
    • 设置合适的 fetch.min.bytes、max.poll.records，减少网络往返。
    • 优化心跳间隔（session.timeout.ms、max.poll.interval.ms），避免频繁 Rebalance。
  • 系统层面：
    • 充分利用操作系统页缓存，保证顺序写入，提升磁盘和内存利用率。
    • 合理规划分区数，提升并发处理能力。

相关文章：

3、Kafka 核心架构拆解和总结

1. Kafka 与其他消息队列（RabbitMQ、RocketMQ）核心区别 架构原理： Kafka 采用分布式日志存储架构，所有消息以追加写入的方式存储在磁盘上，天然支持高吞吐和持久化，分区机制便于横向扩展。RabbitMQ 基于 AM…...

编程日记 2025/8/17 10:35:44

芳草集精油怎么样？佰草集精油的功效与用法一览

在护肤领域，精油凭借天然高效的特性得到不少消费者的青睐。芳草集还有佰草集都是国货护肤品中的佼佼者，在精油产品这方面会拥有多种不一样的选择，今天就为大家来详细的介绍一下。 芳草集精油具备零负担，纯天然的特色，…...

编程日记 2025/8/17 8:36:40

华为云API、SDK是什么意思？有什么区别和联系？

在华为云中，“API”和“SDK”是进行系统开发和平台对接的两种主要方式，它们密切相关，但功能不同。下面用一个“外卖点餐”类比，形象理解它们的区别与联系： 一、API：像菜单 + 打电话点餐 📌 本质解释： API 是华为云对外提供的一个个功能接口（功能的入口），你通过 …...

编程日记 2025/8/17 10:41:52

实践003-Gitlab CICD编译构建

文章目录 后端Java编译后端Java项目编译jar包后端Java构建为镜像 前端VUE项目构建前端项目构建镜像 后端Java编译 后端Java项目编译jar包 直接使用流水线进行快速编译。 [rootgitclient apiserver]# vim .gitlab-ci.yml stages:- compilecompile:stage: compileimage: maven…...

编程日记 2025/8/17 10:27:14

【实战教程】零基础搭建DeepSeek大模型聊天系统 - Spring Boot+React完整开发指南

🔥 本文详细讲解如何从零搭建一个完整的DeepSeek AI对话系统，包括Spring Boot后端和React前端，适合AI开发入门者快速上手。即使你是编程萌新，也能轻松搭建自己的AI助手！ 📚博主匠心之作，强推专栏…...

编程日记 2025/8/17 9:17:33

AI——认知科学中的认知架构建立步骤与方法

认知科学中的认知架构建立步骤与方法 认知架构（Cognitive Architecture）是模拟人类心智活动的计算框架，旨在整合感知、记忆、推理、学习等核心认知功能。其建立需结合心理学理论、神经科学证据和计算建模技术。以下是建立认知架构的系统方法…...

编程日记 2025/8/17 15:03:09

C++：买房子

【描述】某程序员开始工作，年薪N万，他希望在中关村公馆买一套60平米的房子，现在价格是200万，假设房子价格以每年百分之K增长，并且该程序员未来年薪不变，且不吃不喝，不用交税，每年所得…...

编程日记 2025/8/17 9:40:17

Webug4.0靶场通关笔记20- 第25关越权查看admin

目录 一、越权原理 1. 水平越权 2. 垂直越权 二、第25关 越权查看admin 1.打开靶场 2.源码分析 （1）为何存在越权？ （2）如何利用越权？ 3.源码修改 4.aaaaa账号登录 5.水平越权切换到mooyuan 6.垂…...

编程日记 2025/8/17 10:18:02

如何在金仓数据库KingbaseES中新建一个数据库？新建一个表？给表添加一个字段？

如何在KingbaseES（金仓数据库）中新建一个数据库？新建一个表？给表添加一个字段？ 摘要 KingbaseES（金仓数据库）新建数据库、创建表、添加字段全流程实战指南，涵盖 KES 数据库属性、s…...

编程日记 2025/8/16 10:49:37

ubuntu 挂载硬盘

连接硬盘 首先将硬盘正确连接到计算机上。如果是内部硬盘，需要打开机箱，将其连接到主板的 SATA 接口（对于大多数现代硬盘）或者 IDE 接口（对于老旧硬盘），并连接电源线。如果是外部硬盘&#xff0…...

编程日记 2025/8/17 15:04:00

DBa作业

1.假设关系R(A, B)和S(B, C, D)情况如下: R有20000个元组，S有1 200个元组，一个块能装40个R的元组，能装30个S的元组，估算下列操作需要多少次磁盘块读写。 （1) R上没有索引，sclect* from R; 总块数 元组数 …...

编程日记 2025/8/17 8:29:10

解决 TimeoutError: [WinError 10060] 在 FramePack项目中连接 Hugging Face 超时的问题

#工作记录 以下是针对 TimeoutError: [WinError 10060] 的完整排查方案，适用于 FramePack项目中。 （一般该错误的发生原因请重点排查Hugging Face模型仓库受限需要登录的情形） FramePack项目参考资料 FramePack部署（从PyCharm解…...

编程日记 2025/8/16 10:49:32

MySQL 联合查询的使用教程

MySQL 中的联合查询是指将多个查询结果合并成一个结果集的操作。联合查询可以通过使用 UNION 或 UNION ALL 关键字实现。 UNION 关键字：UNION 关键字用于合并两个或多个查询的结果，并去除重复的行。语法如下： SELECT column1, column2 FROM…...

编程日记 2025/8/17 15:04:57

每日学习Java之一万个为什么？

文章目录 Java 异步编排与同步工具类对比一、Java 异步编排概述1. **什么是异步编排？**2. **核心工具：CompletableFuture** 二、CompletableFuture 的优点三、同步工具类对比1. **CountDownLatch**2. **CyclicBarrier**3. **Semaphore** 四、Completable…...

编程日记 2025/8/16 10:49:28

Ubuntu 第11章 网络管理

可以肯定地说，如果没有Linux，今天的互联网可能不会这么发达，Linux天生与网络有着密不可分的关系。据统计，Linux和UNIX在互联网服务器操作系统中已经占据了60%以上的市场份额。网络管理对于Ubuntu系统维护来说是一项非常重要的技能…...

编程日记 2025/8/17 8:25:40

深入解析进程间通信与Socket原理：从理论到TypeScript实战

文章目录 一、进程中如何通信1.1 管道1.1.1 核心特性1.1.2 缺点1.1.3 匿名管道与命名管道的对比 1.2 信号1.2.1 核心特性1.2.2 缺点1.2.3 信号分类对比 1.3 消息队列1.3.1 核心特性1.3.2 缺点 1.4 共享内存1.4.1 核心特性1.4.2 缺点 1.5 信号量1.5.1 核心特性1.5.2 缺点 二、So…...

编程日记 2025/8/17 15:04:00

[特殊字符] Milvus + LLM大模型：打造智能电影知识库系统

今天给大家分享一个超酷的技术组合：Milvus向量数据库 智谱AI大模型！我们将创建一个能理解电影内容的智能搜索系统，不仅能找到相关电影，还能用自然语言总结答案！ 🌟 项目背景 这个项目基于Milvus官方案例…...

编程日记 2025/8/17 15:04:57

MapReduce架构-打包运行

（一）maven打包 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序（例如：jar…...

编程日记 2025/8/17 13:32:01

信创生态核心技术栈：国产芯片架构适配详解

🧑 博主简介：CSDN博客专家、CSDN平台优质创作者，高级开发工程师，数学专业，10年以上C/C, C#, Java等多种编程语言开发经验，拥有高级工程师证书；擅长C/C、C#等开发语言，熟悉Java常用开…...

编程日记 2025/8/17 13:00:43

BBDM学习笔记

1. configs 1.1 LBBDM: Latent BBDM [readme]...

编程日记 2025/8/16 10:49:15

6. HTML 锚点链接与页面导航

在开发长页面或文档类网站时，锚点链接（Anchor Links）是一个非常实用的功能。通过学习 HTML 锚点技术，将会掌握如何在同一页面内实现快速跳转，以及如何优化长页面的导航体验。以下是基于给定素材的学习总结和实践心得 一、什么是锚点链接？ 锚点链接（也称为页面内链接）允…...

编程日记 2025/8/17 15:03:10

绘制拖拽html

<!DOCTYPE html> <html lang"zh-CN"> <head> <meta charset"UTF-8" /> <meta name"viewport" content"widthdevice-width, initial-scale1" /> <title>拖拽绘制矩形框 - 可移动可调整大小</ti…...

编程日记 2025/8/16 10:49:11

OpenCV计算机视觉实战（3）——计算机图像处理基础

OpenCV计算机视觉实战&#xff08;3&#xff09;——计算机图像处理基础 0. 前言1. 像素和图像表示1.1 像素 2. 色彩空间2.1 原色2.2 色彩空间2.3 像素和色彩空间 3. 文件类型3.1 图像文件类型3.2 视频文件3.3 图像与视频 4. 计算机图像编程简史5. OpenCV 概述小结系列链接 0. …...

编程日记 2025/8/17 15:03:09

零基础学Java——第九章：数据库编程(三)

第九章&#xff1a;数据库编程 - ORM框架&#xff08;下&#xff09; 在上一部分中&#xff0c;我们学习了ORM框架的基础知识和Hibernate框架。在这一部分中&#xff0c;我们将继续学习其他流行的ORM框架&#xff0c;包括MyBatis和Spring Data JPA。 1. MyBatis框架 1.1 MyB…...

编程日记 2025/8/17 15:02:15

Linux/AndroidOS中进程间的通信线程间的同步 - 信号量

1 概述 本文将介绍 POSIX 信号量&#xff0c;它允许进程和线程同步对共享资源的访问。有两种类型的 POSIX 信号量&#xff1a; 命名信号量&#xff1a;这种信号量拥有一个名字。通过使用相同的名字调用 sem_open()&#xff0c;不相关的进程能够访问同一个信号量。未命名信号量…...

编程日记 2025/8/17 8:25:44

精益数据分析（46/126）：深入剖析用户生成内容（UGC）商业模式

精益数据分析&#xff08;46/126&#xff09;&#xff1a;深入剖析用户生成内容&#xff08;UGC&#xff09;商业模式 在创业与数据分析的征程中&#xff0c;每一种商业模式都蕴含着独特的价值与挑战。今天&#xff0c;我们依旧怀揣着共同进步的信念&#xff0c;深入研读《精益…...

编程日记 2025/8/17 15:03:58

vue +xlsx+exceljs 导出excel文档

实现功能&#xff1a;分标题行导出数据过多&#xff0c;一个sheet表里表格条数有限制&#xff0c;需要分sheet显示。 步骤1:安装插件包 npm install exceljs npm install xlsx 步骤2&#xff1a;引用包 import XLSX from xlsx; import ExcelJS from exceljs; 步骤3&am…...

编程日记 2025/8/17 8:25:55

Android 10.0 SharedPreferences in credential encrypted storage are not avai

1.前言 在10.0的系统rom定制化开发中，在开机的过程中，由于某些应用在开机解锁阶段就开始访问查询短信和联系人等功能，所以 会出现抛异常的情况出现，接下来分析下相关的情况，然后来解决这些问题 2.SharedPreferences in credential encrypted storage are not available …...

编程日记 2025/8/16 10:49:00

面试高频算法：最长回文子串

题目&#xff1a;5. 最长回文子串 给你一个字符串 s&#xff0c;找到 s 中最长的回文子串。 回文&#xff1a;如果字符串向前和向后读都相同&#xff0c;则它满足回文性&#xff1b;子串&#xff1a;子字符串 是字符串中连续的非空字符序列。 示例 1&#xff1a; 输入&…...

编程日记 2025/8/16 10:48:58

RDK X5 交叉编译OSS\QT\opencv\openssl

RDK X5 交叉编译环境配置 1 资源2 使用vm安装Ubuntu22.043 安装依赖4 安装ide5 下载交叉编译工具6 编译oss库6.1 设置临时环境变量6.2 编译arm版本的openssl6.2 编译arm版本的curl6.1 下载oss源码6.1.1 创建arm-toolchain.cmake6.1.2 修改CMakeLists.txt6.1.3 编译 7 编译openc…...

编程日记 2025/8/16 10:48:57

Python cv2边缘检测与轮廓查找：从理论到实战

在计算机视觉领域&#xff0c;边缘检测与轮廓查找是图像分析的核心技术。本文将结合OpenCV库&#xff08;cv2模块&#xff09;&#xff0c;从理论原理到代码实战&#xff0c;系统讲解如何通过Python实现这两个关键操作。 一、基础概念解析 1.1 边缘检测的本质 边缘是图像中灰…...

编程日记 2025/8/16 10:48:55

5月7日星期三今日早报简报微语报早读

5月7日星期三&#xff0c;农历四月初十&#xff0c;早报#微语早读。 1、1101名优秀运动员拟保送&#xff0c;全红婵、黄雨婷、盛李豪在列&#xff1b; 2、世界羽联主席巴达玛&#xff1a;中国组织赛事的能力无与伦比&#xff1b; 3、中国首位、亚洲首位&#xff01;赵心童夺…...

编程日记 2025/8/17 15:03:08

智慧医院的可视化变革：可视化工具助力数字化转型

在科技飞速发展的当下&#xff0c;智慧医院已从概念逐步落地&#xff0c;深刻改变着传统医疗模式。它借助互联网、数字孪生及人工智能等前沿技术&#xff0c;在医疗服务领域掀起革新&#xff0c;涵盖面向医务人员的“智慧医疗”、面向患者的“智慧服务”以及面向医院的“智慧管…...

编程日记 2025/8/17 10:55:05

python+open3d选择点云上的某个点并获取其对应三维坐标

👑主页：吾名招财 👓简介：工科学硕，研究方向机器视觉，爱好较广泛… ​💫签名：面朝大海，春暖花开！ python+open3d选择点云上的某个点并获取其对应三维坐标 1，引言2，效果展示3，点云获取4，程序1，引言 有时候我们只想在点云上获取某个目标的具体坐标，通过程序根据…...

编程日记 2025/8/17 15:02:16

ROS第十三梯：RViz+Marker——自定义几何形状可视化

1）概述 在ROS（Robot Operating System）中，Marker是一种用于在RViz（Robot Visualization）中显示自定义几何形状和注释的工具。Marker是通过visualization_msgs/Marker消息类型发布的。可以在RViz中以各种形式（如点、线、文本、立方体等）显示数据。 2）主要消息格…...

编程日记 2025/8/17 15:04:57

Java高频面试之并发编程-13

hello啊&#xff0c;各位观众姥爷们&#xff01;&#xff01;&#xff01;本baby今天又来报道了&#xff01;哈哈哈哈哈嗝&#x1f436; 面试官&#xff1a;详解原子性、可见性、有序性 在并发编程中&#xff0c;原子性&#xff08;Atomicity&#xff09;、可见性&#xff08;…...

编程日记 2025/8/17 10:57:31

WSL 的 Ubuntu 子系统中启用图形化界面

sudo chmod w /home sudo apt update sudo apt install cifs-utils 1. 选择合适的 X 服务器 在 Windows 系统上&#xff0c;需要安装一个 X 服务器来处理 WSL 中 Ubuntu 的图形显示。常用的 X 服务器有 VcXsrv 和 X410&#xff0c;这里以 VcXsrv 为例&#xff1a; 从VcXsrv 官…...

编程日记 2025/8/17 15:02:16

项目模拟实现消息队列第二天

消息应答的模式 1.自动应答: 消费者把这个消息取走了&#xff0c;就算是应答了&#xff08;相当于没有应答) 2.手动应答: basicAck方法属于手动应答(消费者需要主动调用这个api进行应答) 小结 1.需要实现生产者,broker server&#xff0c;消费者这三个部分的 2.针对生产者和消费…...

编程日记 2025/8/16 10:48:42

MySQL OCP和Oracle OCP怎么选？

近期oracle 为庆祝 MySQL 数据库发布 30 周年&#xff0c;Oracle 官方推出限时福利&#xff1a;2025 年 4 月 20 日至 7 月 31 日期间&#xff0c;所有人均可免费报考 MySQL OCP&#xff08;Oracle Certified Professional&#xff09;认证考试&#xff08;具体可查看MySQL OCP…...

编程日记 2025/8/16 10:48:40

SR触发器为什么能够消抖

SR触发器&#xff08;Set-Reset触发器&#xff09;能够用于**消抖&#xff08;Debounce&#xff09;**&#xff0c;主要是因为它的双稳态特性和对输入信号的锁定能力。机械开关&#xff08;如按键、拨动开关&#xff09;在闭合或断开时&#xff0c;由于金属触点的弹性&#xff…...

编程日记 2025/8/17 8:54:46

2025ISCC练武校级赛部分题解WP

Web 战胜卞相壹 <!-- 路过的酒罐王柯洁九段说&#xff1a; --> <!-- 会叠棋子有什么用&#xff01;你得在棋盘内战胜他&#xff01;我教你个定式&#xff0c;要一直记得&#xff01;一直&#xff01; --> <!-- SGF B[ae];B[ce];B[df];B[cg];B[ag];B[ai];B[ci];…...

编程日记 2025/8/17 15:02:14

Microsoft Azure 在印度尼西亚区域正式上线

微软正式宣布&#xff0c;其首个落地印度尼西亚的云区域——Indonesia Central 已全面上线并正式投入使用&#xff01;这一区域精心设置了三个可用性区&#xff08;Availability Zones&#xff09;&#xff0c;每个可用性区均配备独立的电源、冷却系统以及网络设施&#xff0c;…...

编程日记 2025/8/16 10:48:34

day18 python聚类分析对数据集模型性能影响

聚类后的分析&#xff1a;推断簇的类型 知识点回顾&#xff1a; 推断簇含义的2个思路&#xff1a;先选特征和后选特征通过可视化图形借助ai定义簇的含义科研逻辑闭环:通过精度判断特征工程价值 作业&#xff1a;参考示例代码对心脏病数据集采取类似操作&#xff0c;并且评估特征…...

编程日记 2025/8/17 9:18:16

vue3的新特性

vue2 data属性和方法名散落于各个位置&#xff0c;量大了不好找 顺序变了&#xff0c;script在最前面 setup vue3中不用this&#xff0c;setup的执行时期比beforeCreate还要早&#xff0c;所以不要用this setup中写代码的特点 必须要有return&#xff0c;才能在上面使用 什么…...

编程日记 2025/8/16 10:48:30

NX二次开发——BlockUI 弹出另一个BlockUI对话框

最近在研究&#xff0c;装配体下自动导出BOM表格中需要用到BlockUI 弹出另一个BlockUI对话框。通过对网上资料进行整理总结&#xff0c;具体如下&#xff1a; 1、明确主对话框、子对话框1和子对话框2 使用BlockUI创建.cpp和.hpp文件&#xff0c;dlx文件内容如下所示 主对话框…...

编程日记 2025/8/16 10:48:29

《Overlapping Experiment Infrastructure: More, Better, Faster》论文阅读笔记

文章目录 1 背景2 三个核心概念3 Launch层&#xff1a;特性发布的专用机制4 流量分发策略和条件筛选4.1 四种流量分发类型4.2 条件筛选机制 5 工具链与监控体系6 实验设计原则7 培训参考与推荐 1 背景 谷歌&#xff08;Google&#xff09;以数据驱动著称&#xff0c;几乎所有可…...

编程日记 2025/8/17 9:33:24

【Machine Learning Q and AI 读书笔记】- 05 利用数据减少过拟合现象

Machine Learning Q and AI 中文译名 大模型技术30讲&#xff0c;主要总结了大模型相关的技术要点&#xff0c;结合学术和工程化&#xff0c;对LLM从业者来说&#xff0c;是一份非常好的学习实践技术地图. 本文是Machine Learning Q and AI 读书笔记的第5篇&#xff0c;对应原…...

编程日记 2025/8/16 12:32:57

前端面试测试题目（一）

一、Vue的双向绑定机制&#xff08;v-model底层实现原理&#xff09; Vue的双向绑定核心由 响应式系统 和 指令语法糖 共同实现&#xff0c;具体原理如下&#xff1a; 响应式系统 Vue通过数据劫持和依赖收集实现数据变化到视图的同步&#xff1a; • 数据劫持&#xff1a;在Vue…...

编程日记 2025/8/16 10:48:27

最优化方法Python计算：无约束优化应用——线性回归分类器

一、线性回归分类器 假设样本数据为 ( x i , y i ) (\boldsymbol{x}_i, y_i) (xi​,yi​)&#xff0c;其中 i 1 , 2 , … , m i 1, 2, \dots, m i1,2,…,m。标签 y i y_i yi​ 取值于 k k k 个整数 { 1 , 2 , … , k } \{1, 2, \dots, k\} {1,2,…,k}&#xff0c;从而构…...

编程日记 2025/8/17 10:39:46

【汇正自控阀门集团】签约智橙PLM，智橙助泵阀“以国代进”

签约智橙&#xff0c;汇正阀门的“以国代进”举措 随着阀门市场竞争日益激烈、市场需求日益多样化&#xff0c;无论是出口海外、以国代进&#xff0c;还是进军新能源、造船、油气等投资景气的下游市场&#xff0c;阀门企业能否在快速迭代产品、保持技术领先的同时&#xff0c;…...

编程日记 2025/8/16 10:48:23