当前位置： 首页 > news >正文

Apache Kafka全栈技术解析

news 来源：原创 2025/8/25 12:16:13

目录

第一章 Kafka概述与核心价值

1.1 消息队列的演进与Kafka的诞生

1.2 Kafka的核心应用场景

1.3 Kafka生态全景图

第二章 Kafka核心概念与架构解析

2.1 核心概念深度剖析

2.2 Kafka架构设计精要

第三章 Kafka环境搭建与配置

3.1 单机部署实战

3.2 集群部署最佳实践

3.3 Docker & Kubernetes部署

第四章 Kafka API深度使用

4.1 生产者API与消息保障

4.2 消费者API与位移管理

4.3 Admin API运维操作

第五章 生产环境运维实践

5.1 监控指标体系

5.2 日志管理与数据清理

5.3 安全加固方案

第六章 性能调优黄金法则

6.1 生产者优化

6.2 Broker优化

6.3 消费者优化

第七章 常见疑难问题排错

7.1 消息丢失场景

7.2 重复消费问题

7.3 集群脑裂问题

第八章 压力测试与基准报告

8.1 测试环境规划

8.2 生产者压测

8.3 消费者压测

8.4 性能瓶颈分析

第九章 Kafka源码解析进阶

9.1 网络层设计

9.2 存储引擎揭秘

9.3 副本同步机制

第十章 Kafka未来演进

10.1 KRaft模式（去ZooKeeper化）

10.2 Tiered Storage分层存储

10.3 流处理能力增强

第一章 Kafka概述与核心价值

1.1 消息队列的演进与Kafka的诞生

  • 消息队列的三大核心功能（解耦、削峰、异步）

  • Kafka的设计哲学：高吞吐、分布式、持久化

  • 与RabbitMQ、RocketMQ的对比分析

1.2 Kafka的核心应用场景

  • 实时数据管道（如日志采集、用户行为追踪）

  • 事件驱动架构（EDA）的基石

  • 流处理平台（Kafka Streams、Flink集成）

1.3 Kafka生态全景图

  • 核心组件：Broker、ZooKeeper、Producer、Consumer

  • 周边生态：Connect、Streams、KSQL、MirrorMaker

第二章 Kafka核心概念与架构解析

2.1 核心概念深度剖析

  • Topic：逻辑消息分类单元

  • Partition：并行处理的秘密（分区策略详解）

  • Offset：消息的唯一标识与消费者定位

  • Replica：ISR机制与数据高可用保障

  • Consumer Group：水平扩展与负载均衡

2.2 Kafka架构设计精要

  • 分布式Commit Log存储机制

  • 生产者-存储层-消费者三级解耦

  • 数据持久化策略（顺序写盘、零拷贝）

  • ZooKeeper的角色演变（KIP-500去ZK化）

第三章 Kafka环境搭建与配置

3.1 单机部署实战

# 下载解压
wget https://archive.apache.org/dist/kafka/3.6.0/kafka_2.13-3.6.0.tgz
tar -xzf kafka_2.13-3.6.0.tgz# 启动ZooKeeper（Kafka 3.0+内置）
bin/zookeeper-server-start.sh config/zookeeper.properties# 启动Kafka Broker
bin/kafka-server-start.sh config/server.properties

3.2 集群部署最佳实践

  • server.properties关键配置：

broker.id=1
listeners=PLAINTEXT://host:9092
log.dirs=/data/kafka-logs
num.partitions=3
default.replication.factor=2
min.insync.replicas=1

3.3 Docker & Kubernetes部署

# docker-compose.yml示例
version: '3'
services:zookeeper:image: zookeeper:3.8.0kafka:image: confluentinc/cp-kafka:7.3.0depends_on: [zookeeper]environment:KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092

第四章 Kafka API深度使用

4.1 生产者API与消息保障

// Java生产者示例（Exactly-Once语义）
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("acks", "all");
props.put("enable.idempotence", "true");
props.put("transactional.id", "prod-1");Producer<String, String> producer = new KafkaProducer<>(props);
producer.initTransactions();try {producer.beginTransaction();producer.send(new ProducerRecord<>("orders", "key", "value"));producer.commitTransaction();
} catch (ProducerFencedException e) {producer.close();
}

4.2 消费者API与位移管理

# Python消费者示例（手动提交）
from kafka import KafkaConsumerconsumer = KafkaConsumer('user_events',bootstrap_servers='localhost:9092',group_id='analytics-group',enable_auto_commit=False
)for msg in consumer:process_message(msg.value)consumer.commit()

4.3 Admin API运维操作

// 创建Topic（3分区2副本）
AdminClient admin = AdminClient.create(props);
admin.createTopics(Collections.singleton(new NewTopic("logs", 3, (short) 2)
));

第五章 生产环境运维实践

5.1 监控指标体系

  • 关键监控项：

    • Broker: UnderReplicatedPartitions, ActiveControllerCount

    • Producer: RecordSendRate, RequestLatency

    • Consumer: RecordsLag, CommitRate

5.2 日志管理与数据清理

# 按时间保留策略
log.retention.hours=168
# 按大小保留策略 
log.retention.bytes=1073741824
# 清理策略
log.cleanup.policy=delete

5.3 安全加固方案

  • SASL/SCRAM认证配置

  • SSL加密传输

  • ACL权限控制

第六章 性能调优黄金法则

6.1 生产者优化

  • batch.size（16KB-1MB）

  • linger.ms（5-100ms）

  • compression.type（snappy/lz4/zstd）

6.2 Broker优化

  • num.io.threads=8

  • num.network.threads=3

  • log.flush.interval.messages=10000

6.3 消费者优化

  • fetch.min.bytes=1

  • max.poll.records=500

  • 多线程消费模型

第七章 常见疑难问题排错

7.1 消息丢失场景

  • 生产者未收到ACK

  • Broker刷盘策略不当

  • 消费者未提交offset

7.2 重复消费问题

  • 生产者重试导致消息重复

  • 消费者提交offset失败

  • 解决方案：幂等处理、事务消息

7.3 集群脑裂问题

  • ZooKeeper会话超时

  • 网络分区隔离

  • 恢复方案：优先保障分区一致性

第八章 压力测试与基准报告

8.1 测试环境规划

  • 3 Broker集群（16核/32GB/NVMe SSD）

  • 万兆网络环境

8.2 生产者压测

bin/kafka-producer-perf-test.sh \--topic test \--num-records 1000000 \--record-size 1024 \--throughput -1 \--producer-props bootstrap.servers=localhost:9092

8.3 消费者压测

bin/kafka-consumer-perf-test.sh \--topic test \--bootstrap-server localhost:9092 \--messages 1000000

8.4 性能瓶颈分析

  • 网络带宽限制（单分区吞吐上限）

  • 磁盘IOPS瓶颈

  • CPU密集型操作（压缩/加密）

第九章 Kafka源码解析进阶

9.1 网络层设计

  • Reactor模式实现（SocketServer核心类）

  • 请求处理全流程解析

9.2 存储引擎揭秘

  • 分段日志（LogSegment）

  • 索引文件（OffsetIndex/TimeIndex）

  • 页缓存优化技巧

9.3 副本同步机制

  • Leader/Follower状态机

  • LEO与HW更新逻辑

  • 副本故障转移流程

第十章 Kafka未来演进

10.1 KRaft模式（去ZooKeeper化）

  • 共识算法改进

  • 控制器架构重构

10.2 Tiered Storage分层存储

  • 冷热数据分离策略

  • 与对象存储集成

10.3 流处理能力增强

  • KStreams与KSQL演进

  • 与Flink深度整合

相关文章：

Apache Kafka全栈技术解析

目录 第一章 Kafka概述与核心价值 1.1 消息队列的演进与Kafka的诞生 1.2 Kafka的核心应用场景 1.3 Kafka生态全景图 第二章 Kafka核心概念与架构解析 2.1 核心概念深度剖析 2.2 Kafka架构设计精要 第三章 Kafka环境搭建与配置 3.1 单机部署实战 3.2 集群部署最佳实践 …...

编程日记 2025/8/25 12:16:13

结合 Flink/Spark 进行 AI 大数据处理（实时数据 + AI 推理的应用场景）

随着企业对实时智能决策的需求日益增强，将 Flink / Spark 等流批计算框架 与 大模型推理能力相结合，正在成为 AI 工业化落地的重要实践路径。本篇文章将深入介绍如何将 AI 模型集成到大数据流处理系统中，实现实时感知、智能判断与自动反馈。 1. 为什么需要“实时数据 + AI 推…...

编程日记 2025/8/22 21:47:26

开发PDF时，如何比较 PDF 文件

在 PDF 论坛上&#xff0c;“如何比较 PDF 文件”是一个经常被提到的问题。在开始之前&#xff0c;重要的是要明确你想要比较的内容是什么。 不同的 PDF 文件可能看起来一样吗&#xff1f; 是的&#xff0c;可能。不同的 PDF 创建工具可能会生成在视觉上完全相同的页面&#x…...

编程日记 2025/8/25 5:43:01

自动提取pdf公式 ➕ 输出 LaTeX

# 创建打包脚本的主内容 script_content """ from doc2x.extract_formula import extract_formula_imgs from pix2text import Pix2Text from PIL import Image import osdef main():pdf_path "your_file.pdf" # 将你的PDF命名为 your_file.pdf 并…...

编程日记 2025/8/23 2:08:06

abaqus二次开发python程序集

abaqus二次开发python程序集 1、设置字体背景色等2、读取模态频率并写入 csv 文件3、在两个窗口快速对比各价模态 1、设置字体背景色等 # _*_ coding:UTF-8 _*_from abaqusConstants import* def fontsize(sessionNone):#设置字体session.viewports[Viewport: 1].viewportAnno…...

编程日记 2025/8/24 16:11:58

高级java每日一道面试题-2025年3月23日-微服务篇[Nacos篇]-如何使用Nacos进行服务发现？

如果有遗漏,评论区告诉我进行补充 面试官: 如何使用Nacos进行服务发现&#xff1f; 我回答: 在Java高级面试中讨论如何使用Nacos进行服务发现时&#xff0c;可以从多个角度深入探讨&#xff0c;包括基本概念、配置步骤、代码示例以及高级特性。以下是综合了多种信息的详细回…...

编程日记 2025/8/22 7:00:26

k8s核心资源对象一（入门到精通）

本文将深入探讨Kubernetes中的核心资源对象&#xff0c;包括Pod、Deployment、Service、Ingress、ConfigMap和Secret&#xff0c;详细解析其概念、功能以及实际应用场景&#xff0c;帮助读者全面掌握这些关键组件的使用方法。 一、pod 1 pod概念 k8s最小调度单元&#xff0c;…...

编程日记 2025/8/23 8:43:15

了解 DeepSeek R1

了解DeepSeek R1 R1探索纯强化学习是否可以在没有监督微调的情况下学会推理的能力。 ‘Aha’ Moment 这种现象有点类似于人类在解决问题时突然意识到的方式&#xff0c;以下是它的工作原理&#xff1a; 初始尝试&#xff1a;模型对解决问题进行初始尝试识别&#xff1a;识别…...

编程日记 2025/8/22 23:01:24

【C语言】大小端字节序和字节序判断

前言&#xff1a; 在上章介绍了整形在内存的储存&#xff0c;了解了原码&#xff0c;反码&#xff0c;补码&#xff0c;知道了整数在内存的储存一般是补码&#xff0c;解决了负数相加的问题。 那么在本章为大家讲解一下大小端字节序。 一那字节序是什么呢&#xff1f; 字节…...

编程日记 2025/8/25 12:15:47

DrissionPage移动端自动化：从H5到原生App的跨界测试

一、移动端自动化测试的挑战与机遇 移动端测试面临多维度挑战&#xff1a; 设备碎片化&#xff1a;Android/iOS版本、屏幕分辨率差异 混合应用架构&#xff1a;H5页面与原生组件的深度耦合 交互复杂性&#xff1a;多点触控、手势操作、传感器模拟 性能监控&#xff1a;内存…...

编程日记 2025/8/22 20:41:25

ARM 汇编启动代码详解：从中断向量表到中断处理

ARM 汇编启动代码详解&#xff1a;从中断向量表到中断处理 引言 在嵌入式系统开发中&#xff0c;ARM 处理器&#xff08;如 Cortex-A 系列&#xff09;的启动代码是系统初始化和运行的基础。启动代码通常包括中断向量表的创建、初始化硬件状态&#xff08;如关闭缓存和 MMU&a…...

编程日记 2025/8/23 16:21:06

笔试专题（七）

文章目录 乒乓球筐&#xff08;哈希&#xff09;题解代码 组队竞赛题解代码 删除相邻数字的最大分数&#xff08;线性dp&#xff09;题解代码 乒乓球筐&#xff08;哈希&#xff09; 题目链接 题解 1. 两个哈希表 先统计第一个字符串中的字符个数&#xff0c;再统计第二个字…...

编程日记 2025/8/19 12:25:36

React基础知识（一）

文章目录 概念特点React基本使用hello_react案例虚拟DOM的两种创建方式使用jsx创建使用js创建 虚拟DOM和真实DOM React jsxXMLjsx语法规则作用基本语法规则js语句和js代码babel.js作用 模块与组件模块组件 React面向组件编程函数式组件类组件 概念 react是一个将数据渲染为Htm…...

编程日记 2025/8/21 22:25:55

红黑树（Red-Black Tree）核心知识点与面试高频问题

红黑树&#xff08;Red-Black Tree&#xff09;核心知识点与面试高频问题 一、红黑树的核心性质 红黑树是一种自平衡的二叉搜索树&#xff0c;通过以下规则确保平衡性&#xff1a; 节点颜色&#xff1a;每个节点是红色或黑色。 根节点&#xff1a;根必须是黑色。 叶子节点&a…...

编程日记 2025/8/24 21:34:37

SpringBoot整合SSM

一、SpringBoot整合SSM SpringBoot整合SpringSpringBoot整合SpringMVCSpringBoot整合MyBatis&#xff08;主要&#xff09; 步骤一&#xff1a;创建SpringBoot工程&#xff0c;添加druid依赖 <!-- todo 1 添加druid连接池依赖--> <dependency><groupId>co…...

编程日记 2025/8/22 14:44:48

set/multiset容器

1.概念 所有元素会在插入时自动排序 set/multiset属于关联式容器&#xff0c;底层结构是用二叉树实现。 set不允许重复元素&#xff0c;multiset允许重复元素。 2. set构造和赋值 set<T> st; set(const set &st);// 拷贝构造函数 set& operator(const set &a…...

编程日记 2025/8/23 13:27:16

vim 编辑器 使用教程

Vim是一款强大的文本&#xff08;代码&#xff09;编辑器&#xff0c;它是由Bram Moolenaar于1991年开发完成。它的前身是Bill Joy开发的vi。名字的意义是Vi IMproved。 打开vim&#xff0c;直接在命令行输入vim即可&#xff0c;或者vim <filename>. Vim分为四种模式&a…...

编程日记 2025/8/20 8:47:05

去中心化固定利率协议

核心机制与分类 协议类型&#xff1a; 借贷协议&#xff08;如Yield、Notional&#xff09;&#xff1a;通过零息债券模型&#xff08;如fyDai、fCash&#xff09;锁定固定利率。 收益聚合器&#xff08;如Saffron、BarnBridge&#xff09;&#xff1a;通过风险分级或博弈论…...

编程日记 2025/8/18 1:01:50

Python高阶函数-filter

1. 基本概念 filter() 是Python内置的高阶函数&#xff0c;用于过滤序列中的元素。它接收一个函数和一个可迭代对象作为参数&#xff0c;返回一个迭代器&#xff0c;包含使函数返回True的所有元素。 filter(function, iterable)2. 工作原理 惰性计算&#xff1a;filter对象是…...

编程日记 2025/8/24 12:00:52

hive/doris查询表的创建和更新时间

hive查询表的创建和更新时间&#xff1a; SELECT d.NAME AS database_name, t.TBL_NAME AS table_name, FROM_UNIXTIME(t.CREATE_TIME) AS create_time, FROM_UNIXTIME(tp.PARAM_VALUE) AS last_ddl_time FROM metastore.TBLS t JOIN metastore.DBS d ON t.DB_ID d.DB_ID JOIN…...

编程日记 2025/8/19 9:03:24

40常用控件_WindowFrame的影响

window frame 的影响 如果 widget 作为一个窗口(带有标题栏,最小化,最大化,关闭按钮),那么在计算尺寸和坐标的 时候就有两种算法.包含 window frame 和 不包含 window frame. 其中x(),y0,frameGeometry(), pos(),move() 都是按照包含 window frame 的方式来计算 的. 其中 geome…...

编程日记 2025/8/21 15:15:28

PCB 赋能机器人技术革新：核心功能与前沿趋势

一、智能控制中枢的异构集成 采用 20 层刚挠结合板架构&#xff0c;搭载 NVIDIA Jetson AGX Orin SoC&#xff08;100TOPS 算力&#xff09;&#xff0c;集成 64 位 ARMv8 内核与 32GB 内存&#xff0c;实现多模态传感器数据融合与实时决策。板载 128MB DDR4 缓存支持 μs 级响…...

编程日记 2025/8/17 22:15:59

unity 环形UI菜单实现方法2

在项目中需要一个环形UI并且循环往复的效果&#xff0c;这个方法思路为提前预设好位置&#xff0c;让UI根据坐标预设的移动&#xff0c;然后使用mask遮罩达到循环往复效果的目的。 下图分别分为了三个列表 第一个列表poslist是提前预设的位置 第二个列表为背景暂时不用看 第三个…...

编程日记 2025/8/20 11:49:22

Redis进阶--主从复制

目录 一、引言 二、介绍 三、解决问题 四、配置主从复制 1.复制 全量复制&#xff1a; 部分复制&#xff1a; 实时复制&#xff1a; 五、总结 一、引言 本篇文章将继续介绍Redis中的主从复制机制 二、介绍 主从复制是在分布式系统中实现的&#xff0c;希望有多个服务器…...

编程日记 2025/8/22 23:15:40

Redisson分布式锁：原理、使用

1. Redisson简介 Redisson是一个基于Redis的Java客户端库&#xff0c;提供了丰富的分布式对象和服务&#xff08;如分布式锁、信号量、Map等&#xff09;。其核心优势在于​​简化分布式锁的实现​​&#xff0c;并解决了原生Redis分布式锁的常见问题&#xff08;如死锁、误删…...

编程日记 2025/8/23 8:07:43

Java设计模式之外观、享元、组合模式《三国争霸：模式风云录》

第一章&#xff1a;乱世起&#xff08;外观初现&#xff09; 黄巾余孽张角三兄弟操控"混沌子系统"&#xff0c;各地流民不堪996劳役。观国隐士诸葛孔明出山&#xff0c;在博望坡构建首个"军师智脑"&#xff1a; /​**​* 外观模式&#xff1a;军师智…...

编程日记 2025/8/22 17:01:39

设计模式之解释器模式：原理、实现与应用

引言 解释器模式&#xff08;Interpreter Pattern&#xff09;是一种行为型设计模式&#xff0c;它定义了一种语言的文法表示&#xff0c;并提供一个解释器来解释该语言中的句子。解释器模式适用于需要解析特定语法规则的场景&#xff0c;如正则表达式、SQL解析等。本文将深入…...

编程日记 2025/8/21 8:37:29

redis itheima

缓存问题 核心是如何避免大量请求到达数据库 缓存穿透 既不存在于 redis&#xff0c;也不存在于 mysql 的key&#xff0c;被重复请求 public Result queryById(Long id) {String key CACHE_SHOP_KEYid;// 1. redis & mysqlString shopJson stringRedisTemplate.opsFo…...

编程日记 2025/8/23 16:55:21

AF3 OpenFoldDataModule类setup方法解读

AlphaFold3 data_modules 模块的 OpenFoldDataLoader 类 setup 方法用于设置数据集的关键部分，负责根据不同的模式（训练、验证或预测）生成和初始化相应的数据集。 源代码： def setup(self, stage=None):# Most of the arguments are the same for the three datasets data…...

编程日记 2025/8/23 21:01:35

服务器报错：xxx/libc.so.6: version `GLIBC_2.32‘ not found

/lib/x86_64-linux-gnu/libc.so.6: version GLIBC_2.32 not found (required by ./aima-sim-app-main) 解决思路 根据错误信息&#xff0c;您的应用程序 aima-sim-app-main 和 libmujoco.so.3.1.6 库依赖于较新的 GNU C Library (glibc) 版本&#xff08;如 GLIBC_2.32, GLIBC…...

编程日记 2025/8/20 4:34:34

FPGA状态机设计：流水灯实现、Modelsim仿真、HDLBits练习

一、状态机思想 1.概念 状态机&#xff08;Finite State Machine, FSM&#xff09;是计算机科学和工程领域中的一种抽象模型&#xff0c;用于描述系统在不同状态之间的转换逻辑。其核心思想是将复杂的行为拆解为有限的状态&#xff0c;并通过事件触发状态间的转移。 2.状态机…...

编程日记 2025/8/23 11:19:27

机试题——最少乘坐公交次数

题目描述 春节将近&#xff0c;小明想在节日期间逛一逛城里的 ( N ) 个著名景点。所有景点都能通过坐公交到达。需要设计一种公交路线方案&#xff0c;让小明能最快地逛完所有景点。 输入描述 第一行&#xff1a;一个整数 ( N )&#xff0c;表示景点数量&#xff0c;满足 ( …...

编程日记 2025/8/23 19:19:55

防孤岛保护装置在分布式光伏并网中的应用

什么是光伏的“孤岛效应” 孤岛islanding 包含负荷和电源的部分电网&#xff0c;从主网脱离后继续孤立运行的状态。孤岛可分为非计划性孤岛和计划性孤岛。 孤岛效应的危害 当电网侧停电检修&#xff0c;若并网光伏电站的逆变器仍在继续供电&#xff0c;维修人员不一定…...

编程日记 2025/8/25 3:07:47

记一次gitlab服务器负载过高问题处理

服务器上进程 /var/opt/gitlab/gitlab-rails/etc/unicorn.rb /opt/gitlab/embedded/service/gitlab-rails/config.ru 进程服务器cpu占用过高应该怎么处理 tail -f /var/log/gitlab/gitlab-rails/production.log调整 Unicorn 配置&#xff1a;unicorn.rb 是 Unicorn 服务器的配…...

编程日记 2025/8/24 1:09:42

LiT and Lean: Distilling Listwise Rerankers intoEncoder-Decoder Models

文章&#xff1a;ECIR 2025会议 一、动机 背景&#xff1a;利用LLMs强大的能力&#xff0c;将一个查询&#xff08;query&#xff09;和一组候选段落作为输入&#xff0c;整体考虑这些段落的相关性&#xff0c;并对它们进行排序。 先前的研究基础上进行扩展 [14,15]&#xff0c…...

编程日记 2025/8/20 8:30:47

【项目日记】高并发服务器项目总结

生活总是让我们遍体鳞伤&#xff0c; 但到后来&#xff0c; 那些受伤的地方一定会变成我们最强壮的地方。 -- 《老人与海》-- 高并发服务器项目总结 模块关系图项目工具模块缓冲区模块通用类型模块套接字socket模块信道Channel模块多路转接Poller模块 Reactor模块时间轮Tim…...

编程日记 2025/8/23 20:05:59

P1332 血色先锋队（BFS）

题目背景 巫妖王的天灾军团终于卷土重来&#xff0c;血色十字军组织了一支先锋军前往诺森德大陆对抗天灾军团&#xff0c;以及一切沾有亡灵气息的生物。孤立于联盟和部落的血色先锋军很快就遭到了天灾军团的重重包围&#xff0c;现在他们将主力只好聚集了起来&#xff0c;以抵…...

编程日记 2025/8/22 13:03:18

systemd 与 SysVinit

1. 什么是 systemd 和 SysVinit&#xff1f; systemd 和 SysVinit 都是 Linux 的初始化系统&#xff08;init system&#xff09;&#xff0c;用于管理系统启动、服务、进程和日志。 比较项SysVinitsystemd启动方式逐步启动&#xff08;串行&#xff09;并行启动&#xff08;…...

编程日记 2025/8/21 12:43:14

PythonWeb项目-Django+vue白酒数据推荐系统功能介绍

❥(^_-) 上千个精美定制模板，各类成品Java、Python、PHP、Android毕设项目，欢迎咨询。 ❥(^_-) 程序开发、技术解答、代码讲解、文档，💖文末获取源码+数据库+文档💖 💖软件下载 | 实战案例 💖文章底部二维码，可以联系获取软件下载链接，及项目演示视频。 本项目源…...

编程日记 2025/8/22 14:47:44

AWS Bedrock：开启企业级生成式AI的钥匙【深度解析】

引言&#xff1a;生成式AI的工业革命需要新基建 根据Gartner预测&#xff0c;到2026年超过80%的企业将在生产环境中部署生成式AI。而AWS Bedrock作为首个企业级生成式AI托管平台&#xff0c;正在重塑AI工业化落地的技术范式。本文将深入解构其技术架构与商业价值。 一、Bedroc…...

编程日记 2025/8/21 7:25:37

网络安全应急响应-文件痕迹排查

在Windows系统的网络安全应急响应中&#xff0c;文件痕迹排查是识别攻击行为的关键步骤。以下是针对敏感目录的详细排查指南及扩展建议&#xff1a; 1. 临时目录排查&#xff08;Temp/Tmp&#xff09; 路径示例&#xff1a; C:\Windows\TempC:\Users\<用户名>\AppData\L…...

编程日记 2025/8/21 9:23:59

【玩转全栈】—— Django 连接 vue3 保姆级教程，前后端分离式项目2025年4月最新！！！

本文基于之前的一个旅游网站&#xff0c;实现 Django 连接 vue3&#xff0c;使 vue3 能携带 CSRF Token 发送 axios 请求给后端&#xff0c;后端再响应数据给前端。想要源码直接滑倒底部。 目录 实现效果 解决跨域 获取 csrf-token 什么是 csrf-token &#xff1f; CSRF攻击的…...

编程日记 2025/8/23 19:19:01

网络安全·第一天·IP协议安全分析

本篇博客讲述的是网络安全中一些协议缺陷以及相应的理论知识&#xff0c;本博主尽可能讲明白其中的一些原理以及对应的防卫措施。 学习考研408的同学也能进来看看&#xff0c;或许对考研有些许帮助&#xff08;按照考研现在的趋势&#xff0c;年年都有新题目&#xff0c;本文当…...

编程日记 2025/8/17 4:57:19

TensorFlow深度学习实战——字符嵌入、子词嵌入、句子嵌入和段落嵌入

TensorFlow深度学习实战——字符嵌入、子词嵌入、句子嵌入和段落嵌入 0. 前言1. 字符嵌入2. 字词嵌入3. 句子嵌入和段落嵌入相关链接 0. 前言 在自然语言处理中&#xff0c;嵌入 (Embedding) 技术是将文本转化为数值向量的核心方法&#xff0c;使计算机能够理解和处理语言中的…...

编程日记 2025/8/22 13:34:32

剖析AI与5G：是夸大其词，还是时代变革的引擎？-优雅草卓伊凡

剖析AI与5G&#xff1a;是夸大其词&#xff0c;还是时代变革的引擎&#xff1f;-优雅草卓伊凡 在当今科技飞速发展的时代&#xff0c;AI与5G无疑是两大备受瞩目的焦点。近日&#xff0c;一个引人深思的问题浮出水面&#xff1a;“AI是不是被夸大了&#xff0c;就像当年的5G一样…...

编程日记 2025/8/23 12:16:42

Python Cookbook-5.7 在增加元素时保持序列的顺序

任务 你需要维护一个序列&#xff0c;这个序列不断地有新元素加入&#xff0c;但始终处于排序完毕的状态这样你可以在任何需要的时候检查或者删除当前序列中最小的元素。 解决方案 假设有一个未排序的列表&#xff0c;比如: the_list [903, 10, 35, 69, 933, 485, 519, 37…...

编程日记 2025/8/21 16:43:02

Ubuntu18系统安装

1、虚拟机安装 请参照之前的《虚拟机安装centos7-NAT网络模式安装》与《虚拟机安装centos7-桥接模式》 2、启动虚拟机进入系统的欢迎界面 选择English后并点击回车键(Enter) 3、进入安装页面 选择Countinue without updating并点击回车键(Enter) 4、键盘配置 选择Done并点击…...

编程日记 2025/8/20 12:37:00

【AIGC】零样本学习方法综述(TPAMI 2023 研究综述)

出版日期为2022年7月18日&#xff1b;工作由国家自然科学基金资助6217616年6061732011和61976141&#xff0c;部分由广东基础和应用基础研究基金资助2022A1515010791&#xff0c;部分由深圳大学自然科学基金会稳定支持计划资助号20200804193857002&#xff0c;部分由SZU的跨学科…...

编程日记 2025/8/23 19:52:22

Redis持久化之AOF

AOF&#xff08;Append Only File&#xff09;持久化&#xff1a;以独立日志的方式记录每次写命令&#xff0c;重启时再重新执行AOF文件中的命令达到恢复数据的目的。AOF的主要作用解决了数据持久化的实时性。 1.使用AOF 开启AOF需要设置配置文件&#xff1a; appendonly yes…...

编程日记 2025/8/23 14:22:56

QT6（12）3.3.1 Qt元对象系统概述：QObject 类与 QMetaObject 类，类型转换 qobject_cast＜T＞()。

&#xff08;33&#xff09;Qt元对象系统概述&#xff1a; QObject 类&#xff1a; 以及&#xff1a; 老师带咱们学生测试一下&#xff1a; 谢谢老师 &#xff08;34&#xff09;类型转换 qobject_cast( ) &#xff1a; 来自 一言的教导&#xff1a; &#xff08;35&#x…...

编程日记 2025/8/17 23:45:42