当前位置： 首页 > news >正文

spark数据压缩

news 来源：原创 2025/6/30 23:59:16

### Spark 数据压缩方法及其实现

在大数据处理框架中，数据压缩是一个重要的环节，它不仅能够减少磁盘占用空间，还能降低网络传输成本。然而，在分布式计算环境中（如 Spark），选择合适的压缩编解码器至关重要，因为它直接影响到后续任务的执行效率和资源利用率。

---

#### 1. 压缩的重要性与挑战
在 Spark 中，数据压缩主要用于以下几个方面：
- 减少 HDFS 上存储的数据量。
- 缩短 Shuffle 阶段中的数据写入和读取时间。
- 提升整体作业性能。

尽管如此，不同的压缩格式可能带来不同程度的影响。例如，某些不可分割的压缩格式可能导致无法充分利用集群的并行能力。

---

#### 2. 可用的压缩编码器及其特性
以下是几种常见的压缩编解码器及其特点：

| 格式     | 是否可分割 | 平均压缩速度 | 文本文件压缩效率 | Hadoop 压缩编解码器类名                          | 纯 Java 实现 |
|----------|-------------|--------------|-------------------|-----------------------------------------------|-------------|
| gzip      | 否          | 快           | 高                | org.apache.hadoop.io.compress.GzipCodec       | 是         |
| lzo       | 是 (依赖库) | 非常快        | 中等              | com.hadoop.compression.lzo.LzoCodec          | 是         |
| bzip2     | 是          | 慢           | 非常高            | org.apache.hadoop.io.compress.Bzip2Codec     | 是         |
| zlib/Snappy | 否/否      | 慢/非常快     | 中等/低           | org.apache.hadoop.io.compress.DefaultCodec<br>org.apache.hadoop.io.compress.SnappyCodec | 是/否     |

从表格可以看出，每种压缩格式都有其适用场景。例如，bzip2 虽然具有很高的压缩率，但由于其较慢的速度和较高的 CPU 开销，通常不适用于实时或高频次的任务。

---

#### 3. 设置压缩编解码器的方法
在 Spark 中配置压缩编解码器可以通过以下两种方式进行调整：

##### 方法一：通过 Spark 配置项设置
可以在 `spark-defaults.conf` 或者提交任务时动态指定压缩编解码器。例如：
```properties
spark.io.compression.codec=lz4
```
此配置会影响所有涉及 I/O 的操作，默认值为 Snappy (`snappy`)。

##### 方法二：编程接口设置
也可以在代码层面显式设定压缩方式。例如：
```scala
val conf = new SparkConf().setAppName("CompressionExample").setMaster("local[*]")
conf.set("spark.io.compression.codec", "lz4") // 使用 LZ4 压缩
val sc = new SparkContext(conf)

// 测试压缩效果
sc.parallelize(1 to 1000).saveAsTextFile("/output/path")
```

---

#### 4. Avro 和其他序列化框架的支持
除了传统的文本文件外，Spark 还广泛支持多种序列化框架（如 Avro）。Avro 默认采用 Deflate(Zlib) 压缩算法，并提供分块机制以增强随机访问的能力。具体实现过程如下：
1. **行数据序列化**：依据 Schema 将结构化的行数据转换成紧凑的二进制形式。
2. **分块压缩**：将序列化后的数据划分为固定大小的块（默认 64 KB），并对每一部分单独施加压缩。
3. **同步标记插入**：为了便于错误恢复，在各数据块之间嵌入特殊标志位。

这种设计使得即使发生个别块损坏的情况，也仅需重新解析受影响的部分而非整份文档。

---

#### 5. 数据倾斜对压缩策略的影响
当 Spark 应用遭遇显著的数据倾斜现象时，应优先考虑优化分区逻辑而不是单纯依赖于更高强度的压缩技术。比如针对键值型分布极不平衡的情形，可以采取预聚合的方式先行规约冗余字段数量后再参与全局运算。

---

#### 结论
综上所述，在实际部署过程中应当综合考量目标业务需求、硬件资源配置以及未来扩展可能性等因素来挑选最适宜自身的解决方案。同时也要注意权衡各项指标之间的利弊关系以便达成最佳平衡状态。

---

###

相关文章：

spark数据压缩

### Spark 数据压缩方法及其实现 在大数据处理框架中&#xff0c;数据压缩是一个重要的环节&#xff0c;它不仅能够减少磁盘占用空间&#xff0c;还能降低网络传输成本。然而&#xff0c;在分布式计算环境中&#xff08;如 Spark&#xff09;&#xff0c;选择合适的压缩编解码…...

编程日记 2025/6/30 23:59:16

synchronized关键字详解

synchronized关键字详解 1. 基本概念与使用方式 作用：确保多个线程在访问共享资源时的互斥性，防止数据不一致。使用方式： 修饰实例方法：锁对象为当前实例（this）。public synchronized void instanceMethod() {// 同步代码 }修饰静态方法：锁对象为类的Class对象。public…...

编程日记 2025/6/30 23:13:57

React useState 的同步/异步行为及设计原理解析

一、useState 的同步/异步行为 异步更新&#xff08;默认行为&#xff09; • 场景&#xff1a;在 React 合成事件&#xff08;如 onClick&#xff09;或生命周期钩子&#xff08;如 useEffect&#xff09;中调用 useState 的更新函数时&#xff0c;React 会将这些更新放入队列…...

编程日记 2025/6/29 1:10:46

《社交应用动态表情：RN与Flutter实战解码》

React Native依托于JavaScript和React&#xff0c;为动态表情的实现开辟了一条独特的道路。其核心优势在于对原生模块的便捷调用&#xff0c;这为动态表情的展示和交互提供了强大支持。在社交应用中&#xff0c;当用户点击发送动态表情时&#xff0c;React Native能够迅速调用相…...

编程日记 2025/6/28 22:55:51

【Oracle专栏】清理告警日志、监听日志

Oracle相关文档，希望互相学习，共同进步 风123456789～-CSDN博客 1.背景 今天在导入数据库时，发现之前可以导入，今天导入时居然报空间不足，于是检查是哪里占用空间比较大。检查回收站、归档日志，发现没有。然后检查告警日志、监听日志，发现果然占用空间比较大，于是进行…...

编程日记 2025/6/29 1:24:23

Ubuntu24.04编译ORB_SLAM的一系列报错解决

Ubuntu24.04编译ORB_SLAM的一系列报错解决 decay_t报错 报错信息&#xff1a;error: ‘decay_t’ is not a member of ‘std’&#xff1b;did you mean ‘decay’ 将CMakeLists.txt中第17行的c标准修改为c14即可&#xff1a; 修改前&#xff1a; CHECK_CXX_COMPILER_FLAG…...

编程日记 2025/6/28 22:55:47

Python × CARLA：如何在自动驾驶仿真世界里打造智能驾驶系统？

Python CARLA：如何在自动驾驶仿真世界里打造智能驾驶系统？ 在人工智能与自动驾驶的浪潮中，真实世界的测试成本高昂，而自动驾驶仿真已成为开发者训练和测试 AI 驾驶算法的关键技术手段。其中，CARLA（Car Learning to Act）作为开源自动驾驶仿真平台，凭借其真实感强、高度…...

编程日记 2025/6/29 1:30:33

如何迁移 WSL 卸载 Ubuntu WSL

迁移 WSL 到其他盘区 假设您已经安装了 WSL 上的 Ubuntu 22.04 LTS&#xff0c;并且想要将其从 C 盘迁移到 D 盘。 查看 WSL 状态&#xff1a; 打开 PowerShell 或 CMD&#xff0c;运行以下命令查看当前安装的 WSL 发行版&#xff1a; wsl -l -v假设输出显示 Ubuntu-22.04 正在…...

编程日记 2025/6/28 22:55:49

【Linux】多路转接epoll、Linux高并发I/O多路复用

&#x1f4da; 博主的专栏 &#x1f427; Linux | &#x1f5a5;️ C | &#x1f4ca; 数据结构 | &#x1f4a1;C 算法 | &#x1f152; C 语言 | &#x1f310; 计算机网络 上篇文章&#xff1a;五种IO模型与阻塞IO以及多路转接select机制编写echoserver 下篇文章…...

编程日记 2025/6/29 0:56:21

【taro3 + vue3 + webpack4】在微信小程序中的请求封装及使用

前言 正在写一个 以taro3 vue3 webpack4为基础框架的微信小程序&#xff0c;之前一直没有记咋写的&#xff0c;现在总结记录一下。uniapp vite 的后面出。 文章目录 前言一、创建环境配置文件二、 配置 Taro 环境变量三、 创建请求封装四、如何上传到微信小程序体验版1.第二…...

编程日记 2025/6/28 23:44:46

在python中使用Json提取数据

文章目录 一、前言二、格式转换2.1 dumps函数2.2 loads函数2.3 错误处理 三、JSONPath模块四、JMESPath模块4.1 search函数4.2 基本语法4.2.1 基本查询4.2.2 投影4.2.3 管道4.2.4 多选4.2.5 函数 一、前言 官方文档&#xff1a;https://docs.python.org/zh-cn/3.12/library/js…...

编程日记 2025/6/29 1:09:06

备战菊厂笔试4

目录 39.组合总和 回溯&#xff08;单向剪枝&#xff09; 3102.最小化曼哈顿距离 利用曼哈顿距离的性质 3163.压缩字符串3 46.全排列 53.最大子数组和 39.组合总和 39. 组合总和 注意&#xff1a; set不能添加list得加元组 元组不可修改 sorted后得赋值 class So…...

编程日记 2025/6/29 1:28:57

白盒测试——基本路径测试法

一、实验名称 白盒测试——基本路径测试法 二、实验目的 白盒测试是结构测试&#xff0c;是依据被测程序的内部逻辑结构设计测试用例&#xff0c;驱动被测程序运行完成的测试&#xff0c;通过本实验希望&#xff1a; 1、掌握基本路径测试法的基本概念&#xff0c;用具体的例子…...

编程日记 2025/6/28 22:55:54

FFmpeg 与 C++ 构建音视频处理全链路实战（五）—— 音视频编码与封装

在前面的系列文章中&#xff0c;我们已经层层深入&#xff0c;从 MP4 与 FLV 封装格式的剖析&#xff0c;到 H.264 和 AAC 原理的探索&#xff0c;再到 FFmpeg 的解封装、解码&#xff0c;以及音频重采样、视频尺寸变化的代码实现&#xff0c;为音视频处理打下了坚实基础。而今…...

编程日记 2025/6/29 0:19:13

NNLM神经网络语言模型总结

一开始还以为很复杂&#xff0c;总结一下就是&#xff1a; NNLM 将某个单词前 n−1 个词各自转为 embedding&#xff0c;拼接成一个 (n−1)⋅d 维的向量&#xff0c;再通过隐藏层 输出层 softmax&#xff0c;预测下一个词的概率分布 可以发现&#xff0c;这个2003年提出的模…...

编程日记 2025/6/28 23:31:10

开源Heygem本地跑AI数字人视频教程

图文教程&#xff1a; 点击跳转 视频教程 资料包下载 点击下载&#xff1a;...

编程日记 2025/6/28 23:24:27

软件验收测试有哪些流程?与确认测试又有什么不同?

随着信息技术的飞速发展&#xff0c;软件的应用覆盖面越来越广泛&#xff0c;软件验收测试的重要性也愈发显著。软件验收测试是指在软件开发完成后&#xff0c;对软件进行的最后一次全面审核&#xff0c;以确保软件的功能和性能满足用户需求。这一阶段通常由客户进行&#xff0…...

编程日记 2025/6/29 0:11:50

一文了解 HTTP Content-Type：从基础到实战

一文了解 HTTP Content-Type&#xff1a;从基础到实战 在 Web 开发中&#xff0c;HTTP 请求头中的 Content-Type 是一个看似简单却至关重要的概念。它决定了浏览器和服务器如何解析和处理传输的数据。本文将带你全面掌握 Content-Type 的核心知识&#xff0c;涵盖常见类型、应…...

编程日记 2025/6/29 1:00:18

数学建模初等模型应用

一、目的 掌握初等模型的建模方法,对简单的初等模型能借助Matlab工具软件进行辅助建模、求解和检验。 二、实验内容与设计思想&#xff08;设计思路、主要代码分析&#xff09; 1、预测鱼的质量 &#xff08;1&#xff09;设计思路&#xff1a;使用线性回归模型预测鱼的质量…...

编程日记 2025/6/29 0:36:37

map和unordered_map

一、map和unordered_map的基本概念——它们是啥&#xff1f; map&#xff1a;是一种“有序的关联容器”&#xff0c;存放一组“键值对”&#xff0c;内部元素按键排序&#xff08;默认是升序&#xff09;&#xff0c;类似一本按字母排序的字典。 unordered_map&#xff1a;也是…...

编程日记 2025/6/29 0:31:36

【vue】脚手架

一、使用脚手架创建项目 1.打开编辑器终端 2.输入命令vue create 项目名 3.选择自定义配置&#xff0c;选以下几种常用的配置项&#xff08;空格选中或删除&#xff09; 二、常规操作 进入项目&#xff1a;cd 项目名 返回&#xff1a;cd .. 运行项目:npm run serve 停止项目:ct…...

编程日记 2025/6/29 0:26:13

PaddleNLP框架训练模型：使用SwanLab教程

PaddleNLP 是一款基于飞桨深度学习框架的大语言模型(LLM)开发套件&#xff0c;支持在多种硬件上进行高效的大模型训练、无损压缩以及高性能推理。PaddleNLP 具备简单易用和性能极致的特点&#xff0c;致力于助力开发者实现高效的大模型产业级应用。 你可以使用PaddleNLP快速进行…...

编程日记 2025/6/28 23:47:27

单向循环链表C语言实现实现(全)

#include<stdio.h> #include<stdlib.h> #define TRUE 1 #define FASLE 0//定义宏标识判断是否成功 typedef struct Node {int data;struct Node* next; }Node;Node* InitList() {Node* list (Node*)malloc(sizeof(Node));list->data 0;//创建节点保存datalist…...

编程日记 2025/6/28 23:54:00

数据结构：ArrayList简单实现与常见操作实例详解

目录 1.顺序表概念 2.自己实现 1.准备工作 接口 MyArrayList的定义 2.具体接口实现 添加 判满 扩容 查找 获得pos位置的值 和 更改pos位置的值 判空 删除 得到数组长度 清空数组 打印 3.ArrayList 1.简介 2.使用 1.ArrayList的构造 无参构造 有参构造&a…...

编程日记 2025/6/28 22:55:48

C++之fmt库介绍和使用(1)

C之fmt库介绍与使用(1) Author: Once Day Date: 2025年5月12日 一位热衷于Linux学习和开发的菜鸟&#xff0c;试图谱写一场冒险之旅&#xff0c;也许终点只是一场白日梦… 漫漫长路&#xff0c;有人对你微笑过嘛… 全系列文章可参考专栏: 源码分析_Once-Day的博客-CSDN博客 …...

编程日记 2025/6/29 1:32:47

嵌入式自学第二十一天（5.14）

gdb逻辑调试器: gcc 调试&#xff0c;发行版 gcc -g 调试版本&#xff0c;体积大&#xff0c;有源码。 一般调试&#xff1a;gdb a.out b n.c:行数 &#xff1a;设置断点&#xff0c;运行到这个位置&#xff0c;程序暂停。&#xff08;可以直接加行数&#xff09; r运行 n执行下…...

编程日记 2025/6/29 0:45:38

位与运算

只有当除数是 2 的幂次方&#xff08;如 2、4、8、16...&#xff09;时&#xff0c;取模运算才可以转换为位运算。 int b 19;int a1 b % 16; // 传统取模运算int a2 b & 15; // 位运算替代取模printf("b %d\n", b);printf("b %% 8 %d\n",…...

编程日记 2025/6/29 0:01:17

SparkSQL操作Mysql（2）

创建数据库和表 我们去创建一个新的数据库&#xff0c;数据表&#xff0c;并插入一条数据。 参考代码如下&#xff1a; -- 创建数据库 CREATE DATABASE spark; -- 使用数据库 USE spark; -- 创建表 create table person(id int, name char(20), age int); -- 插入示例数…...

编程日记 2025/6/29 0:05:18

Linux 中 open 函数的本质与细节全解析

一、open简介 在 Linux 下&#xff0c;一切皆文件。而对文件的读写&#xff0c;离不开文件的“打开”操作。虽然 C 语言标准库提供了方便的 fopen&#xff0c;但更底层、更强大的是系统调用 open&#xff0c;掌握它能让你对文件系统控制更细致&#xff0c;在系统编程、驱动开发…...

编程日记 2025/6/28 23:12:46

对抗系统熵增：从被动救火到主动防御的稳定性实战

&#x1f4d5;我是廖志伟&#xff0c;一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》&#xff08;基础篇&#xff09;、&#xff08;进阶篇&#xff09;、&#xff08;架构篇&#xff09;清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、…...

编程日记 2025/6/29 0:35:25

高速系统设计实例设计分析二

6.6 仿真约束的生成和实施 进行到这一步&#xff0c;我们已经完成了对实例进行仿真的所有条件的设置&#xff0c;包括对板子的设计要求分析和预布局处理。虽然从技术上讲&#xff0c;我们可以开始进行仿真分析并生成设计的约束&#xff0c;但是根据作者的工作经验&#xff0c;…...

编程日记 2025/6/29 1:28:22

AUTOSAR图解==＞AUTOSAR_SWS_V2XGeoNetworking

AUTOSAR V2X GeoNetworking 模块分析 车联网地理网络协议解析与实现 目录 1. 概述2. 模块架构分析 2.1 AUTOSAR V2X GeoNetworking 在BSW架构中的位置 2.1.1 架构层次说明2.1.2 模块间关系 2.2 V2X GeoNetworking 模块内部组件结构 2.2.1 核心组件2.2.2 接口说明 3. 消息处理…...

编程日记 2025/6/29 9:00:17

在 Rocky Linux 上手动安装 zsh

目录 &#x1f9e9; 一、准备&#xff1a;检查是否已经安装Zsh &#x1f6e0;️ 二、从源码安装 Zsh&#xff08;推荐方式&#xff09; 1. 下载 Zsh 源码 2. 解压源码 3. 配置安装路径&#xff08;到你的 home 目录下&#xff09; 4. 编译并安装 &#x1f9ea; 三、测试…...

编程日记 2025/6/29 0:13:58

Vector和list

一、Vector和list的区别——从“它们是什么”到“区别在哪儿” 1. 它们是什么&#xff1f; Vector&#xff1a;类似于一排排整齐的书架&#xff08;数组&#xff09;&#xff0c;存放元素时&#xff0c;元素排成一条线&#xff0c;连续存储。可以很快通过编号&#xff08;索引…...

编程日记 2025/6/28 22:56:04

人工智能外呼系统：重构智能交互的全维度进化

在数字化浪潮席卷全球的今天&#xff0c;人工智能外呼系统正以其颠覆性的技术革新&#xff0c;重新定义企业与客户的沟通范式。这一融合语音识别、自然语言处理与机器学习的智能系统&#xff0c;不仅实现了从 “机械应答” 到 “智慧交互” 的跨越&#xff0c;更在金融、医疗、…...

编程日记 2025/6/29 0:52:04

嵌入式培训之数据结构学习（三）gdb调试

一、gdb调试 &#xff08;一&#xff09;一般调试步骤与命令 1、gcc -g &#xff08;调试版本&#xff0c;内含调试信息与源码&#xff1b;eg&#xff1a;gcc -g main.c linklist.c&#xff09; 2、gdb a.out&#xff08;调试可执行文件&#xff0c;eg&#xff1a;gdb ./a.o…...

编程日记 2025/6/28 23:40:07

元宇宙赛道新势力：成都芯谷产业园创新业务如何重构产业格局

成都芯谷产业园在元宇宙有啥新搞头&#xff1f;看看它的创新业务怎么改变行业&#xff01; 成都芯谷产业园在元宇宙赛道上的创新业务&#xff0c;核心在于系统性构建一个开放、协同、高效的元宇宙创新生态系统&#xff0c;以此重构产业格局。这并非简单的企业物理聚集&#xf…...

编程日记 2025/6/28 22:55:58

Java 日期解析与格式化：从标准格式到自然语言解析

使用 Java 搭配 Apache Commons Lang3 和 Natty 库&#xff0c;实现灵活高效的日期解析与格式化。 一、背景 将不同格式的日期统一成一个格式。日期格式可能有以下几种类型&#xff1a; 标准格式&#xff1a;2024-02-28、14/05/2022、2002年5月6日非英文月份缩写&#xff1a;…...

编程日记 2025/6/28 22:55:57

【windows server脚本每天从网络盘复制到本地】

windows server脚本每天从网络盘复制到本地 调试模板 echo off :: 显示详细操作 echo echo 执行批处理文件&#xff1a;文件复制任务 echo :: 配置参数 set sourcePath\\network_drive\shared_folder :: 网络盘路径 set destinationPathC:\LocalBackup :: 本地保…...

编程日记 2025/6/28 23:50:52

GraphPad Prism简介、安装与工作界面

GraphPad Prism图表可视化与统计数据分析&#xff08;视频教学版&#xff09; - 商品搜索 - 京东 1.1 GraphPad Prism简介 GraphPad Prism 将科学绘图、综合曲线拟合&#xff08;包括非线性回归&#xff09;、易于理解的统计分析以及数据管理功能集于一身&#xff0c;帮助用…...

编程日记 2025/6/28 23:41:31

尚硅谷阳哥JVM

文章目录 第01章 JVM快速入门1、什么是JVM2、主流虚拟机有哪些&#xff1f;3、结构图3、执行引擎Execution Engine4、本地方法接口Native Interface5、Native Method Stack6、PC寄存器(程序计数器) 第02章 类加载器ClassLoader1、 类的加载过程2、类加载器的作用3、类加载器分类…...

编程日记 2025/6/29 0:55:47

spark的Standalone模式介绍

Apache Spark 的 Standalone 模式是其自带的集群管理模式&#xff0c;无需依赖外部资源管理器&#xff08;如 YARN 或 Mesos&#xff09;&#xff0c;可快速部署和运行 Spark 集群。以下是对 Standalone 模式的详细介绍&#xff1a; 1. 核心组件 Master 节点 集群的主控制器…...

编程日记 2025/6/28 22:55:56

自营交易考试中，怎么用“黄昏之星”形态做出漂亮反转单？

在自营交易考试中&#xff0c;如何在复杂的市场波动中抓住关键的趋势反转点&#xff0c;常常决定了一笔交易的成败。尤其是在规则清晰、交易明确的交易考试中&#xff0c;具备对K线形态的敏感度&#xff0c;是不少EagleTrader交易员在晋级过程中总结出的实用经验。今天&#xf…...

编程日记 2025/6/28 22:56:02

【算法】版本号排序

对版本号数组进行排序&#xff0c;比如&#xff1a;[0.1.2.3&#xff0c;1.2.1.0&#xff0c;4.2.1.0&#xff0c;0.1.2.0] 核心思路 将版本号拆分为数字数组&#xff0c;逐个比较每个子版本段。具体步骤&#xff1a; 拆分版本号&#xff1a;将每个版本字符串按 . 分割成数字数…...

编程日记 2025/6/28 23:33:51

wordcount程序

### 在 IntelliJ IDEA 中编写和运行 Spark WordCount 程序 要使用 IntelliJ IDEA 编写并运行 Spark 的 WordCount 程序&#xff0c;需按照以下流程逐步完成环境配置、代码编写以及任务提交。 --- #### 1. **安装与配置 IntelliJ IDEA** 确保已正确安装 IntelliJ IDEA&#x…...

编程日记 2025/6/29 0:08:23

MySQL Explain 中 Type 与 Extra 字段详解

引言 在数据库性能调优过程中&#xff0c;理解执行计划&#xff08;EXPLAIN&#xff09;的输出信息至关重要。MySQL 的 EXPLAIN 命令能够帮助开发者分析查询的执行路径和效率&#xff0c;其中 Type 和 Extra 字段提供了关键的执行细节。Type 字段表示访问类型&#xff0c;反映…...

编程日记 2025/6/29 0:30:26

代码随想录算法训练营第60期第三十六天打卡

大家好&#xff01;今天我们就会正式进入动态规划的章节&#xff0c;以前我们相继学完了回溯算法&#xff0c;贪心算法&#xff0c;今天的动态规划应该是相当重要同时也是相当难的章节&#xff0c;那我们废话不多说直接进入我们今天的章节。 第一部分 动态规划理论基础 那究竟…...

编程日记 2025/6/28 22:56:05

Python操作MySQL 连接加入缓存层完整方案

更多内容请见： python3案例和总结-专栏介绍和目录 文章目录 1、整体架构设计2、MySQL 连接方案2.1 使用连接池 (推荐)2.2 使用 SQLAlchemy (ORM方案)3、缓存层实现方案3.1 Redis 缓存实现3.2 Memcached 缓存实现4、完整集成方案4.1 带缓存的数据库访问层4.2 使用装饰器实现缓存…...

编程日记 2025/6/28 23:15:45

PyTorch深度神经网络（前馈、卷积神经网络）

文章目录 神经网络概述神经元模型多层感知机前馈神经网络网络拓扑结构数学表示基本传播公式符号说明整体函数视角 卷积神经网络卷积神经网络发展简史第一代&#xff08;1943-1980&#xff09;第二代&#xff08;1985-2006&#xff09;第三代&#xff08;2006-至今&#xff09;快…...

编程日记 2025/6/28 23:50:06

现代垃圾收集器

大家好&#xff0c;我是你们的花姐。 话说java的长期支持版本已经发展到了JDK21,大部分同学对jvm中的垃圾收集器还停留在java8之前的CMS和G1。对java11之后引入的低延迟垃圾收集器shenandoah和zgc几乎是一无所知&#xff0c;甚至有同学是连这两个名字也没有听过呀&#xff0c;…...

编程日记 2025/6/29 0:21:44