当前位置： 首页 > news >正文

数据压缩算法-差分编码(Delta Encoding)

news 来源：原创 2025/5/21 10:48:21

Delta Encoding（差分编码）是一种数据压缩技术，其核心思想是存储数据之间的差异（delta），而不是原始数据本身。这种方法特别适用于数据序列中相邻元素之间变化较小的情况，可以显著减少存储空间或传输带宽。

Delta Encoding 的原理

  1. 基本思想：

    • 对于一个数据序列，记录第一个值，然后后续每个值存储与前一个值的差值（delta）。

    • 由于差值通常比原始值小，可以用更少的比特表示，从而实现压缩。

  2. 具体步骤：

    • 假设有一个数据序列：[x1, x2, x3, x4, ..., xn]。

    • 编码过程：

      1. 存储第一个值 x1。

      2. 计算每个后续值与前一值的差值：delta_i = x_i - x_{i-1}。

      3. 存储差值序列：[x1, delta2, delta3, delta4, ..., delta_n]。

    • 解码过程：

      1. 读取第一个值 x1。

      2. 依次累加差值：x_i = x_{i-1} + delta_i。

  3. 示例：

    • 原始数据：[100, 102, 105, 110, 115]。

    • 编码后：[100, 2, 3, 5, 5]（第一个值是原始值，后续是差值）。

    • 解码时，通过累加差值恢复原始数据：

      • 100 + 2 = 102

      • 102 + 3 = 105

      • 105 + 5 = 110

      • 110 + 5 = 115

Delta Encoding 的优点

  1. 压缩效率高：

    • 如果数据序列中相邻值变化较小，差值会很小，可以用更少的比特表示。

  2. 简单易实现：

    • 算法逻辑简单，计算速度快。

  3. 适用于多种场景：

    • 时间序列数据（如传感器数据、股票价格）。

    • 版本控制系统（存储文件的变化）。

    • 多媒体数据压缩（如视频帧之间的差异）。

Delta Encoding 的局限性

  1. 对随机数据效果差：

    • 如果数据序列中相邻值变化很大，差值可能和原始值一样大，无法压缩。

  2. 依赖数据顺序：

    • 如果数据顺序被打乱，解码会出错。

  3. 需要额外存储第一个值：

    • 虽然通常影响不大，但在数据量极小时可能显得冗余。

Delta Encoding 的变种

  1. Delta-of-Delta Encoding：

    • 对差值再进行差分编码，适用于变化趋势稳定的数据。

  2. Run-Length Encoding + Delta Encoding：

    • 结合游程编码，进一步压缩连续相同差值的序列。

  3. Adaptive Delta Encoding：

    • 根据数据特性动态调整编码策略。

相关文章：

数据压缩算法-差分编码(Delta Encoding)

Delta Encoding（差分编码）是一种数据压缩技术，其核心思想是存储数据之间的差异（delta），而不是原始数据本身。这种方法特别适用于数据序列中相邻元素之间变化较小的情况，可以显著减少存储空间或传…...

编程日记 2025/5/21 10:48:21

Nginx中部署多个前端项目

1，准备前端项目 tlias系统的前端资源 外卖项目的前端资源 2，nginx里面的html文件夹中新建，tlias和sky两个文件夹。 切记这是在nginx/html下创建的 mkdir sky mkdir tlias 把tlias和sky的资源都放到对应的文件夹中 3，编辑配置ngi…...

编程日记 2025/5/15 23:56:52

Level DB --- TableBuilder

TableBuilder是Level DB里面重要的类和模块，它描述了数据如何序列化到文件中，以及数据里面的格式逻辑。它里面包含了之前介绍的多个模块和类。 data block、filter block和index block block格式，之前已经介绍过Level DB --- BlockBuilder-…...

编程日记 2025/5/20 12:35:35

JVM堆空间

一、堆空间的核心概述 一个JVM实例只存在一个堆内存，堆也是Java内存管理的核心区域。Java堆区在JVM启动的时候即被创建，其空间大小也就确定了。是JVM管理的最大一块内存空间。 堆内存的大小是可以调节的。堆可以处于物理上不连续的内存空间中&#xff…...

编程日记 2025/5/20 17:01:05

【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】1.13 降维打击：扁平化操作的六种武器

1.13 降维打击：扁平化操作的六种武器 目录 #mermaid-svg-bbLxDryjxBbXe3tu {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-bbLxDryjxBbXe3tu .error-icon{fill:#552222;}#mermaid-svg-bbLxDryjxBbXe3tu…...

编程日记 2025/5/21 1:53:19

Doris Schema Change 常见问题分析

1. 什么是 Schema Change Schema Change 是在数据库中修改表结构的一种操作，例如添加列、删除列、更改列类型等。 ⚠️Schema Change 限制⚠️ 一张表在同一时间只能有一个 Schema Change 作业在运行。分区列和分桶列不能修改。如果聚合表中有 REPLACE 方式聚合的…...

编程日记 2025/5/20 6:14:35

数据结构之堆排序

文章目录 堆排序版本一图文理解 版本二向下调整建堆向上调整建堆 排升/降序升序 堆排序 版本一 基于已有数组建堆取堆顶元素并删除堆顶元素重新建大根堆，完成排序版本。 图文理解 版本二 前提：必须提供有现成的数据结构堆 数组建堆，首尾…...

编程日记 2025/5/19 6:08:58

实现桌面动态壁纸（三）—— 视频播放的策略

关于动态壁纸这边，其实已经不需要再谈什么东西了，现有的各种文章都在介绍相关的技术。可以说现如今要去制作一个桌面动态壁纸应该不是什么难事。我考虑了很久，决定还是开一篇单独谈谈。可能我说的也不全部正确，您有什么建议随时可…...

编程日记 2025/5/21 4:43:56

C语言程序设计十大排序—希尔排序

文章目录 1.概念✅2.希尔排序🎈3.代码实现✅3.1 直接写✨3.2 函数✨ 4.总结✅ 1.概念✅ 排序是数据处理的基本操作之一，每次算法竞赛都很多题目用到排序。排序算法是计算机科学中基础且常用的算法，排序后的数据更易于处理和查找。在计算机发展…...

编程日记 2025/5/20 10:49:06

2023年版本IDEA复制项目并修改端口号和运行内存

2023年版本IDEA复制项目并修改端口号和运行内存 1 在idea中打开server面板，在server面板中选择需要复制的项目右键，点击弹出来的”复制配置…（Edit Configuration…）“。如果idea上没有server面板或者有server面板但没有springbo…...

编程日记 2025/5/14 10:19:28

Ubuntu 安装 QGIS LTR 3.34

QGIS官方提供了安装指南：https://qgis.org/resources/installation-guide/#linux。大多数linux发行版将QGIS拆分为几个包：qgis、qgis-python、qgis-grass、qgis-plugin-grass、qgis-server，有的包最初安装时被跳过，可以在需要使用…...

编程日记 2025/5/16 20:33:34

win32汇编环境,对话框程序中使用进度条控件

;运行效果 ;win32汇编环境,对话框程序中使用进度条控件 ;进度条控件主要涉及的是长度单位，每步步长，推进的时间。 ;比如你的长度是1000，步长是100，每秒走1次，则10秒走完全程 ;比如你的长度是1000，步长是10，每秒走1次，则100秒走完全程，但每格格子的长度与上面一样 ;以下…...

编程日记 2025/5/17 2:47:07

从ChatGPT热潮看智算崛起

2025年1月7日，科智咨询发布《2025年IDC产业七大发展趋势》，其中提到“ChatGPT开启生成式AI热潮，智能算力需求暴涨，算力供给结构发生转变”。 【图片来源于网络，侵删】 为何会以ChatGPT发布为节点呢？咱们一起…...

编程日记 2025/5/20 13:19:23

APISIX-API服务网关

一、简介 apisix是一款云原生微服务API网关，可以为API提供终极性能、安全性、开源和可扩展的平台。apisix基于Nginx和etcd实现，与传统API网关相比，apisix具有动态路由和插件热加载，特别适合微服务系统下的API管理。 Apisix 的诞生…...

编程日记 2025/5/17 17:09:30

NR_shell运行流程简析

nr_shell 是一套开源 shell 框架，基于框架可创建终端交互功能。 为了记录终端输入指令，以及进行解析处理，nr_shell 提供了一套 cmd 结构体，具体如下：typedef struct static_cmd_function_struct {char cmd[NR_SHELL_CM…...

编程日记 2025/5/17 12:08:51

leetcode_链表 876.链表的中间节点

876.链表的中间节点 给你单链表的头结点 head ，请你找出并返回链表的中间结点。如果有两个中间结点，则返回第二个中间结点。思路：快慢指针，创建两个指针fast和slow，fast指针每次移动两步，slow指针每次移动…...

编程日记 2025/5/18 5:05:25

idea实用设置

一.View 1.配置工具包方便按 二.File->Settings 点开设置然后进行后面的配置 1.这个看个人习惯 2.更新 3.更改菜单字体大小 4.鼠标控制字体大小 5.文件默认字体大小 6. 代码的智能提示功能 7.自动导包 8.编码 9.取消双击shift搜索...

编程日记 2025/5/21 2:03:17

ui-automator定位官网文档下载及使用

一、ui-automator定位官网文档简介及下载 AndroidUiAutomator：移动端特有的定位方式，uiautomator是java实现的，定位类型必须写成java类型 官方地址：https://developer.android.com/training/testing/ui-automator.html#ui-autom…...

编程日记 2025/5/19 20:24:40

Java数据结构方面的面试试题以及答案解析

Java数据结构是在计算机中存储和组织数据的方式，用于高效地处理和管理数据。 以下是一些常见的Java数据结构： 数组（Array）：一种线性数据结构，允许通过索引快速访问元素。它存储固定大小的相同类型的元素集…...

编程日记 2025/5/15 15:08:53

微信小程序-点餐（美食屋）02开发实践

目录 概要 整体架构流程 （一）用户注册与登录 （二）菜品浏览与点餐 （三）订单管理 （四）后台管理 部分代码展示 1.index.wxml 2.list.wxml 3.checkout.wxml 4.detail.wxml 小结优点 概要…...

编程日记 2025/5/19 21:57:23

Redis实战（黑马点评）——关于缓存（缓存更新策略、缓存穿透、缓存雪崩、缓存击穿、Redis工具）

redis实现查询缓存的业务逻辑 service层实现 Overridepublic Result queryById(Long id) {String key CACHE_SHOP_KEY id;// 现查询redis内有没有数据String shopJson (String) redisTemplate.opsForValue().get(key);if(StrUtil.isNotBlank(shopJson)){ // 如果redis的数…...

编程日记 2025/5/21 4:43:56

DroneXtract：一款针对无人机的网络安全数字取证工具

关于DroneXtract DroneXtract是一款使用 Golang 开发的适用于DJI无人机的综合数字取证套件，该工具可用于分析无人机传感器值和遥测数据、可视化无人机飞行地图、审计威胁活动以及提取多种文件格式中的相关数据。 功能介绍 DroneXtract 具有四个用于无人机取证和审…...

编程日记 2025/5/16 16:01:36

uniapp使用uni.navigateBack返回页面时携带参数到上个页面

我们平时开发中也经常遇到这种场景&#xff0c;跳转一个页面会进行一些操作&#xff0c;操作完成后再返回上个页面同时要携带着一些参数 其实也很简单&#xff0c;也来记录一下吧 假设从A页面 跳转到 B页面 A页面 直接上完整代码了哈&#xff0c;很简单&#xff1a; <t…...

编程日记 2025/5/20 23:32:43

2025美赛MCM数学建模A题：《石头台阶的“记忆”：如何用数学揭开历史的足迹》(全网最全思路+模型)

✨个人主页欢迎您的访问 ✨期待您的三连 ✨ 《石头台阶的“记忆”&#xff1a;如何用数学揭开历史的足迹》 目录 《石头台阶的“记忆”&#xff1a;如何用数学揭开历史的足迹》 ✨摘要✨ ✨引言✨ 1. 引言的结构 2. 撰写步骤 &#xff08;1&#xff09;研究背景 &#…...

编程日记 2025/5/13 7:56:49

python远程获取数据库中的相关数据并存储至json文件

1. conn中的5个变量的含义&#xff1a; ① Driver&#xff1a;数据库驱动程序&#xff0c;我使用的是SQL Server数据库。 ② Server&#xff1a;数据库所在的服务器地址。 ③ Database&#xff1a;要连接的数据库的名称。 ④ UID&#xff1a;登录 SQL Server 数据库的用户名…...

编程日记 2025/5/20 14:23:57

DeepSeek-R1解读：纯强化学习，模型推理能力提升的新范式？

DeepSeek-R1解读&#xff1a;纯强化学习&#xff0c;模型推理能力提升的新范式&#xff1f; 1. Impressive Points2. 纯强化学习&#xff0c;LLM推理能力提升新范式&#xff1f;2.1 DeepSeek-R1-Zero2.2 DeepSeek-R1 3. 端侧模型能力提升&#xff1a;蒸馏>强化学习 1. Impre…...

编程日记 2025/5/20 5:09:14

系统安全及应用

一&#xff1a;账号安全控制 1.1 系统账号清理 1.1.1 将非登陆用户的Shell 设置为 /sbin/nologin (设置为这个解释器&#xff0c;禁止用户登陆&#xff09; [rootlocalhost ~]# usermod -s /sbin/nologin zhangsan #将用户zhangsan 的登录解释器 设置为 /sbin/n…...

编程日记 2025/5/21 10:44:50

ubuntu解决普通用户无法进入root

项目场景&#xff1a; 在RK3566上移植Ubuntu20.04之后普通用户无法进入管理员模式 问题描述 在普通用户使用sudo su试图进入管理员模式的时候报错 解决方案&#xff1a; 1.使用 cat /etc/passwd 查看所有用户.最后一行是 若无用户&#xff0c;则使用 sudo useradd -r -m -s /…...

编程日记 2025/5/17 18:31:52

Mac m1,m2,m3芯片使用nvm安装node14报错

使用nvm安装了node 12/16/18都没有问题&#xff0c;到14就报错了。第一次看到这个报错有点懵&#xff0c;查询资料发现是Mac芯片的问题。 Issue上提供了两个方案&#xff1a; 1、为了在arm64的Mac上安装node 14&#xff0c;需要使用Rosseta&#xff0c;可以通过以下命令安装 …...

编程日记 2025/5/17 14:00:11

IDEA工具下载、配置和Tomcat配置

1. IDEA工具下载、配置 1.1. IDEA工具下载 1.1.1. 下载方式一 官方地址下载 1.1.2. 下载方式二 官方地址下载&#xff1a;https://www.jetbrains.com/idea/ 1.1.3. 注册账户 官网地址&#xff1a;https://account.jetbrains.com/login 1.1.4. JetBrains官方账号注册…...

编程日记 2025/5/20 13:56:09

实战网络安全：渗透测试与防御指南

&#x1f4dd;个人主页&#x1f339;&#xff1a;一ge科研小菜鸡-CSDN博客 &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; 引言 在数字化时代&#xff0c;网络安全已成为企业和个人不可忽视的重要课题。网络攻击的复杂性与日俱增&#xff0c;从数据泄露…...

编程日记 2025/5/19 21:36:35

Vue 3 中的 toRef 与 toRefs：使用与案例解析

在 Vue 3 的响应式系统中&#xff0c;toRef 和 toRefs 是两个非常实用的工具函数。它们主要用于将响应式对象的属性转换为单独的 ref&#xff0c;以便在模板或逻辑中更方便地使用。本文将详细介绍 toRef 和 toRefs 的用法&#xff0c;并通过一个老师信息的案例来演示它们的实际…...

编程日记 2025/5/18 0:44:04

如何让Dev-C++支持C++11及以上标准

目录 问题描述解决方案步骤1&#xff1a;打开编译选项 问题描述 在Dev-C中使用C11/17/20新特性&#xff08;如pop_back()等&#xff09;时&#xff0c;可能出现编译错误&#xff1a; #include <iostream> #include<string> using namespace std; int main() {str…...

编程日记 2025/5/20 13:19:43

java8-日期时间Api

目录 LocalDate更新时间LocalTimeLocalDateTimeInstantPeriod Duration格式化、解析日期-时间对象时区 java.util.Date java.util.Calendar 不支持时区 线程不安全 月份从0起线程不安全&#xff0c;只有包裹在ThreadLocal中才安全 java.text.DateFormat java.text.SimpleDateFo…...

编程日记 2025/5/21 10:34:50

电脑无法开机，重装系统后没有驱动且驱动安装失败

电脑无法开机&#xff0c;重装系统后没有驱动且驱动安装失败 前几天电脑突然坏了&#xff0c;电脑卡住后&#xff0c;强制关机&#xff0c;再开机后开机马上就关机。尝试无数次开机后失败&#xff0c;进入BIOS界面&#xff0c;发现已经没有Windows系统了。重新安装系统后&…...

编程日记 2025/5/20 13:28:54

Vue.js 传递路由参数和查询参数

Vue.js 传递路由参数和查询参数 在 Vue.js 开发中&#xff0c;Vue Router 提供了灵活的方式来处理路由参数和查询参数&#xff0c;使得组件能够根据不同的路径或查询条件渲染相应的内容。 路由参数 路由参数&#xff08;也称为路径参数&#xff09;是 URL 路径的一部分&…...

编程日记 2025/5/21 7:01:46

Java 反射机制介绍

Java学习资料 Java学习资料 Java学习资料 一、引言 在 Java 编程里&#xff0c;反射机制是一项强大且独特的特性。它赋予程序在运行时动态地获取类的信息&#xff0c;并且可以操作类或对象的属性、方法和构造函数等。借助反射机制&#xff0c;程序的灵活性和可扩展性得到显著…...

编程日记 2025/5/17 12:58:10

Final2x--开源AI图片放大工具

Final2x--开源AI图片放大工具 链接&#xff1a;https://pan.xunlei.com/s/VOHSklukQAquUn3GE7eHJXfOA1?pwdr3r3#...

编程日记 2025/5/21 1:39:58

TCP全连接队列

1. 理解 int listen(int sockfd, int backlog) 第二个参数的作用 backlog&#xff1a;表示tcp全连接队列的连接个数1。 如果连接个数等于backlog1&#xff0c;后续连接就会失败&#xff0c;假设tcp连接个数为0&#xff0c;最大连接个数就为1&#xff0c;并且不accept获取连接…...

编程日记 2025/5/17 22:54:38

前端力扣刷题 | 4：hot100之 子串

560. 和为K的子数组 给你一个整数数组 nums 和一个整数 k &#xff0c;请你统计并返回 该数组中和为 k 的子数组的个数 。 子数组是数组中元素的连续非空序列。 示例&#xff1a; 输入&#xff1a;nums [1,1,1], k 2 输出&#xff1a;2 法一&#xff1a;暴力法 var subar…...

编程日记 2025/5/18 0:41:15

【精选】基于数据挖掘的招聘信息分析与市场需求预测系统 职位分析、求职者趋势分析 职位匹配、人才趋势、市场需求分析数据挖掘技术 职位需求分析、人才市场趋势预测

博主介绍&#xff1a; ✌我是阿龙&#xff0c;一名专注于Java技术领域的程序员&#xff0c;全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师&#xff0c;我在计算机毕业设计开发方面积累了丰富的经验。同时&#xff0c;我也是掘金、华为云、阿里云、InfoQ等平台…...

编程日记 2025/5/17 11:26:12

字节跳动发布UI-TARS，超越GPT-4o和Claude，能接管电脑完成复杂任务

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…...

编程日记 2025/5/18 6:57:01

2025课题推荐——USBL和DVL的误差建模与补偿

在海洋探测与研究中&#xff0c;定位技术的准确性至关重要。超短基线&#xff08;USBL&#xff09;和多普勒速度计&#xff08;DVL&#xff09;是两种广泛应用于水下定位和导航的技术&#xff0c;它们在深海探测、海洋工程和水下机器人等领域发挥着重要作用。然而&#xff0c;这…...

编程日记 2025/5/16 10:40:15

mysql_use_result的概念和使用案例

mysql_use_result 是 MySQL C API 中的一个函数&#xff0c;它用于检索一个结果集&#xff0c;并且不同于 mysql_store_result&#xff0c;它不会立即将整个结果集读入客户端。相反&#xff0c;它会初始化一个结果集&#xff0c;客户端随后可以通过调用 mysql_fetch_row 来逐行…...

编程日记 2025/5/19 1:26:37

微信小程序date picker的一些说明

微信小程序的picker是一个功能强大的组件&#xff0c;它可以是一个普通选择器&#xff0c;也可以是多项选择器&#xff0c;也可以是时间、日期、省市区选择器。 官方文档在这里 这里讲一下date picker的用法。 <view class"section"><view class"se…...

编程日记 2025/5/17 5:04:07

FLTK - FLTK1.4.1 - demo - adjuster.exe

文章目录 FLTK - FLTK1.4.1 - demo - adjuster.exe概述笔记根据代码&#xff0c;用fluid重建一个adjuster.fl 备注 - fluid生成的代码作为参考代码好了修改后可用的代码END FLTK - FLTK1.4.1 - demo - adjuster.exe 概述 想过一遍 FLTK1.4.1的demo和测试工程&#xff0c;工程…...

编程日记 2025/5/21 7:15:15

神经网络入门：从感知机到激活函数

什么是神经网络 神经网络&#xff08;Neural Network&#xff09; 是一种模拟生物神经系统工作方式的计算模型&#xff0c;是机器学习和深度学习的核心组成部分。它的设计灵感来源于人脑中神经元之间的连接和信息传递方式。神经网络通过模拟这种结构&#xff0c;能够从数据中学…...

编程日记 2025/5/16 17:41:16

第04章 13 管道信息对象分类说明

在VTK&#xff08;Visualization Toolkit&#xff09;中&#xff0c;管道信息&#xff08;Pipeline Information&#xff09;是一个重要的概念&#xff0c;它允许管道中的不同对象之间传递元数据和执行策略。这些信息对象帮助协调管道中各个组件的操作&#xff0c;确保数据在传…...

编程日记 2025/5/18 8:31:41

AI 发展是否正在放缓？AI 发展将驶向何方？

编者按&#xff1a; 人工智能真的已经遇到发展瓶颈了吗&#xff1f;随着 OpenAI、Google 和 Anthropic 等顶级 AI 公司纷纷表示新模型开发收益在减少&#xff0c;这个问题引发了整个行业的深度思考。 我们今天为大家带来的这篇文章&#xff0c;作者的核心观点是&#xff1a;虽然…...

编程日记 2025/5/16 12:56:26

一个简单的自适应html5导航模板

一个简单的 HTML 导航模板示例&#xff0c;它包含基本的导航栏结构&#xff0c;同时使用了 CSS 进行样式美化&#xff0c;让导航栏看起来更美观。另外&#xff0c;还添加了一些 JavaScript 代码&#xff0c;用于在移动端实现导航菜单的展开和收起功能。 PHP <!DOCTYPE htm…...

编程日记 2025/5/19 6:38:54