当前位置：首页 > news >正文

Deepdiff的使用实战记录

news 来源：原创 2025/6/30 4:59:53

使用场景：在做数据库迁移或底层代码重构优化，用于对比新旧代码的接口层返回数据对比

1.模拟在新改造的接口上新加了字段is_ok，且时间戳字段精度变成毫秒，img字段域名变更，能准确对比。

api_old = {"ret": "0","msg": "","data": [{"num": 1,"Name": "testchin","Img": "https://baidu.png","Sum": 36,"applyStartTime": 1685073202,"timestamp": 1685073203}, {"num": 2,"Name": "testchin2","Img": "https://baidu.png","Sum": 40,"applyStartTime": 1685073203,"timestamp": 1685073204}, {"num": 3,"Name": "testchin3","Img": "https://baidu.png","Sum": 41,"applyStartTime": 1685073204,"timestamp": 1685073205}]}api_new = {"ret": "0","msg": "","data": [{"num": 1,"Name": "testchin","Img": "https://csdn.png","Sum": 36,"applyStartTime": 1685073202,"timestamp": 1685073203000,"is_ok": 1}, {"num": 2,"Name": "testchin2","Img": "https://csdn.png","Sum": 40,"applyStartTime": 1685073203,"timestamp": 1685073204000,"is_ok": 1}, {"num": 3,"Name": "testchin3","Img": "https://csdn.png","Sum": 41,"applyStartTime": 1685073204,"timestamp": 1685073205000,"is_ok": 1}]}diff = DeepDiff(api_old, api_new)
pprint.pprint(diff.to_dict())
{'dictionary_item_added': ["root['data'][0]['is_ok']", "root['data'][1]['is_ok']", "root['data'][2]['is_ok']"],'values_changed': {"root['data'][0]['Img']": {'new_value': 'https://csdn.png','old_value': 'https://baidu.png'},"root['data'][0]['timestamp']": {'new_value': 1685073203000,'old_value': 1685073203},"root['data'][1]['Img']": {'new_value': 'https://csdn.png','old_value': 'https://baidu.png'},"root['data'][1]['timestamp']": {'new_value': 1685073204000,'old_value': 1685073204},"root['data'][2]['Img']": {'new_value': 'https://csdn.png','old_value': 'https://baidu.png'},"root['data'][2]['timestamp']": {'new_value': 1685073205000,'old_value': 1685073205}}}

2.如果对比中对时间精度要求不高，且Img字段的域名变更不重要，可以做过滤处理。

exclude_regex_paths

根据正则规则去匹配

# 配置过滤规则
exclude_regex_paths = [re.compile(r"root\['data'\]\[\d+\]\['timestamp'|'Img'\]")]
diff = DeepDiff(api_old, api_new,exclude_regex_paths=exclude_regex_paths)
输出
{'dictionary_item_added': ["root['data'][0]['is_ok']", "root['data'][1]['is_ok']", "root['data'][2]['is_ok']"]}

3.对顺序无要求，过滤大小写不一致

列表是有序的，字典是无序的，对比列表顺序不对会报错
但是通过设置ignore_order为True可以无视顺序进行比对
ignore_order=True

api_old = {"ret": "0","msg": "","data": [{"num": 1,"Name": "Testchin","Img": "https://baidu.png","Sum": 36,"applyStartTime": 1685073202,"timestamp": 1685073203}, {"num": 3,"Name": "Testchin3","Img": "https://baidu.png","Sum": 41,"applyStartTime": 1685073204,"timestamp": 1685073205}, {"num": 2,"Name": "Testchin2","Img": "https://baidu.png","Sum": 40,"applyStartTime": 1685073203,"timestamp": 1685073204}]}api_new = {"ret": "0","msg": "","data": [{"num": 1,"Name": "testchin","Img": "https://baidu.png","Sum": 36,"applyStartTime": 1685073202,"timestamp": 1685073203}, {"num": 2,"Name": "testchin2","Img": "https://baidu.png","Sum": 40,"applyStartTime": 1685073203,"timestamp": 1685073204},{"num": 3,"Name": "testchin3","Img": "https://baidu.png","Sum": 41,"applyStartTime": 1685073204,"timestamp": 1685073205}]}
diff = DeepDiff(api_old, api_new,ignore_order=True,ignore_string_case=True)
输出：
{}

4. 忽略数据类型的变更 ignore_numeric_type_changes

t1 = 13.14
t2 = Decimal(13.14)# 忽略数值类型的检查print(DeepDiff(t1, t2, ignore_numeric_type_changes=False))print(DeepDiff(t1, t2, ignore_numeric_type_changes=True))
输出：
{'type_changes': {'root': {'old_type': <class 'float'>, 'new_type': <class 'decimal.Decimal'>, 'old_value': 13.14, 'new_value': Decimal('13.1400000000000005684341886080801486968994140625')}}}
{}

Deepdiff的使用实战记录

使用场景：在做数据库迁移或底层代码重构优化，用于对比新旧代码的接口层返回数据对比 1.模拟在新改造的接口上新加了字段is_ok，且时间戳字段精度变成毫秒，img字段域名变更，能准确对比。 api_old {"ret":…...

编程日记 2025/6/30 4:59:53

C语言：多线程

多线程概述定义多线程是指在一个程序中可以同时运行多个不同的执行路径（线程），这些线程可以并发或并行执行。并发是指多个线程在宏观上同时执行，但在微观上可能是交替执行的；并行则是指多个线程真正地同时执行&…...

编程日记 2025/6/30 4:36:16

Linux（25）——进程调度

目录一、Linux 进程调度： 二、进程优先级： 1、普通调度策略： 2、完全公平调度程序： 三、nice 值： 1、nice 值范围： 2、nice 值修改权限： （1）降低： …...

编程日记 2025/6/30 4:23:24

SAP CO88根据标准价格拆分增量错误解决

CO88事务码可能出现如下错误，错误消息号 MLCCS015。出现该错误，表示成本组件分解出现了问题，参照 MLCCS015 错误的帮助文档： 其实这里已经说明了原因和解决方法，但不是很具体。note 632752 - Use of the program MLCCS…...

编程日记 2025/6/28 1:21:37

spring boot 整合redis

1.在pom文件中添加spring-boot-starter-data-redis依赖启动器 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId> </dependency> 2.编写三个实体类 RedisHash("p…...

编程日记 2025/6/30 4:42:38

游戏被外挂攻破？金融数据遭篡改？AI反作弊系统实战方案（代码+详细步骤）

一、背景与需求分析随着游戏行业与金融领域的数字化进程加速，作弊行为（如游戏外挂、金融数据篡改）日益复杂化。传统基于规则的防御手段已难以应对新型攻击，而AI技术通过动态行为分析、异常检测等能力，为安全领域提供了革命性解决方案。本文以游戏反作弊系统和金融数据安…...

编程日记 2025/6/28 1:21:38

【JavaWeb】前端基础

JavaWeb 前端三大件：HTML（主要用于网页主体结构的搭建），CSS（页面美化），JavaScript（主要用于页面元素的动态代理） 1. HTML 1.1 html概述 HTML：Hyper Text …...

编程日记 2025/6/28 3:22:10

STM32智能手表——任务线程部分

RTOS和LVGL我没学过，但是应该能硬啃这个项目例程 ├─Application/User/Tasks # 用于存放任务线程的函数 │ ├─user_TaskInit.c # 初始化任务 │ ├─user_HardwareInitTask.c # 硬件初始化任务 │ ├─user_RunModeTasks.c…...

编程日记 2025/6/28 6:30:32

Java线程池详解

摘要：线程池是Java高并发编程的核心组件，有效管理线程生命周期并提升系统性能。本文将深入剖析Java线程池的实现原理、配置策略及生产环境中的实战技巧，助您构建高效稳定的多线程应用。一、线程池核心价值 1.1 为什么需要线程池&#xff1f…...

编程日记 2025/6/28 5:27:41

Git Fetch 和 Git Pull 的区别

Git fetch和git pull的区别二者都能够从远程获取最新版本到本地。 1. Git fetch 仅从远程获取最新版本到本地，不会进行 merge（合并）操作。操作示例从远程的 origin的 master 主分支上获取最新版本到 origin/master 分支上&#xff1a…...

编程日记 2025/6/30 4:24:35

《2核2G阿里云神操作！Ubuntu+Ollama低成本部署Deepseek模型实战》

简介： “本文为AI开发者揭秘如何在阿里云2核2G轻量级ECS服务器上，通过Ubuntu系统与Ollama框架实现Deepseek模型的高效部署。无需昂贵硬件，手把手教程涵盖环境配置、资源优化及避坑指南，助力初学者用极低成本在云端跑通行业领先的大…...

编程日记 2025/6/29 6:53:08

Rust闭包详解

文章目录闭包捕获外部变量移动和借用闭包的特性闭包和性能闭包和生命周期闭包 Rust中的闭包是一种匿名函数，可以捕获并存储环境中的变量，有点类似于Lambda表达式闭包允许在其定义的作用域之外访问变量，并且可以在需要时将其移动或者借用…...

编程日记 2025/6/28 1:21:44

科技潮流出行新体验方程豹全新车型钛3正式开启预售

科技潮流出行新体验，比亚迪个性化品牌方程豹旗下全新车型钛3正式开启预售，钛3定位科技潮品SUV，搭载独有的潮流配置“1机3舱”，以及“iCT”安全三件套、“E2C”智能三件套，实现了科技越级、空间越级、配置越级&#xff…...

编程日记 2025/6/30 3:39:57

如何将AI模型返回的字符串转为html元素？

场景： 接入deepseek模型的api到我们平台，返回的字符串需要做下格式化处理。返回的数据是这样的： {"role": "assistant","content": "<think>\n嗯，用户问的是“星体是什么”。首先&am…...

编程日记 2025/6/30 3:57:14

使用SpringBoot + Thymeleaf + iText实现动态PDF导出

使用SpringBoot Thymeleaf iText实现动态PDF导出 1.前端模版代码，需要注意，iText有很多高级样式兼用性不好，需要自己试错： <!DOCTYPE html> <html lang"en" xmlns:th"http://www.thymeleaf.org"…...

编程日记 2025/6/30 1:15:22

Redis 源码硬核解析系列专题 - 扩展篇：Gossip协议的具体实现

1. 引言 Redis Cluster使用Gossip协议实现节点间的状态同步和一致性维护。Gossip协议是一种去中心化的通信机制，通过节点间的“谣言传播”方式交换信息，具有高容错性和扩展性。本篇将深入剖析Redis中Gossip协议的具体实现，包括消息格式、传播机制和故障检测逻辑。 2. Gossi…...

编程日记 2025/6/30 2:51:19

scGPT环境安装 conda create -n scgpt_2 conda activate scgpt_2 conda install python3.10.11 cudatoolkit11.7 cudatoolkit-dev gxx>6.0.0,<12.0 cudnn -c conda-forge pip install torch1.13.0cu117 torchvision0.14.0cu117 torchaudio0.13.0 --extra-index-url https…...

编程日记 2025/6/30 3:52:27

linux服务器组建与管理

环境: DNSSamba服务器 ip:192.168.177.153 FTP服务器 ip:192.168.177.152 pc ip:192.168.177.151 这里先把DNS的ip及DNS固定给固定了,免得我关机了还会更改网络配置:(前面的命令是DNS/Samba的后面的是FTP的,下面那张是示例图) sudo nmcli con mod ens33 ipv4.addres…...

编程日记 2025/6/30 2:47:28

vue3 生命周期函数（挂载、更新、销毁）

在这之前，相必用户也是用过vue2的经历，所以，在讲解之前先对vue2和vue3的生命周期进行对比： Option API组合APIbeforeCreate-setupcreated-setupbeforeMountonBeforeMountmountedonMountedbeforeUpdateonBeforeUpdateupdatedonUpd…...

编程日记 2025/6/30 1:37:27

树莓派超全系列教程文档--(20)树莓派配置自动息屏

树莓派配置自动息屏配置自动息屏桌面Raspberry Pi 配置CLI 控制台设置控制台模式自动息屏查看当前自动息屏设置文章来源： http://raspberry.dns8844.cn/documentation 原文网址配置自动息屏您可以将 Raspberry Pi 配置为在一段时间不活动后自动息屏。默认情况…...

编程日记 2025/6/30 3:36:48

基于 Qt / HTTP/JSON 的智能天气预报系统测试报告

目录一、项目概述 1.1项目背景 1.2项目目标二、功能需求 2.1 用户界面功能 2.2 后台功能三、技术选择 3.1 开发框架与工具 3.2 第三方 API 四、UI设计 4.1界面展示 4.2stylesheet样式五、代码实现 1.构造函数 2.网络请求响应处理函数 3.处理json数据 4.更新…...

编程日记 2025/6/28 1:21:49

Oracle数据库数据编程SQL＜3.7 PL/SQL 触发器(Trigger)＞

触发器是Oracle数据库中的一种特殊存储过程，它会在特定数据库事件发生时自动执行。触发器通常用于实现复杂的业务规则、数据验证、审计跟踪等功能。目录一、触发器基本概念 1. 触发器特点 2. 触发器组成要素二、触发器类型 1. DML触发器 2. DDL触发器 3.…...

编程日记 2025/6/30 3:36:48

反常积分和定积分的应用 1

网课还是得跟上网课的进度。但是不要给自己太大的压力。看到数学题确实有点慌张。老师为什么说写对了不要打对号，我感觉打对号可以给自己充足的正反馈。关键问题就是能做对的题不多。这篇笔记主要整理网课的一些笔记。网课落下的比较多，大概还需要补好…...

编程日记 2025/6/30 3:04:06

Day49 | 11. 盛最多水的容器、16. 最接近的三数之和、33. 搜索旋转排序数组、36. 有效的数独

11. 盛最多水的容器题目链接：11. 盛最多水的容器 - 力扣（LeetCode） 题目难度：中等代码： class Solution {public int maxArea(int[] height) {int i0,jheight.length-1,res0;while(i<j){resheight[i]<heig…...

编程日记 2025/6/28 1:22:06

31天Python入门——第20天:魔法方法详解

你好，我是安然无虞。文章目录魔法方法1. __new__和__del__2. __repr__和__len__3. __enter__和__exit__4. 可迭代对象和迭代器5. 中括号[]数据操作6. __getattr__、__setattr__ 和 __delattr__7. 可调用的8. 运算符魔法方法魔法方法: Python中的魔法方法是一类…...

编程日记 2025/6/28 1:22:29

WPF 浅述IsHitTestVisible属性

WPF 浅述IsHitTestVisible属性 IsHitTestVisible 属性是 WPF 中一个非常重要的属性，它决定了一个控件是否可以作为 hit test 的一部分被检测到。理解这个属性对于处理交互事件（如鼠标点击、触摸等）非常重要。 IsHitTestVisible 属性的含义&am…...

编程日记 2025/6/28 6:36:41

WSN 经典定位算法

WSN 经典定位算法包括： Centoid, Bounding_box, Grid_Scan, RSSI, DV_hop, MDS_MAP，APIT-WSN Localization/Amorphous/Amorphous.m , 3351 Localization/APIT/APIT.m , 4169 Localization/APIT/PPIT.m , 3889 Localization/Bounding Box/Bounding_Box.…...

编程日记 2025/6/29 21:28:40

LLM 优化技术(1)——Scaled-Dot-Product-Attention(SDPA)

在 Transformer 中抛弃了传统的 CNN 和 RNN，整个网络结构完全由Scaled Dot Product Attention 和Feed Forward Neural Network组成。一个基于 Transformer 的可训练的神经网络可以通过堆叠 Transformer 的形式进行搭建，Attention is All You Need论文中通…...

编程日记 2025/6/28 2:26:49

【深度学习】嘿马深度学习目标检测教程第1篇：商品目标检测要求、目标,1.1 项目演示【附代码文档】

教程总体简介：要求目标 1.1 项目演示学习目标 1.1 图像识别背景 1.2 什么是目标检测 1.2.1 目标检测定义 1.2.1.1 物体 1.3 目标检测应用场景 1.3.1 行业 1.3.2 应用类别 1.4 开发环境搭建目标检测概述 3.1 目标检测任务描述 3.1.4 目标定位的简单实现项目实现 …...

编程日记 2025/6/28 6:51:44

【蓝桥杯】单片机设计与开发，RTC实时时钟

一、RTC-DS1302概述二、BCD码三、三线协议概述四、RTC的应用五、DS1302的驱动函数六、操作流程七、三线协议驱动程序...

编程日记 2025/6/28 4:53:35

Java 各版本的新特性

Java 各版本的新特性主要集中在提升开发效率、性能优化、语言功能增强和模块化支持等方面。以下是 JDK 8 到 JDK 21（截至2023年）的主要新特性概览： JDK 8 (2014) - LTS Lambda 表达式：支持函数式编程，简化匿名内部类。…...

编程日记 2025/6/28 1:21:11

OpenGL中EBO的使用及原理

EBO 是什么？ 在OpenGL中，EBO（Element Buffer Object），也称为索引缓冲对象 IBO（Index Buffer Object），是一种用于存储顶点索引数据的缓冲区对象。它的核心作用是通过复用顶点数据来减…...

编程日记 2025/6/28 3:22:50

应用分享 | AWG技术突破：操控钻石氮空位色心，开启量子计算新篇章！

利用AWG操作钻石中的氮空位色彩中心金刚石中的颜色中心是晶格中的缺陷，其中碳原子被不同种类的原子取代，而相邻的晶格位点则是空的。由于色心具有明亮的单光子发射和光学可触及的自旋，因此有望成为未来量子信息处理和量子网络的固态量子发射…...

编程日记 2025/6/28 1:22:18

【Ultralytics YOLO COCO 评估脚本 | 获得COCO评价指标】

文章目录 Ultralytics YOLO COCO 评估脚本 (coco_evaluate.py)1. 描述2. 依赖项3. 使用方法4. 输入文件格式5. 输出6. 注意7. 完整代码 Ultralytics YOLO COCO 评估脚本 (coco_evaluate.py) 这是一个 Python 脚本，用于评估以 COCO JSON 格式提供的目标检测结果。它…...

编程日记 2025/6/28 3:10:03

聊一聊，元件封装知多少？

编程日记 2025/6/28 6:19:40

企业需要使用防病毒系统保障数据安全的原因

数据作为企业的重要资产，正面临勒索病毒等极大威胁。在复杂严峻的网络安全形势下，企业的业务运营、数据安全和声誉遭遇诸多来自网络的挑战。2023年，国内发生多起严重网络安全事件，例如数据库漏洞导致数据泄露、钓鱼邮件窃取信息、…...

编程日记 2025/6/28 7:08:15

使用无人机进行露天矿运输道路分析

使用无人机进行露天矿运输道路分析无人机正在彻底改变采矿业，为露天矿场的运输道路收集数据和分析提供了一种新方法。通过使用 UAS 技术，采矿公司可以更全面地了解道路状况，确定磨损区域，并提高安全性和效率。本文介绍了无人机用…...

编程日记 2025/6/28 7:02:35

基于Vue.js网页开发相关知识：Vue-router

一、基础知识 vue-router 是 Vue.js 官方的路由管理器，用于实现单页面应用（SPA）的路由功能。以下从几个方面对 vue-router 进行详细分析： 1. 核心概念路由配置 vue-router 通过定义路由配置对象来管理应用的路由。每个路由配置…...

编程日记 2025/6/28 1:22:19

同时使用Telnet和SSH登录思科交换机

同时使用Telnet和SSH登录思科交换机 1. 配置管理IP地址首先，为交换机配置一个管理IP地址，以便可以通过网络进行远程管理： Switch(config)# interface vlan [VLAN_ID] Switch(config-if)# ip address [IP地址] [子网掩码] Switch(config-i…...

编程日记 2025/6/28 5:10:27

presto行转列

presto的行列转换和spark、hive一样也是通过外链语句实现的，只不过语法和关键子有点不同，如下 with tmp1 as (select 1,2,3 as a1,4,5,6 as a2 ) select * from tmp1 cross join unnest(split(tmp1.a1, ,),split(tmp1.a2, ,) ) as b(a1s,a2s) 结果如下...

编程日记 2025/6/28 5:56:56

App Usage v5.57 Pro版追踪手机及应用使用情况

手机使用监控神器：让你的手机使用情况一目了然现代人的生活已经离不开手机——通讯、娱乐、支付、购物…每天我们花在手机上的时间越来越多。你是否好奇： 每天在各个应用上花费了多少时间？一天中查看了多少次手机？哪些应用在后…...

编程日记 2025/6/29 2:29:20

24.3 CogView3多模态生成实战：从API调优到1024高清图像生成全解析

CogView3多模态生成实战：从API调优到1024高清图像生成全解析 CogView3 & CharGLM：多模态生成技术深度解析关键词：CogView3 API 调用，图像生成与编辑，多模态提示工程，GLM 技术栈集成，参数优化策略 1. 智谱清言平台演示 CogView-3 核心能力 1.1 CogView3 技术架构…...

编程日记 2025/6/28 6:16:49

操作系统高频（六）linux内核

操作系统高频（六）linux内核 1.内核态，用户态的区别⭐⭐⭐ 内核态和用户态的区别主要在于权限和安全性。权限：内核态拥有最高的权限，可以访问和执行所有的系统指令和资源，而用户态的权限相对较低&#x…...

编程日记 2025/6/28 6:46:50

Ubuntu系统安装Cpolar 实现内网穿透教程

文章目录方法 1：使用官方脚本快速安装（推荐）方法 2：手动下载安装包配置与使用常见问题方法 1：使用官方脚本快速安装（推荐） 下载安装脚本打开终端，执行以下命令下载并运行安装脚本…...

编程日记 2025/6/28 6:52:00

Trustworthy Machine Learning

1. 可信任机器学习的核心概念 1.1 可信任性的定义稳健性（Robustness）： 机器学习模型在面对数据噪声、分布变化或对抗性攻击时仍能维持其预测性能的能力。公平性（Fairness）： 避免 AI 决策对某些群体存在…...

编程日记 2025/6/28 6:57:10

Enovia许可管理系统的特点

在当今竞争激烈的市场环境中，企业对于产品生命周期管理（PLM）的需求日益增加。Enovia许可管理系统，作为一款先进的许可证管理工具，凭借其卓越的特点，助力企业实现资源的高效管理和最大化利用。本文将详细介绍…...

编程日记 2025/6/28 3:50:21

【CSS】样式与效果

个人主页：Guiat 归属专栏：HTML CSS JavaScript 文章目录 1. CSS盒模型1.1 盒模型基础1.2 盒模型类型1.2.1 标准盒模型1.2.2 IE盒模型 2. CSS选择器2.1 基本选择器2.2 组合选择器2.3 伪类和伪元素 3. CSS布局技术3.1 Flexbox布局3.2 Grid布局3.3 定位 4. …...

编程日记 2025/6/29 7:46:13

Python中常用网络编程模块

学习籽料在下方自拿一、网络基础网络由下往上分为：物理层、数据链路层、网络怪、传输层、会话层、表示层和应用层。 TCP/IP协议是传输层协议，主要解决数据如何在网络中传输；socket则是对TCP/IP协议的封装，它本身不是协议&…...

编程日记 2025/6/29 16:33:09

python-flask

1.定时任务的时候一定要加--preload，防止 --preload gunicorn --config gunicorn-conf.py --preload index:app 2.source /usr/local/nginx/html/prod/pypd/venv/bin/activate 启动linux的python环境 3.pip freeze > requirements.txt 生成所有依赖 4.p…...

编程日记 2025/6/28 7:17:04

OpenIPC开源FPV之Adaptive-Link信号干扰

OpenIPC开源FPV之Adaptive-Link信号干扰 1. 源由2. 现象3. 分析3.1 冲突弃包3.2 传输丢包 4. 逻辑4.1 可调整参数4.2 可监测参数4.3 逻辑思路 5. 总结6. 参考资料 1. 源由虽然，OpenIPC作为FPV图传在延时方面使用广播wfb-ng，性能上已经非常棒了。在权…...

编程日记 2025/6/28 3:36:17

使用场景：在做数据库迁移 或 底层代码重构优化，用于对比新旧代码的接口层返回数据对比