【PostgreSQL数据分析实战:从数据清洗到可视化全流程】3.1 数据质量评估指标(完整性/一致性/准确性)
👉 点击关注不迷路
👉 点击关注不迷路
👉 点击关注不迷路
文章大纲
- 数据质量评估核心指标:完整性、一致性、准确性实战解析
- 3.1 数据质量评估指标体系
- 3.1.1 完整性:数据是否存在缺失
- 1.1.1 核心定义与业务影响
- 1.1.2 检测方法与SQL实现
- 1.1.3 案例分析:电商用户数据清洗
- 3.1.2 一致性:数据是否符合逻辑规则
- 1.2.1 核心定义与典型问题
- 1.2.2 检测方法与技术实现
- 1.2.3 深度案例:金融交易数据清洗
- 3.1.3 准确性:数据是否真实反映现实
- 1.3.1 核心定义与判别标准
- 1.3.2 检测方法与工具链
- 1.3.3 实战案例:医疗数据清洗
- 3.1.4 三大指标的协同关系与评估矩阵
- 3.2 数据质量评估最佳实践
- 3.2.1 建立数据质量监控视图
- 3.2.2 制定数据质量修复策略
- 3.3 总结:数据质量是分析的生命线
数据质量评估核心指标:完整性、一致性、准确性实战解析
- 在PostgreSQL数据分析全流程中,数据质量评估是数据清洗与预处理的核心环节。
- 本章将从 完整性(Completeness)、一致性(Consistency)、准确性(Accuracy) 三大核心指标展开,结合真实数据案例与SQL检测方法,构建系统化的数据质量评估体系。
3.1 数据质量评估指标体系
3.1.1 完整性:数据是否存在缺失
1.1.1 核心定义与业务影响
- 定义:数据记录中必填字段无缺失,所有业务规则要求的信息均存在
- 核心问题:
问题类型 示例场景 业务影响 字段级缺失 用户表中 email
字段存在20%的NULL值无法进行用户触达与分组分析
记录级缺失 订单表中缺少对应商品表的关联记录 导致订单-商品关联分析失败 时间序列断裂
传感器数据中某时段监测值完全缺失
无法进行连续时间序列趋势分析
1.1.2 检测方法与SQL实现
- (1)字段缺失率检测
-- 计算用户表各字段缺失率
SELECT column_name,(total_missing / total_rows) * 100 AS missing_rate
FROM (SELECT 'user_id' AS column_name,SUM(CASE WHEN user_id IS NULL THEN 1 ELSE 0 END) AS total_missing,COUNT(*) AS total_rowsFROM usersUNION ALLSELECT 'email' AS column_name,SUM(CASE WHEN email IS NULL THEN 1 ELSE 0 END) AS total_missing,COUNT(*) AS total_rowsFROM users
) AS missing_stats;
- (2)外键完整性检测
-- 检测订单表中存在无效商品ID(商品表不存在的ID)
SELECT COUNT(*) AS invalid_product_orders
FROM orders
WHERE product_id NOT IN (SELECT product_id FROM products);
1.1.3 案例分析:电商用户数据清洗
在某电商用户表中检测发现:
registration_time
字段缺失率3.7%(主要为第三方登录用户)phone_number
字段存在15%的空字符串(使用''
而非NULL存储)- 修复策略:
-
- 对
registration_time
缺失值,使用注册当天0点填充(业务允许)
- 对
-
- 统一空字符串为NULL,便于后续缺失值处理函数使用
-
3.1.2 一致性:数据是否符合逻辑规则
1.2.1 核心定义与典型问题
- 定义:数据在不同字段、表或业务规则间保持逻辑统一,无矛盾冲突
- 维度划分:
一致性维度 检测要点 示例规则 格式一致性 数据格式符合预设标准 日期字段统一为’YYYY-MM-DD’格式 逻辑一致性 字段间关系符合业务规则 订单金额=数量×单价(误差<0.01) 跨表一致性 关联数据保持同步更新 商品下架后,对应订单状态自动标记
1.2.2 检测方法与技术实现
- (1)格式一致性检测(正则表达式)
-- 检测邮箱格式是否符合规范
SELECT user_id, email,CASE WHEN email ~ '^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}$' THEN '有效' ELSE '无效' END AS email_validity
FROM users;
- (2)逻辑一致性检测(业务规则校验)
-- 检测订单金额与数量×单价的偏差(允许0.01元误差)
SELECT order_id
FROM order_items
WHERE ROUND(price * quantity, 2) <> ROUND(amount, 2);
1.2.3 深度案例:金融交易数据清洗
在银行交易流水表中发现:
transaction_time
字段存在跨时区时间混合(部分为UTC,部分为本地时间)balance_after
字段出现负值(账户透支未按规则处理)- 解决方案:
-
- 统一时间字段为UTC时区,并添加时区转换函数
-
- 对异常负值记录,通过前后交易流水重建正确余额(
balance_before + amount = balance_after
)
- 对异常负值记录,通过前后交易流水重建正确余额(
-
3.1.3 准确性:数据是否真实反映现实
1.3.1 核心定义与判别标准
- 定义:数据值与客观现实一致,不存在错误、伪造或过时信息
- 三层校验体系:
-
- 语法准确性:数据格式符合定义(如整数无字母混入)
-
- 语义准确性:数据值在业务含义上正确(如性别字段只能是M/F)
-
- 外部准确性:与第三方权威数据一致(如地址匹配行政区划代码)
-
1.3.2 检测方法与工具链
- (1)语法准确性检测(数据类型校验)
-- 检测年龄字段是否存在非数字值(使用正则排除数字)
SELECT age
FROM users
WHERE age !~ '^[0-9]+$';
- (2)语义准确性检测(值域校验)
-- 检测订单状态是否为有效枚举值('待支付','已支付','已取消')
SELECT order_id, status
FROM orders
WHERE status NOT IN ('待支付', '已支付', '已取消');
- (3)外部准确性检测(API验证)
通过调用地址验证API(如Google Maps API),对订单表中的address
字段进行真实性校验:
# Python伪代码:调用外部API验证地址准确性
import requestsdef validate_address(address):url = f"https://maps.googleapis.com/maps/api/geocode/json?address={address}&key=API_KEY"response = requests.get(url)return response.json()['status'] == 'OK'
1.3.3 实战案例:医疗数据清洗
在电子健康档案表中发现:
blood_type
字段存在’AB+'、‘AB型’、'AB阳性’等多种表示方式!!!
height
字段出现180cm记录被错误存储为1800(单位混淆)!!!
- 治理方案:
-
- 建立统一字典表
dict_blood_type
,通过JOIN实现编码标准化
- 建立统一字典表
-
- 对数值型字段添加单位校验(如身高字段限制在50-250cm之间)
-
3.1.4 三大指标的协同关系与评估矩阵
指标 | 关注重点 | 检测手段 | 修复优先级 | 技术实现难度 |
---|---|---|---|---|
完整性 | 数据存在性 | 缺失值统计、外键检查 | 高 | 低 |
一致性 | 逻辑统一性 | 正则校验、业务规则SQL | 中 | 中 |
准确性 | 现实符合性 | 外部API验证、人工抽样核查 | 高 | 高 |
- 评估实施步骤:
-
- 完整性扫描:先解决
字段缺失、关联断裂等
基础问题
- 完整性扫描:先解决
-
- 一致性校验:建立
字段级 / 表级
规则引擎,批量清洗格式与逻辑冲突
- 一致性校验:建立
-
- 准确性验证:通过
抽样审计+外部数据源比对
,处理核心业务字段
- 准确性验证:通过
-
3.2 数据质量评估最佳实践
3.2.1 建立数据质量监控视图
-- 创建数据质量监控视图(每日自动检测)
CREATE OR REPLACE VIEW data_quality_report ASSELECT'users' AS table_name,(SELECT COUNT(*) FROM users WHERE email IS NULL) AS email_missing,(SELECT COUNT(*) FROM users WHERE age < 0 OR age > 150) AS invalid_age,CURRENT_DATE AS report_dateUNION ALLSELECT'orders' AS table_name,(SELECT COUNT(*) FROM orders WHERE order_amount < 0) AS negative_amount,(SELECT COUNT(*) FROM orders WHERE product_id NOT IN (SELECT product_id FROM products)) AS invalid_product,CURRENT_DATE AS report_date;
3.2.2 制定数据质量修复策略
问题类型 | 修复方式 | 适用场景 |
---|---|---|
可推导缺失值 | 均值/中位数填充 | 数值型字段,缺失率<10% |
不可推导缺失值 | 标记为Unknown/删除记录 | 分类字段或关键信息缺失 |
格式不一致 | 正则替换+统一转换 | 邮箱、手机号等有明确格式的字段 |
逻辑矛盾 | 业务规则反向推导 | 涉及多字段关联的计算型数据 |
3.3 总结:数据质量是分析的生命线
完整性确保数据"不残缺",一致性确保数据"不矛盾",准确性确保数据"不虚假"
。- 三者构成数据质量的铁三角,任何一环的缺失都会导致后续分析出现偏差。
- 在PostgreSQL实践中,建议通过:
-
- DDL约束(NOT NULL、CHECK、外键)实现事前控制
-
- 定期质量报告
(存储过程+定时任务)实现事中监控
- 定期质量报告
-
- ETL流程优化(
数据清洗管道集成质量检测
模块)实现事后修复
- ETL流程优化(
-
以上内容构建了数据质量评估的完整框架。
- 通过系统化的数据质量评估体系,为后续的数据转换、分析建模奠定坚实基础。
- 下一章节将深入探讨数据清洗中的异常值处理与数据转换技术,敬请期待。
相关文章:
【PostgreSQL数据分析实战:从数据清洗到可视化全流程】3.1 数据质量评估指标(完整性/一致性/准确性)
👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 数据质量评估核心指标:完整性、一致性、准确性实战解析3.1 数据质量评估指标体系3.1.1 完整性:数据是否存在缺失1.1.1 核心定义与业务影响1.1.2 检测…...
分布式系统中的 ActiveMQ:异步解耦与流量削峰(一)
一、引言 在当今数字化时代,分布式系统已成为构建大规模应用的关键架构。随着业务的快速发展和用户量的急剧增长,分布式系统面临着诸多挑战,其中异步通信、系统解耦和流量削峰是亟待解决的重要问题。 以电商系统为例,在秒杀活动中…...
【PostgreSQL数据分析实战:从数据清洗到可视化全流程】2.5 事务与锁机制(ACID特性/事务控制语句)
👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 PostgreSQL 事务与锁机制深度解析:ACID 特性与事务控制全流程2.5 事务与锁机制2.5.1 ACID 特性与实现原理2.5.1.1 ACID 核心概念2.5.1.2 MVCC(多版本并发控制)与WAL(预写式日志)协同效应2.5.2 事务…...
STM32教程:ADC原理及程序(基于STM32F103C8T6最小系统板标准库开发)*详细教程*
前言: 本文章介绍了STM32微控制器的ADC外设,介绍了ADC的底层原理以及基本结构,介绍了ADC有关的标准库函数,以及如何编写代码实现ADC对电位器电压的读取。 可以根据基本结构图来编写代码 大体流程: 1、开启RCC时钟&am…...
RabbitMQ 深度解析:从核心组件到复杂应用场景
一.RabbitMQ简单介绍 消息队列作为分布式系统中不可或缺的组件,承担着解耦系统组件、保障数据可靠传输、提高系统吞吐量等重要职责。在众多消息队列产品中,RabbitMQ 凭借其可靠性和丰富的特性,在企业级应用中获得了广泛应用。本研究报告将全…...
linux 使用nginx部署ssl证书,将http升级为https
前言 本文基于:操作系统 CentOS Stream 8 使用工具:Xshell8、Xftp8 服务器基础环境: nginx - 请查看 linux 使用nginx部署vue、react项目 所需服务器基础环境,请根据提示进行下载、安装。 1.下载证书 以腾讯云为例ÿ…...
iview 分页改变每页条数时请求两次问题
问题 在iview page分页的时候,修改每页条数时,会发出两次请求。 iview 版本是4.0.0 原因 iview 的分页在调用on-page-size-change之前会调用on-Change。默认会先调用on-Change回到第一页,再调用on-page-size-change改变分页显示数量 此时就会…...
【Hive入门】Hive与Spark SQL深度集成:Metastore与Catalog兼容性全景解析
目录 引言 1 元数据管理体系架构对比 1.1 Hive Metastore架构解析 1.2 Spark Catalog系统设计 2 元数据兼容性深度剖析 2.1 元数据模型映射关系 2.2 元数据同步机制 3 生产环境配置指南 3.1 基础兼容性配置 3.1.1 Spark连接Hive Metastore 3.1.2 多引擎共享配置 3.…...
C#与西门子PLC通信:S7NetPlus和HslCommunication使用指南
西门子S7协议是用来和PLC进行通讯的一个协议,默认端口是102,数据会保存在一个个DB块中,比较经典的用法是一个DB块专门用来读取,一个用来写入。 DB(数据块) {块号}.DBX/DBD/DBW{字节地址}.{位偏移} 1、数据…...
湖北理元理律师事务所:法律科技融合下的债务管理实践
随着债务纠纷数量攀升,如何通过合法途径化解债务风险成为社会焦点。湖北理元理律师事务所作为国家司法局注册的债事服务机构,尝试以“法律技术”重构传统服务模式,为债务人提供系统性解决方案。 专业化服务架构 该律所设立客服、运营、法务…...
Spring Cloud Gateway MVC 基于 Spring Boot 3.4 以 WAR 包形式部署于外部 Tomcat 实战
一、引言 随着微服务架构的广泛应用,Spring Cloud Gateway 作为网关层的核心组件,为服务间的通信与流量管理提供了强大支持。spring-cloud-starter-gateway-mvc 则进一步助力开发者以熟悉的 MVC 模式进行网关开发。同时,将项目以 WAR 包形式…...
LLM论文笔记 27: Looped Transformers for Length Generalization
Arxiv日期:2024.9.25 关键词 长度泛化 transformer结构优化 核心结论 1. RASP-L限制transformer无法处理包含循环的任务的长度泛化 2. Loop Transformer显著提升了长度泛化能力 Input Injection 显著提升了模型的长度泛化性能,尤其在二进制加法等复杂…...
PCIe TLP | 报头 / 包格式 / 地址转换 / 寄存器 / 配置空间类型
注:本文为 “PCIe TLP” 相关文章合辑。 英文引文,机翻未校。 中文引文,未整理去重。 图片清晰度受引文原图所限。 略作重排,如有内容异常,请看原文。 PCIe - TLP Header, Packet Formats, Address Translation, Conf…...
《AI大模型应知应会100篇》第46篇:大模型推理优化技术:量化、剪枝与蒸馏
第46篇:大模型推理优化技术:量化、剪枝与蒸馏 📌 目标读者:人工智能初中级入门者 🧠 核心内容:量化、剪枝、蒸馏三大核心技术详解 实战代码演示 案例部署全流程 💻 实战平台:PyTor…...
C++/SDL 进阶游戏开发 —— 双人塔防(代号:村庄保卫战 20)
🎁个人主页:工藤新一 🔍系列专栏:C面向对象(类和对象篇) 🌟心中的天空之城,终会照亮我前方的路 🎉欢迎大家点赞👍评论📝收藏⭐文章 文章目录 三…...
【Python生成器与迭代器】核心原理与实战应用
目录 前言技术背景与价值当前技术痛点解决方案概述目标读者说明一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比二、实战演示环境配置要求核心代码实现案例1:自定义迭代器类案例2:生成器函数案例3:生成器表达式运行结果验证三、性能对比测试方法论量…...
2025年最新嵌入式开发STM32单片机详细教程(更新中)
ARM 处理器架构 ARM 处理器从 1984 ARM-1 发展到 2004 ARM-11 之后,放弃数字命名,用 cortex 来命令处理器产品。 Cortex-A系列 主打高性能 手机,平板,智能电视等 Cortex-R系列 主打实时 汽车,工业控…...
neatchat轻量级丝滑的ai模型web客户端
NeatChat 人工智能模型对话web客户端 前言 此项目是nextchat分支,相比原者更加简洁流畅。 部署 docker部署 name: next-chat services:chatgpt-next-web:ports:- 8080:3000environment:- OPENAI_API_KEYsk-xx543Ef3d- BASE_URLhttps://api.ai.com- GOOGLE_API_K…...
学习黑客分析案例
▶️ Day 2 任务 – 「怪物图鉴」实战 选一条最新安全事件(国内外均可,建议 1 年内) 例:CVE-2024-21887 Ivanti VPN RCE 用下列表格框架,3 句话归纳它的“派系”“CIA 受击点”“一句话原理”: 攻击流派…...
sonar-scanner在扫描JAVA项目时为什么需要感知.class文件
1 概述 SonarQube是一个静态代码分析工具,主要用于检查源代码的质量,包括代码重复、潜在漏洞、代码风格问题等。而SonarScanner是SonarQube的客户端工具,负责将代码进行形态分析,并将结果发送到SonarQube服务器。所以,…...
AtCoder Beginner Contest 404(ABCDE)
A - Not Found 翻译: 给您一个字符串S,长度在1 到25 之间,由小写英文字母组成。 输出S 中没有出现的一个小写英文字母。 如果有多个这样的字母,可以输出其中任何一个。 思路: 数组记录存在于 s 中的字母。(…...
【言语理解】中心理解题目之结构分析
front:中心理解题目之抓住关键信息 3.1 五种常见对策表达方式 3.1.1 祈使或建议给对策 应该(应) 需要(要) eg:……。对此,媒体要做好自我规约。……。 eg:……。然而,两地仅简单承接…...
DeepSeek-Prover-V2-671B:AI在数学定理证明领域的重大突破
文章目录 什么是DeepSeek-Prover-V2-671B?核心技术亮点1. **超大规模参数与高效推理**2. **超长上下文窗口**3. **强化学习与合成数据** 主要应用场景1. **教育领域**2. **科学研究**3. **工程设计**4. **金融分析** 开源与商业化性能表现总结 2025年4月30日&#x…...
React18组件通信与插槽
1、为DOM组件设置Props 在react中jsx中的标签属性被称为Props DOM组件的类属性,为了防止与js中的class属性冲突改成了className DOM组件的style属性 import image from "./logo.svg"; function App() {const imgStyleObj {width: 200,height: 200,};re…...
第15章 对API的身份验证和授权
第15章 对API的身份验证和授权 在构建RESTful API时,确保只有经过身份验证和授权的用户才能访问特定资源是至关重要的。身份验证是确认用户身份的过程,而授权则是决定用户是否有权访问特定资源的过程。在本章中,我们将详细探讨如何在ASP.NET Core Web API中实现身份验证和授…...
【项目归档】数据抓取+GenAI+数据分析
年后这两个月频繁组织架构变动,所以博客很久没更新。现在暂时算是尘埃落定,趁这段时间整理一下。 入职九个月,自己参与的项目有4个,负责前后端开发,测试,devops(全栈/doge)ÿ…...
如何优化MySQL主从复制的性能?
优化MySQL主从复制的性能需要从硬件、配置、架构设计和运维策略等多方面入手。以下是详细的优化方案: 一、减少主库写入压力 1. 主库优化 二进制日志(binlog)优化: 使用 binlog_formatROW 以获得更高效的复制和更少的数…...
asp.net客户管理系统批量客户信息上传系统客户跟单系统crm
# crm-150708 客户管理系统批量客户信息上传系统客户跟单系统 # 开发背景 本软件是给郑州某企业管理咨询公司开发的客户管理系统软件 # 功能 1、导入客户数据到系统 2、批量将不同的客户分配给不同的业务员跟进 3、可以对客户数据根据紧急程度标记不同的颜色,…...
PCIe | TLP | 报头 / 包格式 / 地址转换 / 配置空间 / 寄存器 / 配置类型
注:本文为 “PCIe - TLP” 相关文章合辑。 英文引文,机翻未校。 中文引文,未整理去重。 图片清晰度受引文原图所限。 略作重排,如有内容异常,请看原文。 PCIe - TLP Header, Packet Formats, Address Translation, Co…...
ip和域名
好的,我来依次回答你的问题: 域名和 IP 地址是什么关系? IP 地址 (Internet Protocol Address):可以想象成互联网上每台设备(比如服务器、电脑、手机)的门牌号码。它是一串数字(例如 IPv4 地址 …...
《解锁GCC版本升级:开启编程新世界大门》
《解锁GCC版本升级:开启编程新世界大门》 一、引言:GCC 版本升级的魔法钥匙 在编程的广阔天地里,GCC(GNU Compiler Collection)宛如一座灯塔,为无数开发者照亮前行的道路。它是一款开源且功能强大的编译器集合,支持 C、C++、Objective - C、Fortran、Ada 等多种编程语言…...
前端跨域问题怎么在后端解决
目录 简单的解决方法: 添加配置类: 为什么会跨域 1. 什么是源 2. URL结构 3. 同源不同源举🌰 同源例子 不同源例子 4. 浏览器为什么需要同源策略 5. 常规前端请求跨域 简单的解决方法: 添加配置类: packag…...
生成式 AI 的工作原理
在科技浪潮汹涌澎湃的当下,生成式 AI 宛如一颗璀璨的新星,照亮了我们探索未知的征程。它不再仅仅是科幻电影中的幻想,而是已经悄然融入我们生活的方方面面,从智能客服的贴心应答,到艺术创作的天马行空,生成式 AI 正以一种前所未有的姿态重塑着世界。然而,你是否曾好奇,…...
DeepSeek辅助学术写作之修订与校稿以及发表与推广相关提示词分享祝你顺利毕业~
目录 1.修订与校对 2.发表与推广 大家好这里是AIWritePaper官方账号,官网👉AIWritePaper~ 宝子们可以使用小编精选的“ChatGPT研究论文提示词”集合来创建研究论文。利用ChatGPT的智能回应生成详尽有效的内容,这样可以加快研究论文的策划、…...
叠层阻抗线框
1.阻抗介绍 特性阻抗:又称“特征阻抗”,它不是直流电阻,属于长线传输中的概念。在高频范围内,信号传输过程中,信号沿到达的地方,信号线和参考平面(电源或地平面)间由于电场的建立&am…...
大数据:驱动技术创新与产业转型的引擎
📝个人主页🌹:慌ZHANG-CSDN博客 🌹🌹期待您的关注 🌹🌹 在全球数字化转型的浪潮中,大数据已经成为推动各行各业革新的核心力量。随着信息技术的迅猛发展,数据的收集、存储、处理和分析能力不断提升,大数据不仅改变了企业的运营模式,更引领了技术创新和产业结构…...
C++继承基础总结
引言 在编写多个类时,类之间可能会存在多个相同的成员变量,导致代码冗余度过高,C继承的出现,使得我们可以在已有类的基础上构建新类,从而实现代码复用与结构扩展。 一、继承的基本概念 继承是指子类(派生…...
2025年斯诺克世锦赛——“75三杰”在1/4决赛作为对手的概率
“在最近的斯诺克世锦赛中,中国两名球员成功挺进前8强。此外,前8强也出现令人感慨的一幕:75三杰全部进入到了八强,这也是历史第5次,50岁正是打拼的年纪!传奇之旅继续!”——摘自50岁正是打拼的年…...
Python绘制地球的重力地图
文章目录 Boule重力地图从ensaio下载重力数据Boule boule中定义了多种参考椭球,可用于表示地球、火星等星体的重力分布。可通过pip安装 pip install bouleboule中已经定义的椭球如下 椭球GRS80WGS84MARSMERCURYMOONVENUSVESTA星体地球地球火星水星月球金星灶神星这些椭球可直…...
多端定制系统开发:打造高效全平台覆盖的APP解决方案
在移动互联网时代,用户需求日益多样化,企业若想触达更广泛的受众,仅靠单一平台的应用已远远不够。无论是iOS、Android、Web端,还是智能手表、车载设备等新兴终端,多端适配已成为企业数字化转型的刚需。多端定制系统开发…...
WGDI-分析WGD及祖先核型演化的集成工具-文献精读126
WGDI: A user-friendly toolkit for evolutionary analyses of whole-genome duplications and ancestral karyotypes WGDI:一款面向全基因组重复事件与祖先核型演化分析的易用工具集 摘要 在地球上大多数主要生物类群中,人们已检测到全基因组复制&…...
旋转矩阵公式理解
这里给出其中一种理解方法: 设原始直角坐标系下的坐标为(x,y),我们可以将它分解为两个向量(x,0)和(0,y)。接下来将两个向量分别顺时针旋转θ度,二者就会分别变成:(xcosθ,xsinθ)和(-ysinθ,ycosθ)。 也就是说,二者…...
网络Tips20-002
1..某主机接口的IP地址为192.16.7.131/26.则该IP地址所在网络的广播地址是:192 16.7.191 广播地址是指在特定网络上发送广播消息的地址。它用于向网络上的所有设备发送信息。 方法1:广播地址掩码取反和网络地址的或运算 方法2:广播地址将网…...
firewall docker 冲突问题解决(亲测有效)
# 关闭iptables,使用firewall systemctl disable iptables # 禁用服务 systemctl stop iptables # 关闭服务 systemctl status iptables # 查看服务状态 systemctl enable firewalld # 设置防火墙开机自启动 systemctl start firewalld # 开启服务 systemctl s…...
SwiftUI-MLX本地大模型开发(二)
介绍 在 SwiftUI-MLX本地大模型开发一文中,我们已经详细讲了如何利用 MLX 进行本地大模型的开发。但是通过案例可以发现 2 个问题: MLX 内置的大模型数量有限。每次大模型都需要从 HuggingFace 下载。 如何解决这 2 个问题,方案是:…...
基于「骑手外卖系统」串联7大设计原则
你说得对!这些设计原则听起来都很抽象、很“玄”,如果不是实际开发过系统,很难理解“到底为什么要这样设计”。 那我现在就用一个你能想象得很清楚的真实例子,帮你把这7个设计原则一一落地到具体情境里,你会一眼明白。…...
泰迪杯特等奖案例学习资料:基于时空图卷积网络的城市排水系统水位精准重建与异常检测
(第十四届泰迪杯数据挖掘挑战赛A题特等奖案例解析) 一、案例背景与核心挑战 1.1 应用场景与行业痛点 城市排水系统(Urban Drainage Network, UDN)是城市基础设施的重要组成部分,其运行效率直接影响防洪排涝能力和水环境质量。然而,实际运维中面临以下难题: 监测数据稀…...
嵌入式Linux应用项目----智能网关
一、网关概述: Linux网关的作用在于,通过蓝牙、LoRa、串口、CAN等接口,与哪些无法连接网络的设备建立联系,将它们的数据转发至服务器。这过程中,网关充当了数据的桥梁,将下级设备所产生的数据发送至服务器。…...
C++ 中的继承
目录 前言 一、继承的概念及定义 二、基类和派生类对象赋值转换 三、继承中的作用域 四、派生类的默认成员函数 五、继承与友元 六、继承与静态成员 七、复杂的菱形继承及菱形虚拟继承 (一)单继承与多继承 (二)菱形继承 …...
【中间件】brpc_基础_用户态线程上下文
文章目录 context介绍1 简单介绍2 主要功能2.1 上下文结构定义2.2 上下文切换实现2.3 协程栈管理2.4 平台兼容性处理2.5 性能优化 3 关键代码逻辑示例3.1 上下文初始化 (bthread_make_fcontext)3.2 上下文切换 (bthread_jump_fcontext) 4 与 BRPC 其他模块的协作5 性能与稳定性…...