数据库blog1_信息(数据)的处理与效率提升
🌿信息的处理
🍂实际中离不开信息处理
● 解决问题的建模
任何对问题的处理都可以看作数据的输入、处理、输出。
- eg.一个项目中,用户点击信息由前端接收传递到后端处理后返回结果
- eg.面对一个问题,我们在搜集信息后做出处理与分析,最终得出判断
- eg.硬盘里的信息到内存后,由CPU处理后输出给对应设备(如,显示屏)
● 实际信息处理全过程概括
实际中信息处理的详细流程可以概括为:信息的 输入[收集、整理]+处理[分析、计算、转换…]+输出[呈现…]。
- 搜集:使用爬虫快速搜集/整理:合适方式归类、存储
🍂信息处理能力有高下之分
● 信息处理能力
由于问题的解决过程可以看作是对信息流的处理,所以,对信息的处理能力越强,就意味着结点的处理能力越强。
- CPU每秒浮点数计算次数越大,即CPU的能力越强
注意:
- 同一个问题,不同结点的能力不同。而不同问题,一个结点的解决能力也不同。
- 即,不能直接比较结点的能力,首先要明确是那个问题,才能比较能力。
- 如,人脑在抽象问题上优于计算机。而在高速计算问题上,计算机优于人脑。即比较时,不能脱离实际问题。
● 局部对整体的影响
信息处理是由上述的几个步骤依次执行的,由此会发现,每个步骤的效率都会影响最终的效率评价。
- eg.跑4*100m接力,A组第一棒过于慢(需要40s),其它三棒速度较快(25s),而B组四棒速度均匀(24s)则会发现B组更快。
总结:
- 每个过程顺利处理,整体效率才高。
- 总体效率受最低效率的那个步骤影响最大,比如CPU与硬盘间要内存作为过渡,不然CPU效率再高体现不出来。
🍂总结
信息处理与效率的关系
- 对
某个问题
的处理的过程过程可以看作是对信息流的处理
- 而信息流的处理中,
各步骤效率影响着总体效率
- 由此,
优化各步骤效率
且使它们效率相似是提升信息处理能力的方法。- 从而使得结点解决
该问题
的能力就提升。即解决问题的效率就提升。经典例子
- CPU与硬盘间加内存,过渡了各步骤速率差异,使得整体效率变高。
所以,研究每个步骤如何提升效率十分有必要。
- 比如,优化爬虫规则,使得输入搜集效率提高
- 而数据库是研究数据的整理(存储)效率,从而使得输入效率的提高
🌿计算机对数据(信息)的处理
电子计算机中的信息都以二进制数据概念存储。即,信息在计算机中的表现形式二进制数据,所以,计算机中的信息处理有可以叫做数据的处理,对应信息处理流程就是:数据输入——>数据处理——>数据输出。
🍂PC的结构
冯诺依曼结构:CPU(运算器、控制器)、存储器、输入输出设备
- CPU————负责处理,是计算机的核心部件
- 存储器(cache/内存/硬盘)————负责数据的存储。用于将信息输入CPU/接收来自CPU的信息
- 输入/输出设备————用于接收非外界的非存储器的信息(eg.键盘)/输出来自CPU的信息
🍂PC数据处理流程效率分析
负责相关步骤的设备:
数据的输出/输入:存储器、输入/输出设备
数据的处理:CPU其中,输入的内容主要来自存储器,由此,有必要优化存储器,来提升输入/输出效率。优化CPU,提升对数据的处理效率。
🌿输入/输出步骤的优化————存储器的优化
由于存储器在数据输入/输出中起着关键作用,优化存储器结构和访问方式,是提升整体信息处理效率的重要手段。
🍂物理效率优化
主要是硬件与架构方面的优化
- 合适的存储介质与缓存技术(cache-内存-硬盘三级架构)
- 存储架构(分布式存储、存储区域网络(SAN)、网络附加存储(NAS)
)
问题:只提升了存取的物理效率。没有提示逻辑效率。举例
:快递站一堆混杂的快递,可以选择分拣快的快递员来提升寻找目标快递的速度。由此,效率提高。但如果把快递提前按标签号分类,那么寻找效率会更高。
🍂逻辑优化
在存储数据前,对数据逻辑关系再处理,比如。得出索引、分区存储…,使得查找数据的时候,不用穷举法,而是有规律的在符合特征的区域里查找就行了。
● 数据逻辑优化的本质——元数据
- 对数据不做处理,就只能穷举遍历查找,而要做到逻辑优化,必然要分析数据的逻辑特性并且记录下来(由此,生成了关于元数据逻辑关系的数据,即数据的数据,我们一般把这个叫做元数据
举例
:OS的文件系统(通过目录结构、文件索引等机制优化文件的存储和检索效率。)
● 与数据库的关系
数据库技术主要是研究数据的逻辑优化内容。
- 比如对数据结构的改变:关系表、索引、键值对
- 存储策略上, 顺序写入技术(Sequential Write),即沿着磁道写入数据,速率取决于磁盘的转速。
相关视频:【这应该是B站讲的最好的MySQL日志机制实战教程,2小时深入Innodb存储引擎底层原理、SQL底层!】 https://www.bilibili.com/video/BV1s7DHYBEfR/?share_source=copy_web&vd_source=4e01781ce46b7eace184a7de62dfc2f4
🌿总结
- 解决问题抽象建模:对信息流的处理
- 信息流的处理:输入——>处理——>输出
- 对信息流的处理效率表示结点处理该问题的能力,同时总体效率受各部分效率影响
- 所以结点处理问题能力的增强就是提升对问题的信息流的处理效率
- 即提升信息流处理各步骤的效率
- 在计算机中信息以二进制数据表示,所以提升结点处理问题的能力就是提升对问题数据流(信息)处理能力,即提升对数据流各步骤的处理效率。
- PC中对数据流处理的步骤(输入/处理/输出)的负责硬件是CPU、存储器、输入输出设备
- 其中,输入输出效率主要与存储器有关,所以,优化数据输入/输出步骤的效率就是优化存储器数据的输入/输出效率
- 优化思路分为物理优化与逻辑优化
- 其中,数据库技术就是研究存储器中数据的逻辑优化。
🌿注意
数据的逻辑优化是一门独立且复杂的学科,涉及数据结构与组织、数据存储策略、数据访问与查询优化、数据一致性与完整性、数据安全与隐私等多个研究方向。通过优化数据的逻辑结构和访问方式,可以显著提高数据处理的效率和性能。
本质是:将总资源按照某种方式分类并记录这种分类方式对应的各个数据集合信息,以此实现根据分类信息缩小目标资源的查找方式。从而提高搜索效率。
各个领域都会用到,不只是计算机存储器的优化。
- 举例:档案的分类管理,不涉及计算机,但是用到了数据逻辑优化知识。
- 超市货架分类、快递/图书馆资源管理分类(
对物质资源的分类,本质是先抽象提取了物质资源的信息作为原信息集合,在对这一抽象原信息集合进行逻辑处理
)
- 这体现了人类对现实世界的建模思想(物质是物质,认为赋予抽象意义)
相关文章:
数据库blog1_信息(数据)的处理与效率提升
🌿信息的处理 🍂实际中离不开信息处理 ● 解决问题的建模 任何对问题的处理都可以看作数据的输入、处理、输出。 eg.一个项目中,用户点击信息由前端接收传递到后端处理后返回结果eg.面对一个问题,我们在搜集信息后做出处理与分析…...
日语学习-日语知识点小记-构建基础-JLPT-N4阶段(23):受身形
日语学习-日语知识点小记-构建基础-JLPT-N4阶段(23):受身形 1、前言(1)情况说明(2)工程师的信仰2、知识点(1)うけみけい 受身形1、グループ2、グループ3、グループ(2) か ~かどうか1、か2、かどうか3、单词(1)日语(2)日语片假名单词4、相近词练习5、单词…...
kubernetes的Service与服务发现
kubernetes的Service与服务发现 1 Service1.1 Service概念1.2 Service类型1.2.1 ClusterIP1.2.2 NodePort1.2.3 LoadBalancer1.2.4 ExternalName1.2.5 Headless 2 CoreDNS2.1 CoreDNS概念2.2 CoreDNS插件架构2.3 CoreDNS在kubernetes下的工作原理2.4 Pod上的DNS解析策略 3 Ingr…...
python打卡day28
类的简单复习 知识点回顾: 类的定义pass占位语句类的初始化方法类的普通方法类的继承:属性的继承、方法的继承 类就是对属性和方法的封装,一个常见的类的定义包括了: 关键字class类名语法固定符号冒号(:)一个初始化函数__init__(…...
【学习心得】英伟达的诸多显卡性能对比
型号 CUDA核心 显存容量 算力(FP32/TFLOPS) A100 6912 HBM2e/80G 19.49 A800 6912 HBM2e/80G 19.49 H100 14592 HBM3/80G 51.22 H800 14592 HBM3/80G 51.22 T4 4352 GDDR6/16G 8.14 P40 3840 GDDR5/24G 11.76 L40 18176 G…...
使用Pinia持久化插件-persist解决刷新浏览器后数据丢失的问题
文章目录 一、现象二、原因三、解决:使用Pinia持久化插件-persist安装persistpinia中使用persist插件在创建定义状态时配置持久化 四、参考资料 一、现象 登录成功后,能正常看到文章分类的数据,但只要刷新浏览器就提示服务异常 二、原因 P…...
mysql中4种扫描方式和聚簇索引非聚簇索引【爽文一篇】
目录 一 mysql的聚簇索引&非聚簇索引 1.1 数据表 1.2 聚簇索引 1.3 非聚簇索引 1.4 覆盖索引 二 mysql的4种扫描查询 2.1 全表扫描 2.2 索引扫描 2.3 覆盖索引扫描 2.4 回表扫描 2.5 总结 三 mysql的回表查询详解 3.1 回表查询 一 mysql的聚簇索引&非聚簇…...
交流学习 | 江西同为科技有限公司赴海尔总部考察交流
2025年4月8日至9日,江西同为科技有限公司在江西省科技装备商会的带领下,以蔡文君经理为代表,一行人赴山东青岛海尔总部开展两天的考察交流活动。本次考察不仅深入剖析了海尔企业的前沿技术与管理理念,更促进了行业内科技创新、商业…...
AGI大模型(20):混合检索之rank_bm25库来实现词法搜索
1 混合检索简介 混合搜索结合了两种检索信息的方法 词法搜索 (BM25) :这种传统方法根据精确的关键字匹配来检索文档。例如,如果您搜索“cat on the mat”,它将找到包含这些确切单词的文档。 基于嵌入的搜索(密集检索) :这种较新的方法通过比较文档的语义来检索文档。查…...
QT调用Halcon查询所有摄像头名称
QT软件中的测试代码 //获取当前连接的所有设备信息实例HTuple hv_general, hv_ValueList;InfoFramegrabber("DirectShow", "device", &hv_general, &hv_ValueList);qDebug()<<QString::fromUtf8(hv_general.S().Text());//Value list for de…...
16 C 语言布尔类型与 sizeof 运算符详解:布尔类型的三种声明方式、执行时间、赋值规则
1 布尔类型 1.1 布尔类型概述 布尔类型用于表示逻辑上的真(true)和假(false)两种状态,是编程中条件判断和逻辑运算的基础。在 C 语言中,布尔值的表示方式随着标准的发展而不断完善。 1.2 布尔类型的三种声…...
配置ssh服务-ubuntu到Windows拷贝文件方法
背景: 在工作中,需要频繁从ubuntu到Windows拷贝文件,但有时间总是无法拷出,每次重启虚拟机又比较麻烦并且效率较低。可以使用scp服务进行拷贝,不仅稳定而且高效,现将配置过程进行梳理,以供大家参…...
使用ts-node搭建typescript运行环境
目录 首先安装好node.js 安装typescript 安装ts-node 创建一个typescript文件 使用ts-node运行typescript文件 首先安装好node.js 安装typescript npm install typescript4.7.4 -g 安装ts-node npm install ts-nodev10.8.1 -g 创建一个typescript文件 文件名为app.ts&a…...
如何深入学习MATLAB的高级应用?
文章目录 要深入学习 MATLAB 的高级应用,需要在掌握基础语法后,系统性地学习特定领域的工具箱和算法,并通过实战项目提升能力。以下是分阶段的学习路径和资源推荐: 一、深化核心技能 高级矩阵运算与线性代数 matlab % 稀疏矩阵处…...
英汉 “语言” 初印象:符号背后的文化底色
英汉 “语言” 初印象:符号背后的文化底色 原始尺寸更换图片 在生活里,我们每天都会进行各式各样的交流,或许不曾留意,汉语和英语这两种极具代表性的语言,从最简单的问候语中就能展现出它们独特的文化内…...
C语言_编译全攻略_从原理到实战的深度解析
在 C 语言开发中,编译是连接源代码与可执行程序的关键桥梁。理解编译过程不仅能提升开发效率,更能帮助我们定位内存泄漏、性能瓶颈等深层次问题。本文将从编译原理出发,结合 GCC 工具链,带你掌握 C 语言编译的核心技术。 一、编译流程底层原理 1. 编译四阶段详解 预处理…...
AGI大模型(21):混合检索之混合搜索
为了执行混合搜索,我们结合了 BM25 和密集检索的结果。每种方法的分数均经过标准化和加权以获得最佳总体结果 1 代码 先编写 BM25搜索的代码,再编写密集检索的代码,最后进行混合。 from rank_bm25 import BM25Okapi from nltk.tokenize import word_tokenize import jieb…...
Vue3学习(组合式API——ref模版引用与defineExpose编译宏函数)
目录 一、ref模版引用。 (1)基本介绍。 (2)核心基本步骤。(以获取DOM、组件为例) (3)案例:获取dom对象演示。 <1>需求:点击按钮,让输入框聚焦。 (4&…...
Zephyr OS 中的 FIFO 接口应用介绍
目录 概述 1 FIFO的接口函数 1.1 K_FIFO_DEFINE函数 1.2 k_fifo_init函数 1.3 k_fifo_put函数 1.4 k_fifo_get 函数 1.5 k_fifo_is_empty 函数 2 应用验证 2.1 UART中使用FIFO范例 2.2 生产-消费类型范例 3 注意事项 3.1 内存管理 3.2 线程安全边界 概述 Zephy…...
前端基础之CSS
基本语法规范 引入方式 1.内部引入 <style>p{color:blue ;font-size:30px;}</style> 2.行级引入 <p style "color : green ;font-size : 40px;">hello ,wyx</p><p>hello , wyx1</p><h1>hello , wyx2</h1> 3.外…...
【Linux网络】DNS与ICMP
DNS(Domain Name System) DNS是一整套从域名映射到IP的系统。 DNS背景 TCP/IP使用IP地址和端口号来确定网络上的一台主机的一个程序。但是IP地址不方便记忆。 于是人们发明了一种叫主机名的东西,是一个字符串,并且使用hosts文件来描述主机名和IP地址的…...
第二十七天打卡
一些函数 for i in range(2, 10000):if is_prime(i):print(i) if ...: 这是 Python 里的条件判断语句,当 is_prime(i) 的返回值为 True 时,就会执行 if 语句块里的代码。 func.__name__ 的作用 func.__name__ 是 Python 中函数对象的一个特殊属性&am…...
38-日语学习小程序
系统功能特点: 技术栈: springBootVueMysqlUni-app 功能点: 用户端 管理员端 用户端: 1.首页: 轮播图展示、N2词汇列表、网站公告列表 2.学习模块: 有五十音图 词汇 语法 3.社区模块: 可进行发帖 也可查看帖子进行回复 可查看小组 4.我的: N2词汇(点击查看详情…...
信贷风控笔记6——风控常用指标(面试准备14)
一、PSI: 1.计算过程:变量分箱10-20箱;统计各分箱内样本占比; 算各个分箱的index(实际占比-预期占比)*ln(实际占比/预期占比); 将各分箱index求和得PSI 2.情况分类&…...
UDP三种通信方式
单播(Unicast) 单播是最常见的通信方式,数据从一个发送方传输到一个特定的接收方。发送方将数据包发送到接收方的IP地址和端口号,接收方通过监听指定的端口接收数据。单播适用于一对一的通信场景。 import java.net.DatagramPac…...
Windows运维工具批处理版
测试环境:windows10 必看: 1.新建记事本,另存为:文件类型所有文件,文件名运维.bat,编码ansi,复制代码,保存,双击运行 2.有的功能需要输入管理员密码,如果没…...
无需配置光猫,使用网管交换机配合路由器的IPTV功能实现单线复用
一、背景 弱电箱和电视柜只预留了一根网线,路由器放在电视柜,想实现既可以上网又可以正常观看iptv,本文提供了一种方法。 二、准备工作 1、带iptv功能的路由器;2、水星sg105pro网管交换机;3、网线若干; …...
Elasticsearch 官网阅读之 Term-level Queries
Term-level Queries 参考:https://www.elastic.co/docs/reference/query-languages/query-dsl/query-dsl-exists-query 一、Term Query Term Query 是 term 精准查询。需要注意的是,在进行 Term Query 的时候,要避免 text 类型的字段&#x…...
医疗大模型技术演进与行业应用全景
摘要 本文系统梳理医疗大模型技术架构的三大演进阶段,深度解析Transformer架构优化、多模态融合、模型压缩等核心技术突破。结合Google Med-PaLM、启真医疗大模型等16个典型行业案例,揭示医疗大模型在诊断辅助、药物研发、医院管理等九大场景的应用成效。基于权威评测数据,…...
【软考 McCabe度量法】
McCabe度量法(McCabe’s Cyclomatic Complexity)是由Thomas McCabe提出的一种用于衡量程序模块环路复杂性的软件度量方法。它通过分析代码的控制流结构来评估程序的复杂度,帮助开发者识别难以维护或测试风险较高的代码区域。 一、McCabe度量法…...
LabVIEW光谱信号仿真与数据处理
在光谱分析领域,LabVIEW 凭借其图形化编程、丰富函数库及强大数据处理能力,成为高效工具。本案例将介绍如何利用 LabVIEW 仿真光谱信号,并对实际采集的光谱数据进行处理,涵盖信号生成、数据采集、滤波、分析及显示等环节。 一…...
从零开始认识 Node.js:异步非阻塞的魅力
Node.js 是一个基于 Chrome V8 引擎 的 JavaScript 运行时环境,用于在服务器端运行 JavaScript 代码。它的设计目标是让开发者能够用 JavaScript 构建高性能、可扩展的网络应用。以下是关于 Node.js 的详细介绍: 1. 核心特点 事件驱动与非阻塞 I/O&…...
ECMAScript 2018(ES2018):异步编程与正则表达式的深度进化
1.版本背景与发布 发布时间:2018年6月,由ECMA International正式发布,标准编号为ECMA-262 9th Edition。历史意义:作为ES6之后的第三次年度更新,ES2018聚焦于异步编程、正则表达式和对象操作的标准化,推动…...
【gitee 初学者矿建仓库】
简易的命令行入门教程: Git 全局设置: git config --global user.name "你的名字"触摸 git config --global user.email "你的邮箱"创建 git 仓库: mkdir codestore cd codestore git init -b "main" touch README.md # 选择运行 git add REA…...
Java 类和对象
文章目录 类和对象实例化对象this构造和初始化封装访问修饰限定符包自定义包 static代码块 类和对象 Java当中一切皆对象对象是什么呢? 比如是一个人,手机等怎么描述对象呢? 可以用类描述对象,可以理解类为一个模版,用…...
湖北理元理律师事务所:科学债务管理模型构建实录
债务问题本质是资源错配问题。湖北理元理律师事务所基于400案例的司法大数据,提炼出一套“三阶九步”债务管理模型,本文从技术视角解析其运作逻辑与实操价值。 模型架构:从诊断到执行的全周期管理 阶段一:债务体检(1…...
JavaScript vs Python 用于 Web Scraping(2025):终极对比指南
1. 引言 在不断发展的 Web Scraping 领域,选择合适的编程语言对于项目的成功至关重要。虽然 JavaScript 和 Python 在 2025 年仍然是 Web Scraping 领域的热门选择,但它们各自具备不同的优势和挑战。 本指南将深入分析 JavaScript 和 Python 的核心特性…...
数据结构day3
一、gdb调试 gcc -g main.c linklist.c // 对两个.c文件进行编译,生成 a.out 文件 gdb a.out //调试可执行文件 a.out b linklist.c:36 // 在该.c文件第 36 行设置断点 r // 运行程序,但会在断点前停…...
VSCode launch.json 配置参数详解
使用 launch.json 配置调试环境时,会涉及到多个参数,用于定义调试器的行为和目标执行环境。以下是一些常用的配置参数: 1、"type" :指定调试器的类型,例如 "node" 表示 Node.js 调试器࿰…...
[已解决] LaTeX “Unicode character“ 报错 (中文字符处理)
问题: 写 LaTeX 文档,特别是包含中文时,经常遇到类似下图的 “Unicode character XXXXXX” 报错 (X) Unicode character 本 (U672C) LaTeX [行 xx, 列 x] (X) Unicode character 报 (U62A5) LaTeX [行 xx, 列 x] ...这通常意味着我们的 LaTe…...
c++成员函数返回类对象引用和直接返回类对象的区别
c成员函数返回类对象引用和直接返回类对象的区别 成员函数直接返回类对象(返回临时对象,对象拷贝) #include <iostream> class MyInt { public:int value;//构造函数explicit MyInt(int v0) : value(v){}//加法操作,返回对象副本&…...
python项目参考文献
技术范围:SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容:免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、论文…...
Go语言实现链式调用
在 Go 语言中实现链式调用(Method Chaining),可以通过让每个方法返回对象本身(或对象的指针)来实现。这样每次方法调用后可以继续调用其他方法。 示例:实现字符串的链式操作 假设你想对一个字符串连续执行…...
深入解析SpringMVC:从入门到精通
上文了解到SpingBoot的相关知识,此文开启Sping家族下的新篇章 1. 什么是SpringWebMVC? 官方对于SpringMVC的描述是这样的: 什么是Servlet呢? Servlet 是⼀种实现动态页面的技术.准确来讲Servlet是⼀套JavaWeb开发的规范,或者说…...
Java-Collections类高效应用的全面指南
Java-Collections类高效应用的全面指南 前言一、Collections 类概述二、Collections 类的基础方法2.1 排序操作2.1.1 sort方法2.1.2 reverse方法2.1.3 shuffle方法 2.2 查找与替换操作2.2.1 binarySearch方法2.2.2 max和min方法2.2.3 replaceAll方法 三、Collections 类的高级应…...
微软家各种copilot的AI产品:Github copilot、Microsoft copilot
背景 大家可能听到很多copilot,比如 Github Copilot,Microsoft Copilot、Microsoft 365 Copilot,有什么区别 Github Copilot:有网页版、有插件(idea、vscode等的插件),都是面向于程序员的。Mi…...
JAVA EE_HTTP
为什么意气风发的少年,总是听不进去别人的劝解。 ----------陳長生. ❀主页:陳長生.-CSDN博客❀ 📕上一篇:JAVA EE_网络原理_数据链路层-CSDN博客 1.HTTP 1.1.HTTP是什么 H…...
SEO 优化实战:ZKmall模板商城的 B2C商城的 URL 重构与结构化数据
在搜索引擎算法日益复杂的今天,B2C商城想要在海量信息中脱颖而出,仅靠优质商品和营销活动远远不够。ZKmall模板商城以实战为导向,通过URL 重构与结构化数据优化两大核心策略,帮助 B2C 商城实现从底层架构到搜索展示的全面升级&…...
使用HtmlAgilityPack采集墨迹天气中的天气数据
需要解析对应的HTML源码: <div class"left"><div class"wea_alert clearfix"><ul><li><a href "https://tianqi.moji.com/aqi/china/jiangxi/hukou-county" >< span class"level level_2&qu…...
广和通L610模块通过AT指令访问服务器方案:嵌赛使用
实现步骤及关键点: 网络连接配置 ATCGDCONT1,"IP","APN名称" // 设置APN ATCGACT1,1 // 激活PDP上下文 ATCGATT1 // 附着GPRS网络 HTTP协议支持验证 L610支持HTTP客户端功能,关键指…...