当前位置： 首页 > news >正文

海量数据的处理

news 来源：原创 2025/6/8 3:08:53

一般来说都是针对数据量特别大，内存有限制的。

第一类：topk问题

比如，在海量数据中找前50大的数据怎么办？

方法一：使用小顶堆，用小顶堆维护这50个元素，当有新元素到来时，直接与堆顶进行比较（小顶堆堆顶最小），如果比堆顶大，替换堆顶，调整堆结构。

堆中含k个元素，堆内部调整时间复杂度logk，一共n个数据，每来一个都要进行一次堆调整，总的时间复杂度O(nlogk)，总的空间复杂度O(k)。

方法二：使用快排，快排的思想是找标准值，标准值左边都是比它小的，右边都是比它大的，返回中间标准值的位置，找前k大的，就在标准值的右边进行查找，步骤一样（先确定标准值，将小于标准值的放入左侧，大于标准值放入右侧）

开始数据量为n，进行一次二分数据量变为n/2，后续只需要在这n/2中进行查找，进行两次变为n/4以此类推...最终时间复杂度n+n/2+n/4+...+1=2n-1，总的时间复杂度O(n)。

方法二同样适用无序元素中找第k大的数，时间复杂度要求O(n)

第二类：海量数据的两个文件找相同

比如，两个文件中存放1000万电话号码，找这两个文件中相同的电话号码？

位图法，对于电话号一共11位，从10000000000~19999999999，大约10G空间，采用位图法该电话号存在对应为1，不存在对应0，将存储空间压缩到10G/8=1.25G。

第三类：海量数据排序

比如有10GB的订单数据。希望按照订单的金额（金额是整数）进行排序，但是内存只有几百MB，无法一次性加载到内存。

方法一：采用分桶排序。加入金额是0-10万，分成100个桶，每个桶的范围是1千。比如桶0是从0~1000，桶1是从1001~2000...数据按照区域进行划分。存在100个文件中，文件内部进行排序，可以使用快排，依次从桶0、桶1...中取元素，得到的就是有序的10GB数据。时间复杂度O(nlogn/100)，计算方法为：100个文件，每个文件进行快排，每个文件数据n/100，100*(NlogN)，其中N为n/100，最终结果为O(nlogn/100)。

存在的问题是如果数据在某个范围特别多，比如某个桶有1GB的数据，这种情况怎么办?

对这个桶中元素再进行分桶，各桶有序再合并。

方法二：将数据等分到100个文件中，每个文件相当于100MB的数据，每个文件内部快排。同时维护一个小顶堆。每次取堆顶，可以先放入缓存，最后放入文件中。

方法三：文件之间两两合并，相当于合并有序列表。

既然找10亿元素中的中位数，就是找第5亿个、第5亿+1个，每个桶有相应的存储元素个数，大致确定5亿、5亿+1元素具体位于哪个桶，再对该桶进行分桶，桶的间距为1，再进行查找即可。

相关文章：

海量数据的处理

一般来说都是针对数据量特别大，内存有限制的。 第一类：topk问题 比如，在海量数据中找前50大的数据怎么办？ 方法一：使用小顶堆，用小顶堆维护这50个元素，当有新元素到来时，直接与堆…...

编程日记 2025/6/4 3:37:38

Python人脸识别库DeepFace使用教程及源码解析

目录 一、DeepFace介绍 1、人脸库设计 2、DeepFace.find 3、DeepFace.verify 4、DeepFace.analyze 5、DeepFace.extract_faces 6、DeepFace.represent 7、DeepFace.stream 二、DeepFace二次开发 1、开发活体检测API 2、模型权重持久化 三、总结 一、DeepFace介绍 …...

编程日记 2025/6/3 16:48:03

Nacos：使用PgSQL数据源

数据源插件开源仓库地址：nacos-datasource-extend-plugins 一、PostgreSQL数据库安装 1、本文使用Docker进行数据库的安装，使用docker命令拉取的PG14版本的数据库： docker pull postgres:14.6 2、创建PG容器并启动，映射了5432…...

编程日记 2025/6/2 10:16:32

基于Python的多元医疗知识图谱构建与应用研究（下）

五、基于医疗知识图谱的医疗知识图谱程序构建 5.1 数据层构建 5.1.1 数据源选择与获取 在构建基于医疗知识图谱的医疗知识图谱数据层时，数据源的选择与获取至关重要。数据源的质量和丰富度直接决定了知识图谱的可靠性和实用性。医学文献是重要的数据源之一，包括学术期刊论…...

编程日记 2025/6/2 7:07:17

JAVA：Spring Boot 实现责任链模式处理订单流程的技术指南

1、简述 在复杂的业务系统中，订单流程往往需要一系列的操作，比如验证订单、检查库存、处理支付、更新订单状态等。责任链模式（Chain of Responsibility）可以帮助我们将这些处理步骤分开，并且以链式方式处理每一个操作…...

编程日记 2025/6/3 1:39:45

SpringBoot多级配置文件

1.问题先导 有这样的场景，我们开发完毕后需要测试人员进行测试，由于测试环境和开发环境的很多配置都不相同，所以测试人员在运 行我们的工程时需要临时修改很多配置，如下 java –jar springboot.jar –-spring.profiles.activete…...

编程日记 2025/6/2 7:07:12

阿里云安装mikrotik7配置内网互通

阿里云近期推出了200M不限量机器，对于没有公网接入的中小企业可以借助这个机器对多地分支机构进行内网互通。目前已经有很多机构用这个搞跨云k8s,跨云集群了。 mikrotik作为一个商用的软件，操作性比一些开源的软件好用不少。 本文使用的网段为172.16.1…...

编程日记 2025/6/3 1:39:12

std::forward实现原理与应用场景

std::forward 是 C11 引入的一个函数模板，用于实现完美转发（Perfect Forwarding）。它的核心作用是根据传入的参数，决定将参数以左值引用还是右值引用的方式进行转发，从而保持参数的原始值类别。 实现原理 template&l…...

编程日记 2025/6/2 7:07:08

TiDB 在市面上的热门应用领域

TiDB 在市面上的热门应用领域 TiDB 作为一款分布式数据库，凭借其高可扩展性和强一致性，逐渐成为多个行业和领域的热门选择。那么，TiDB 在市面上主要应用在哪些领域呢？今天我们来看看 TiDB 在几个热门领域的应用场景。 1. 互联网…...

编程日记 2025/6/3 5:13:29

“深入浅出”系列之C++：（11）推荐一些C++的开源项目

1. SQLiteCpp - 简单易用的Sqlite C封装库 仓库地址：https://github.com/SRombauts/SQLiteCpp 简介：SQLiteCpp是一个对Sqlite数据库进行C封装的开源库，代码行数约2,500行。它提供了简洁易用的接口，使得在C项目中操作Sqlite数据库…...

编程日记 2025/6/4 1:13:23

高等数学学习笔记 ☞ 定积分的积分方法

1. 定积分的换元积分法 1. 换元积分公式：设函数在闭区间上连续，令，若满足： ①：当时，；当时，。 此时的大小关系不一定，但与最好对应着写，否则就要留意变号的问…...

编程日记 2025/6/4 8:48:40

KVA教程-插件开发

“如果结果不如你所愿，就在尘埃落定前奋力一搏。”——《夏目友人帐》 “有些事不是看到了希望才去坚持，而是因为坚持才会看到希望。”——《十宗罪》 “维持现状意味着空耗你的努力和生命。”——纪伯伦 KVA 技术教程 * 插件开发 简介 插件开发是KVA&a…...

编程日记 2025/6/3 1:38:08

AI守护煤矿安全生产：基于视频智能的煤矿管理系统架构解析

前言 本文我将介绍我和我的团队自主研发设计的一款AI产品的成果展示——“基于视频AI识别技术的煤矿安全生产管理系统”。 这款产品是目前我在创业阶段和几位矿业大学的博士共同从架构设计、开发到交付的全过程中首次在博客频道发布, 我之前一直想写但没有机会来整理这套系统的…...

编程日记 2025/6/3 0:41:18

AI编程工具横向评测--Cloudstudio塑造完全态的jupyter notebook助力数据分析应用开发

AI编程工具横向评测–Cloudstudio塑造完全态的jupyter notebook助力数据分析应用开发 数据分析类应用的开发，指的是首先进行数据分析，比如统计学分析、机器学习模型的构建等，然后将分析的流程开发成数据分析类的工具，或者将数据分…...

编程日记 2025/6/3 21:49:34

04JavaWeb——Maven-SpringBootWeb入门

Maven 课程内容 初识Maven Maven概述 Maven模型介绍 Maven仓库介绍 Maven安装与配置 IDEA集成Maven 依赖管理 01. Maven课程介绍 1.1 课程安排 学习完前端Web开发技术后，我们即将开始学习后端Web开发技术。做为一名Java开发工程师，后端Web开发…...

编程日记 2025/6/3 21:52:29

ThreeJS能力演示——界面点选交互能力

1、支持界面点选 点选模型整体思路是：根据camera位置作为起始点，叠加鼠标相对位置作为偏置，摄像头方向作为射线方向。 根据射线方向中的遇到的3D物体列表，第一个遇到的物体作为被点选的物体。 // 鼠标事件处理let selectedObjec…...

编程日记 2025/6/3 19:30:56

Linux：常用命令--文件与目录操作

ls命令 功能：（list）列出当前目录的文件信息 语法：ls [-l -h -a] [参数] 参数：被查看的文件夹，不提供参数，表示查看当前工作目录-l，以列表形式查看每个文件的属性，包含…...

编程日记 2025/6/3 21:52:12

Node.js NativeAddon 构建工具：node-gyp 安装与配置完全指南

Node.js NativeAddon 构建工具：node-gyp 安装与配置完全指南 node-gyp Node.js native addon build tool [这里是图片001] 项目地址: https://gitcode.com/gh_mirrors/no/node-gyp 项目基础介绍及主要编程语言 Node.js NativeAddon 构建工具（node-gyp…...

编程日记 2025/6/3 21:50:09

docker运行Java项目，Kaptcha因为字体缺失没法显示验证码图片

2015工作至今，10年资深全栈工程师，CTO，擅长带团队、攻克各种技术难题、研发各类软件产品，我的代码态度：代码虐我千百遍，我待代码如初恋，我的工作态度：极致，责任&#xff…...

编程日记 2025/6/3 0:21:57

C++otlv4连接sql serveer使用记录（注意点）

C使用otlv4在做插入时，有一些设计的坑需要注意 插入数据： 当要给表中插入单个字符时，数据库表设计使用varchar(1)是合理的，但是otlv4一直报错char。 后续查很久才知道，otlv4所写的绑定的字符数组的长度应该实际数组…...

编程日记 2025/6/3 21:51:56

[思考记录]认知和思考

在以前，具备一定的技能和经验就能轻易找到自己的一席之地。但在AI时代下，这些东西很容易就被抹平，那么我们的竞争力又在哪里？“认知和思考”是一个方向，帮助我们能去应对复杂情境、帮我们更容易去看到真相。 1.很多时…...

编程日记 2025/6/3 21:50:48

前端开发Web

Ajax 概念:Asynchronous JavaScriptAnd XML，异步的JavaScript和XML 作用: 数据交换:通过Ajax可以给服务器发送请求，并获取服务器响应的数据。 异步交互:可以在不重新加载整个页面的情况下，与服务器交换数据并更新部分网页的…...

编程日记 2025/6/3 5:07:47

【C++提高篇】—— C++泛型编程之模板基本语法和使用的详解

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、模板的概念二、函数模板2.1 函数模板的使用2.2 函数模板注意事项2.3 普通函数与函数模板的区别2.4 普通函数与函数模板的调用规则2.5 模板的局限性 三、类模…...

编程日记 2025/6/2 15:31:07

WPS计算机二级•高效操作技巧

听说这里是目录哦 斜线表头 展示项目名称🍋‍🟩横排转竖排🍐批量删除表格空白行🍈方法一方法二建辅助列找空值 能量站😚 斜线表头 展示项目名称🍋‍🟩 选中单元格，单击右键➡️“设…...

编程日记 2025/6/2 22:13:25

【Maui】视图界面与数据模型绑定

文章目录 前言一、问题描述二、解决方案三、软件开发（源码）3.1 创建模型3.2 视图界面3.3 控制器逻辑层 四、项目展示 前言 .NET 多平台应用 UI (.NET MAUI) 是一个跨平台框架，用于使用 C# 和 XAML 创建本机移动和桌面应用。 使用 .NET MAUI&…...

编程日记 2025/6/4 10:36:11

vue3-sfc-loader 加载远程.vue文件(sfc)案例

注意事项 style标签如果增加了lang比如：lang“scss”，需要提供scss-loader的处理器，这个暂时没研究，我的处理方式是将动态模版的css放在了全局打包暂时还没有测试，后面测试了会同步更新 安装vue3-sfc-loader npm inst…...

编程日记 2025/6/2 21:34:22

Hadoop美食推荐系统 爬虫1.8w+数据 协同过滤余弦函数推荐美食 Springboot Vue Element-UI前后端分离

Hadoop美食推荐系统 爬虫1.8w数据 协同过滤余弦函数推荐美食 Springboot Vue Element-UI前后端分离 【Hadoop项目】 1. data.csv上传到hadoop集群环境 2. data.csv数据清洗 3.MapReducer数据汇总处理, 将Reducer的结果数据保存到本地Mysql数据库中 4. SpringbootEchartsMySQL 显…...

编程日记 2025/6/2 6:54:30

使用Linux驱动程序的fasync(文件异步通知机制)向用户空间发送SIGIO信号的学习记录

前言 本文学习使用Linux驱动程序的fasync(文件异步通知机制)向用户空间发送SIGIO信号。 fasync(文件异步通知机制)名字的来历 fasync 是 “file asynchronous” 的缩写，意思是 文件异步通知。 这里的文件是指文件结构体struct file *file ，关于文件结…...

编程日记 2025/6/2 16:42:11

面试经验分享-回忆版某小公司

说说你项目中数据仓库是怎么分层的，为什么要分层？ 首先是ODS层，连接数据源和数据仓库，数据会进行简单的ETL操作，数据来源通常是业务数据库，用户日志文件或者来自消息队列的数据等 中间是核心的数据仓库层&a…...

编程日记 2025/6/2 20:02:23

【算法学习笔记】35：扩展欧几里得算法求解线性同余方程

线性同余方程问题 线程同余方程问题是指 a x ≡ b ( m o d m ) ax \equiv b~(mod~m) ax≡b (mod m)，给定 a a a、 b b b和 m m m，找到一个整数 x x x使得该方程成立，即使得 a x m o d m b ax~mod~mb ax mod mb，随便返回任何一个…...

编程日记 2025/5/31 21:02:52

ent.SetDatabaseDefaults()

在 AutoCAD 的 .NET API 中，ent.SetDatabaseDefaults() 这句代码通常用于将一个实体（Entity）对象的属性设置为与其所在的数据库（Database）的默认设置相匹配。这意味着，该实体将采用数据库级别的默认颜色、图…...

编程日记 2025/6/2 22:13:57

使用docker部署tomcat服务器和mysql数据库

使用docker部署tomcat服务器 1、拉去tomcat镜像 [rootlocalhost yum.repos.d]# sudo docker pull docker.io/tomcat:9 9: Pulling from library/tomcat de44b265507a: Pull complete 4c2afd91a87d: Pull complete 89e9bbcfa697: Pull complete 11be3e613582: Pull complet…...

编程日记 2025/5/29 4:44:34

Jenkins 启动

废话 这一阵子感觉空虚，心里空捞捞的，总想找点事情做，即使这是一件微小的事情，空余时间除了骑车、打球，偶尔朋友聚会 … 还能干什么呢？ 当独自一人时，究竟可以做点什么，填补这空虚…...

编程日记 2025/6/3 16:16:19

Elasticsearch（ES）基础查询语法的使用

1. Match Query (全文检索查询) 用于执行全文检索，适合搜索文本字段。 { “query”: { “match”: { “field”: “value” } } } match_phrase：精确匹配短语，适合用于短语搜索。 { “query”: { “match_phrase”: { “field”: “text” }…...

编程日记 2025/6/1 19:07:07

SpringCloud系列教程：微服务的未来（十四）网关登录校验、自定义过滤器GlobalFilter、GatawayFilter

前言 在微服务架构中，API 网关扮演着至关重要的角色，负责路由请求、执行安全验证、流量控制等任务。Spring Cloud Gateway 作为一个强大的网关解决方案，提供了灵活的方式来实现这些功能。 本篇博客将重点介绍如何在 Spring Cloud Gateway 中…...

编程日记 2025/6/2 6:49:36

Android Studio：Linux环境下安装与配置

更多内容：XiaoJ的知识星球 Android Studio：Linux环境下安装与配置 1.安装JDK2.安装Android Studio2.1 获取安装包2.2 安装（1）配置环境变量：（2）运行安装：（3）配…...

编程日记 2025/6/3 4:58:22

使用AI生成金融时间序列数据：解决股市场的数据稀缺问题并提升信噪比

“GENERATIVE MODELS FOR FINANCIAL TIME SERIES DATA: ENHANCING SIGNAL-TO-NOISE RATIO AND ADDRESSING DATA SCARCITY IN A-SHARE MARKET” 论文地址：https://arxiv.org/pdf/2501.00063 摘要 金融领域面临的数据稀缺与低信噪比问题，限制了深度学习在…...

编程日记 2025/6/3 6:31:09

【银河麒麟高级服务器操作系统】业务访问慢网卡丢包现象分析及处理过程

了解更多银河麒麟操作系统全新产品，请点击访问 麒麟软件产品专区：product.kylinos.cn 开发者专区：developer.kylinos.cn 文档中心：document.kylinos.cn 交流论坛：forum.kylinos.cn 服务器环境以及配置 【内核版本…...

编程日记 2025/6/2 18:01:24

如何将数据库字符集改为中文，让今后所有的数据库都支持中文

最后一行有我自己的my.ini文件 数据库输入中文数据时会变为乱码， 这个时候，我们为每个数据库设置字符集，太过于麻烦，为数据库单独设置重启后又会消失 Set character_set_database’utf8’; Set character_set_server’utf8’; …...

编程日记 2025/6/4 8:44:14

Linux-C/C++--深入探究文件 I/O (下)(文件共享、原子操作与竞争冒险、系统调用、截断文件)

经过上一章内容的学习，了解了 Linux 下空洞文件的概念；open 函数的 O_APPEND 和 O_TRUNC 标志；多次打开同一文件；复制文件描述符；等内容 本章将会接着探究文件IO，讨论如下主题内容。  文件共享介绍&…...

编程日记 2025/5/28 9:02:57

Linux Bash 中使用重定向运算符的 5 种方法

注：机翻，未校。 Five ways to use redirect operators in Bash Posted: January 22, 2021 | by Damon Garn Redirect operators are a basic but essential part of working at the Bash command line. See how to safely redirect input and output t…...

编程日记 2025/6/2 6:49:00

opengrok_windows_环境搭建

目录 软件列表 软件安装 工程索引 ​编辑 工程部署 问题列表 软件列表 软件名下载地址用途JDKhttps://download.java.net/openjdk/jdk16/ri/openjdk-1636_windows-x64_bin.zipindex 使用java工具tomcathttps://dlcdn.apache.org/tomcat/tomcat-9/v9.0.98/bin/apache-tom…...

编程日记 2025/6/3 16:21:59

【无法下载github文件】虚拟机下ubuntu无法拉取github文件

修改hosts来进行解决。 步骤一：打开hosts文件 sudo vim /etc/hosts步骤二：查询 github.com的ip地址 https://sites.ipaddress.com/github.com/#ipinfo将github.com的ip地址添加到hosts文件末尾，如下所示。 140.82.114.3 github.com步骤三…...

编程日记 2025/6/2 17:53:19

python——句柄

一、概念 句柄指的是操作系统为了标识和访问对象而提供的一个标识符，在操作系统中，每个对象都有一个唯一的句柄，通过句柄可以访问对象的属性和方法。例如文件、进程、窗口等都有句柄。在编程中，可以通过句柄来操作这些对象&#x…...

编程日记 2025/6/2 19:14:01

.Net Core微服务入门系列（一）——项目搭建

系列文章目录 1、.Net Core微服务入门系列（一）——项目搭建 2、.Net Core微服务入门全纪录（二）——Consul-服务注册与发现（上） 3、.Net Core微服务入门全纪录（三）——Consul-服务注…...

编程日记 2025/6/3 16:23:19

Net Core微服务入门全纪录（三）——Consul-服务注册与发现（下）

系列文章目录 1、.Net Core微服务入门系列（一）——项目搭建 2、.Net Core微服务入门全纪录（二）——Consul-服务注册与发现（上） 3、.Net Core微服务入门全纪录（三）——Consul-服务注…...

编程日记 2025/6/3 16:23:51

[苍穹外卖] 1-项目介绍及环境搭建

项目介绍 定位：专门为餐饮企业（餐厅、饭店）定制的一款软件产品 功能架构： 管理端 - 外卖商家使用 用户端 - 点餐用户使用 技术栈： 开发环境的搭建 整体结构： 前端环境 前端工程基于 nginx 运行 - Ngi…...

编程日记 2025/6/3 16:22:16

【PCIe 总线及设备入门学习专栏 2 -- PCIe 的 LTSSM 和 Enumeration】

文章目录 OverviewLTSSM StatesDetect StatesDETECT_QUIETDETECT_ACTDETECT_WAITPolling StatesPOLL_ACTIVEPOLL_CONFIGPOLL_COMPLIANCEConfiguration StatesCONFIG_LINKWD_STARTCONFIG_LINKWD_ACCEPTCONFIG_LANENUM_WAITCONFIG_LANENUM_ACCEPTCONFIG_COMPLETECONFIG_IDLERecov…...

编程日记 2025/6/3 13:56:47

Redis 性能优化：多维度技术解析与实战策略

文章目录 1 基准性能2 使用 slowlog 优化耗时命令3 big key 优化4 使用 lazy free 特性5 缩短键值对的存储长度6 设置键值的过期时间7 禁用耗时长的查询命令8 使用 Pipeline 批量操作数据9 避免大量数据同时失效10 客户端使用优化11 限制 Redis 内存大小12 使用物理机而非虚拟机…...

编程日记 2025/6/3 16:23:35

QT开发技术 【基于TinyXml2的对类进行序列化和反序列化】一

一、对TinyXml2 进行封装 使用宏 实现序列化和反序列化 思路： 利用宏增加一个类函数，使用序列化器调用函数进行序列化 封装宏示例 #define XML_SERIALIZER_BEGIN(ClassName) \ public: \virtual void ToXml(XMLElement* parentElem, bool bSerialize …...

编程日记 2025/6/3 16:22:32