当前位置： 首页 > news >正文

大数据技术：从趋势到变革的全景探索

news 来源：原创 2025/7/17 2:37:48

📝个人主页🌹：一ge科研小菜鸡-CSDN博客
🌹🌹期待您的关注 🌹🌹

在数字化时代的浪潮下，大数据已经不再是一个陌生的概念。从日常生活中的社交媒体，到企业决策支持系统，再到公共管理的大数据应用，它正在改变着我们的工作和生活方式。随着技术的进步，传统的数据处理方式已经无法满足大规模、复杂的数据需求，大数据技术应运而生，成为了推动创新和转型的核心力量。

一、大数据的技术基础

大数据技术的核心在于如何高效地存储、处理、分析和挖掘海量数据。要实现这一目标，几项关键技术发挥着重要作用：

  1. 分布式存储与计算：大数据的处理往往涉及PB级甚至EB级的数据量，传统的单机存储和计算无法满足如此庞大的需求。Hadoop、Spark等分布式计算框架，提供了高效的数据存储与处理能力。它们能够将数据分散存储在多个节点上，通过并行计算加速数据的处理，

相关文章：

大数据技术：从趋势到变革的全景探索

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 在数字化时代的浪潮下，大数据已经不再是一个陌生的概念。从日常生活中的社交媒体，到企业决策支持系统，再到公共管理的大数据应用，它正在改变着我们的工作和生活方式。随着技术的进步，传统的数据…...

编程日记 2025/7/17 2:37:48

C++【内存管理】

C语言中的动态内存管理 int main() { int* p2(int*)calloc(4,sizeof(int)); int* p3(int*)realloc(p2,sizeof(int)*10); free(p3); }这里因为扩容数据小,所以是原地扩容,p2p3地址一样,不用free(p2) 如果扩容空间大就不是原地扩容,而是新找一块空间,然后拷贝 C内存管理方式 n…...

编程日记 2025/7/17 1:52:57

【Go类库分享】mcp-go Go搭建MCP服务

【Go类库分享】mcp-go Go搭建MCP服务 介绍 目前Go 生态圈有两个知名的开发 MCP 的库，一个是mark3labs/mcp-go,另一个是metoro-io/mcp-golang。 在介绍常用库之前，先来简单介绍一下mcp协议： MCP全称Model Context Protocol 模型上下文协议&a…...

编程日记 2025/7/17 0:36:03

人工智能发展史 — 物理学诺奖之 Hopfield 联想和记忆神经网络模型

目录 文章目录 目录1982 年，Hopfield 联想和记忆神经网络模型背景知识历史：霍普菲尔德简介神经学：大脑的联想记忆机制物理学：磁性材料的自旋玻璃理论和能量最小值函数 Hopfield 神经网络基本原理记忆存储（训练&#xf…...

编程日记 2025/7/17 2:23:22

Docker —— 技术架构的演进

Docker —— 技术架构的演进 技术架构演进总结单机架构优点缺点总结 应用数据分离架构优点缺点总结 应用服务集群架构1. Nginx2. HAProxy3. LVS（Linux Virtual Server）4. F5 BIG-IP对比总结选型建议 读写分离/主从分离架构1. MyCat简介 2. TDDL&#xff…...

编程日记 2025/7/17 2:01:03

Docker与WSL2如何清理

文章目录 Docker与WSL2如何清理一、docker占据磁盘空间核心原因分析1. WSL2 虚拟磁盘的动态扩展特性2. Docker 镜像分层缓存与未清理资源 二、解决方案步骤 1：清理 Docker 未使用的资源步骤 2：手动压缩 WSL2 虚拟磁盘1. 关闭 WSL2 和 Docker Desktop2. 定…...

编程日记 2025/7/17 2:05:33

单片机嵌入式按键库

kw_btn库说明 本库主要满足嵌入式按键需求，集成了常用的按键响应事件：高电平、低电平、上升沿、下降沿、单击、双击、长按键事件。可以裸机运行，也可以配合实时操作系统运行。 本库开源连接地址：gitee连接 实现思路 本库采用C语…...

编程日记 2025/7/12 13:41:20

多多铃声 7.4| 拥有丰富的铃声曲库，满足不同用户的个性化需求，支持一键设置手机铃声

多多铃声是一款提供丰富铃声资源的应用程序，它拥有广泛的铃声曲库，涵盖各种风格和类型，能够满足不同用户的个性化需求。该应用程序支持分类浏览和热门榜单功能，让用户可以轻松找到当前最流行或自己感兴趣的铃声。此次分享的版本为…...

编程日记 2025/7/17 2:11:45

基于stm32的四旋翼飞行器：MPU6050讲解 · 上（参数读取）

大伙早上好，不知道大伙有没有飞行器情结，就是学习嵌入式就想做一个能飞的东西。小白兔不才，小白兔有啊，所以最近准备做一个简单的飞行器出来，如果失败了，那么这个系列就只能烂尾了，如果成功了&a…...

编程日记 2025/7/17 2:07:59

使用xlwings将excel表中将无规律的文本型数字批量转化成真正的数字

之前我写了一篇文章excel表中将无规律的文本型数字批量转化成真正的数字-CSDN博客 是使用excel自带的操作，相对繁琐。 今天使用xlwings操作，表格如下（有真正的数字，也有文本型数字，混在在一起）&#xff1…...

编程日记 2025/7/17 2:31:57

linux netlink实现用户态和内核态数据交互

1&#xff0c;内核态代码 #include <linux/module.h> #include <linux/netlink.h> #include <net/sock.h> #define NETLINK_TEST 31 struct sock *nl_sk NULL; static void nl_recv_msg(struct sk_buff *skb) { struct nlmsghdr *nlh; int pid; …...

编程日记 2025/7/8 1:21:23

学习黑客安全基础理论入门

准备安全课程内容 你已安装Kali和相关工具&#xff0c;并希望从基础开始学习安全。为了使课程更加互动&#xff0c;我会提供有趣的文本&#xff0c;并结合可视化内容&#xff0c;可能还会提供一些参考链接。内容方面&#xff0c;我会根据最新的中国网络安全法律作出更新&#…...

编程日记 2025/7/17 2:09:22

探索内容智能化的关键解决方案

北京先智先行科技有限公司拥有三款旗舰产品&#xff0c;分别是“先知大模型”、“先行AI商学院”以及“先知AIGC超级工场”。这三款产品在企业发展过程中扮演着重要角色。　　北京先智先行科技有限公司围绕先知大模型等核心要素&#xff0c;构建了完备的业务体系。先知大模型私…...

编程日记 2025/7/17 1:45:03

学习黑客色即是空

二、Day 3 学习目标&#xff08;保真版&#xff09; 一句话目标&#xff1a; 学会用 Asset-Threat-Vulnerability-Risk (ATVR) 四件套给任何系统快速画“风险画像”&#xff0c;并能把它映射到黑客常说的 5 阶段攻击生命周期。 1. 30 分钟理论——ATVR 四件套 概念核心定义参考…...

编程日记 2025/6/29 8:08:36

【Java学习】关于springBoot的自动配置和起步依赖

关于springBoot的起步依赖&#xff1a;解决了spring框架中开发者配置依赖难的问题&#xff0c;各种依赖及版本的不同&#xff0c;可能引发不同的问题&#xff0c;使得开发者的精力大部分可能耗费在非业务代码中。所以springBoot起步依赖解决了各种依赖难的配置问题。 起步依赖…...

编程日记 2025/7/17 1:34:22

【LLaMA-Factory实战】1.3命令行深度操作：YAML配置与多GPU训练全解析

一、引言 在大模型微调场景中&#xff0c;命令行操作是实现自动化、规模化训练的核心手段。LLaMA-Factory通过YAML配置文件和多GPU分布式训练技术&#xff0c;支持开发者高效管理复杂训练参数&#xff0c;突破单机算力限制。本文将结合结构图、实战代码和生产级部署经验&#…...

编程日记 2025/6/29 5:18:01

【Mytais系列】介绍、核心概念

MyBatis 是一款优秀的 持久层框架&#xff0c;它通过简化 JDBC 操作、提供灵活的 SQL 映射能力&#xff0c;成为 Java 开发中处理数据库交互的核心工具之一。以下是 MyBatis 的核心框架和概念解析&#xff1a; 一、MyBatis 框架概述 1. 核心定位 作用&#xff1a;将 Java 对象…...

编程日记 2025/7/17 2:28:39

Vivado FPGA 开发 | 创建工程 / 仿真 / 烧录

注&#xff1a;本文为 “Vivado FPGA 开发 | 创建工程 / 仿真 / 烧录” 相关文章合辑。 略作重排&#xff0c;未整理去重。 如有内容异常&#xff0c;请看原文。 Vivado 开发流程&#xff08;手把手教学实例&#xff09;&#xff08;FPGA&#xff09; 不完美先生 于 2018-04-…...

编程日记 2025/6/29 8:08:03

PowerShell从5.1升级到7.X

文章目录 环境背景安装PowerShell 7.X其它启动PowerShell 5.1和7.X$PSVersionTable.PSVersion启动PowerShell 5.1时强制启动7.X 参考 环境 Windows 11 专业版 背景 PowerShell 5.1是Windows内置的&#xff0c;发布时间是2016 年。现在PowerShell版本已经到了7.5.1&#xff0…...

编程日记 2025/6/29 6:15:29

域名与官网的迷思：数字身份认证的全球困境与实践解方-优雅草卓伊凡

域名与官网的迷思&#xff1a;数字身份认证的全球困境与实践解方-优雅草卓伊凡 一、官网概念的法律与技术界定 1.1 官网的实质定义 当卓伊凡被问及”公司域名就是官网吗”这一问题时&#xff0c;他首先指出&#xff1a;”这相当于问’印着某公司logo的建筑就是该公司总部吗’…...

编程日记 2025/6/29 5:22:41

Vue实现成绩增删案例

Vue实现成绩增删案例 案例功能需求案例实现实现思路完整代码功能演示 案例小结 案例功能需求 1.通过vue渲染数据&#xff0c;将成绩的相关信息显示出来&#xff08;学号&#xff0c;学科&#xff0c;成绩&#xff09; 2.能够增加相关的成绩信息 3.能够删除相关的成绩信息 4.能…...

编程日记 2025/7/15 3:53:55

开源项目实战学习之YOLO11：ultralytics-cfg-models-rtdetr（十一）

&#x1f449; 点击关注不迷路 &#x1f449; 点击关注不迷路 &#x1f449; 点击关注不迷路 文章大纲 1. __init__.py2. model.py3. predict.py4. train.py5. val.py ultralytics-cfg-models-rtdetr 主要与 Ultralytics 库中 RTDETR&#xff08;实时目标检测模型&#xff0c;R…...

编程日记 2025/7/10 21:55:33

【Bootstrap V4系列】学习入门教程之 组件-按钮（Buttons）

Bootstrap V4系列 学习入门教程之 组件-按钮&#xff08;Buttons&#xff09; 按钮&#xff08;Buttons&#xff09;一、示例二、可用作按钮的 HTML 标签三、带轮廓线的按钮四、按钮的尺寸五、活动状态六、禁用状态七、按钮插件切换状态Checkbox and radio buttons &#xff08…...

编程日记 2025/7/7 16:24:42

【java八股文】深入浅出synchronized优化原理

&#x1f50d; 开发者资源导航 &#x1f50d;&#x1f3f7;️ 博客主页&#xff1a; 个人主页&#x1f4da; 专栏订阅&#xff1a; JavaEE全栈专栏 synchronized优化原理 synchronized即使悲观锁也是乐观锁&#xff0c;拥有自适应性。 jvm内部会统计每个锁的竞争激烈程度&…...

编程日记 2025/6/29 5:23:56

裴蜀定理及其证明

裴蜀定理 对于所有整数 a a a和 b b b&#xff0c;存在&#xff1a; g c d ( a , b ) a x b y gcd(a,b)axby gcd(a,b)axby 并且 a x b y axby axby一定是 g c d ( a , b ) gcd(a,b) gcd(a,b)的倍数。 证明 定义一个集合&#xff1a; { a x b y &#xff5c; a x b y &…...

编程日记 2025/7/15 17:20:14

单片机嵌入式CAN库

kw_can库说明 本库是针对CAN类型数据的收发设计&#xff1a; 主要应用于大数据量&#xff08;数据处理速度高于缓存CAN_RTX_FIFO_SIZE大小&#xff09;接收不丢包可快速进出接收中断可跨线程调用发送接口。 本库开源连接地址&#xff1a;gitee连接 实现思路 本库采用C语言…...

编程日记 2025/7/15 16:48:07

基于 JSP 和 Servlet 的数字信息分析小应用

Java Web 实验&#xff1a;基于 JSP 和 Servlet 的数字信息分析小应用 一、实验目的 实现一个简单的 Java Web 应用&#xff0c;通过 JSP 表单收集用户输入的文本信息&#xff0c;提交至 Servlet 分析其中是否包含数字&#xff0c;并返回结果。掌握 JSP 与 Servlet 的协同工作…...

编程日记 2025/6/29 7:35:06

从零认识阿里云OSS：云原生对象存储的核心价值

引言 在云计算时代&#xff0c;海量数据的存储与管理成为企业数字化转型的关键命题。阿里云对象存储OSS&#xff08;Object Storage Service&#xff09;作为云原生的分布式存储服务&#xff0c;凭借其独特的架构设计和丰富的功能矩阵&#xff0c;正在成为企业构建数据湖、管理…...

编程日记 2025/6/29 5:21:50

2025年深圳杯数学建模（东三省）B题【颜色转换】原论文讲解

大家好呀&#xff0c;从发布赛题一直到现在&#xff0c;总算完成了2025年深圳杯数学建模&#xff08;东三省&#xff09;B题【颜色转换】完整的成品论文。 给大家看一下目录吧&#xff1a; 目录 摘 要&#xff1a; 一、问题重述 二&#xff0e;问题分析 2.1问题一 2.2问…...

编程日记 2025/6/29 5:55:59

开源语音合成和转换项目

开源语音合成和转换项目 大模型出来以后&#xff0c;语音合成和转换方面也有了很大的变化。在语音转换文字方面有Whisper、SeamlessM4T等&#xff1b;在语音合成方面有ChatTTS&#xff08;中英文&#xff09;、Orpheus TTS&#xff08;仅仅支持英文&#xff09;、Amphion&…...

编程日记 2025/6/29 7:15:18

考研408《计算机组成原理》复习笔记，第二章计算机性能

一、计算机各项性能指标 1、计算机系统整体的性能指标&#xff1a; 从宏观上看&#xff0c;整个计算机是由软件硬件共同性能决定的&#xff0c;但是【最主要的决定性的影响】还是来自于【硬件】 因为计算机组成原理主要讲【硬件】&#xff0c;那么我们也仅考虑【硬件性能】 2…...

编程日记 2025/6/29 5:18:34

智能决策支持系统的基本概念与理论体系

决策支持系统是管理科学的一个分支&#xff0c;原本与人工智能属于不同的学科范畴&#xff0c;但自20世纪80年代以来&#xff0c;由于专家系统在许多方面取得了成功&#xff0c;于是人们开始考虑把人工智能技术用于计算机管理中来。在用计算机所进行的各种管理中&#xff0c;如…...

编程日记 2025/7/4 10:19:35

什么是运算符重载

运算符重载&#xff0c;就是对已有的运算符重新进行定义&#xff0c;赋予其另一种功能&#xff0c;以适应不同的数据类型&#xff0c;本质上是函数重载。以下为您详细介绍&#xff1a; 实现原理与方式 - 原理&#xff1a;把指定的运算表达式转化为对运算符函数的调用&#xff0…...

编程日记 2025/7/8 6:08:57

自定义Dockerfile，发布springboot项目

(1) 上传jar包 把hello项目打成一个可执行的jar包 hello-1.0-SNAPSHOT.jar&#xff0c;把这个jar包上传到linux中 (2) 创建文件&#xff0c;文件名my_hello&#xff08;就是一个Dockerfile&#xff09;&#xff0c;内容如下 #1.定义父镜像(定义当前工程依赖的环境)&#xff1a;…...

编程日记 2025/6/29 7:51:09

什么是多租户系统

随着云计算和 SaaS&#xff08;Software as a Service&#xff09;模式的普及&#xff0c;多租户架构&#xff08;Multi-Tenant Architecture&#xff09;成为 SaaS 产品设计中的核心模式之一。多租户架构允许多个用户&#xff08;租户&#xff09;共享同一套基础设施和应用&am…...

编程日记 2025/6/29 5:18:26

摩尔缠论课程合集完整版核心课程前置课程圈子问答星球圈子摩尔缠论三个阶段

一、教程描述 这是一套摩尔缠论课程合集&#xff08;完整版&#xff09;&#xff0c;内容非常系统并且极为全面&#xff0c;包括视频、图片和文档等不同文件类型&#xff0c;摩尔缠论共有三个版本&#xff0c;有些类似软件版本迭代&#xff0c;后一版本是前一版本的升级和进化…...

编程日记 2025/6/29 5:44:47

java学习之数据结构：三、八大排序

主要介绍学过的各种排序算法 目录 1.插入排序 1.1直接插入排序 1.2希尔排序 2.选择排序 2.1直接选择排序 2.2堆排序 3.交换排序 3.1冒泡排序 3.2快速排序 4.归并排序 5.基数排序 1.插入排序 1.1直接插入排序 基本思想&#xff1a;就是将待排序的数据按照其元素值的…...

编程日记 2025/7/15 7:31:06

Docker Compose:服务编排：批量管理多个容器

通过docker compose进行容器批量管理&#xff1a;一次性启动四个容器&#xff08;nginx&#xff0c;tomcat&#xff0c;redis&#xff0c;mysql&#xff09; &#xff08;1&#xff09; 创建docker-compose目录 mkdir ~/docker-compose cd ~/docker-compose &#xff08;2&…...

编程日记 2025/6/29 5:36:50

微服务设计约束

相较于单体应用&#xff0c;微服务架构在提升开发、部署等环节灵活性的同时&#xff0c;也提升了在运维、监控环节的复杂性。结合实践总结&#xff0c;微服务架构的设计有以下四条设计约束遵循&#xff1a; (1)微服务个体约束 一个设计良好的微服务应用&#xff0c;所完成的功…...

编程日记 2025/7/11 22:20:41

C语言中的自定义类型 —— 结构体.位段.联合体和枚举

自定义类型 1. 前言2. 结构体2.1 结构体的声明2.2 结构体变量的定义和初始化2.3 结构体的特殊声明2.4 结构体的自引用2.5 结构体的内存对齐2.6 修改默认对齐数2.7 结构体传参 3. 位段4. 联合体5. 枚举6. 结言 1. 前言 在C语言中已经为用过户提供了内置类型&#xff0c;如&…...

编程日记 2025/6/29 6:16:34

【序列贪心】摆动序列 / 最长递增子序列 / 递增的三元子序列 / 最长连续递增序列

⭐️个人主页&#xff1a;小羊 ⭐️所属专栏&#xff1a;贪心算法 很荣幸您能阅读我的文章&#xff0c;诚请评论指点&#xff0c;欢迎欢迎 ~ 目录 摆动序列最长递增子序列递增的三元子序列最长连续递增序列 摆动序列 摆动序列 贪心策略&#xff1a;统计出所有的极大值和极小…...

编程日记 2025/7/16 2:46:08

从零开发一个B站视频数据统计Chrome插件

从零开发一个B站视频数据统计Chrome插件 前言 B站&#xff08;哔哩哔哩&#xff09;作为国内最大的弹幕视频网站之一&#xff0c;视频的播放量、点赞、投币、收藏等数据对于内容创作者和数据分析者来说非常重要。本文将带你一步步实现一个Chrome插件&#xff0c;自动统计并展…...

编程日记 2025/7/8 23:06:32

【Python实战】飞机大战

开发一个飞机大战游戏是Python学习的经典实战项目&#xff0c;尤其适合结合面向对象编程和游戏框架&#xff08;如Pygame&#xff09;进行实践。以下是游戏设计的核心考虑因素和模块划分建议&#xff1a; 一、游戏设计核心考虑因素 性能优化 Python游戏需注意帧率控制&#xff…...

编程日记 2025/7/8 6:29:57

WebAPI项目从Newtonsoft.Json迁移到System.Text.Json踩坑备忘

1.控制器层方法返回类型不能为元组 控制器层方法返回类型为元组时&#xff0c;序列化结果为空。 因为元组没有属性只有field&#xff0c;除非使用IncludeFields参数专门指定&#xff0c;否则使用System.Text.Json进行序列化时不会序列化field var options new JsonSerializ…...

编程日记 2025/6/29 7:27:27

人工智能助力工业制造：迈向智能制造的未来

在当今数字化转型的浪潮中&#xff0c;人工智能&#xff08;AI&#xff09;技术正逐渐成为推动工业制造领域变革的核心力量。智能制造作为工业 4.0 的重要组成部分&#xff0c;通过将 AI 技术与传统制造工艺深度融合&#xff0c;正在重塑整个生产流程&#xff0c;提高生产效率、…...

编程日记 2025/6/29 6:15:44

影楼精修-露齿笑算法解析

注意&#xff0c;为避免侵权&#xff0c;本文图片均为AIGC生成或网络公开数据&#xff1b; 像素蛋糕-露齿笑 在介绍本文之前&#xff0c;先说一下&#xff0c;其实露齿笑特效&#xff0c;并非像素蛋糕首创&#xff0c;早在几年前&#xff0c;face app就率先推出了这个效果&am…...

编程日记 2025/6/29 5:48:07

【iview】es6变量结构赋值（对象赋值）

变量的解构赋值 以iview的src/index.js中Vue.prototype.$IVIEW改造为例练习下怎么使用变量的解构赋值 原来的写法&#xff1a; const install function(Vue, opts {}) {if (install.installed) return;locale.use(opts.locale);locale.i18n(opts.i18n);Object.keys(iview).fo…...

编程日记 2025/6/29 5:14:16

在Windows系统中使用Docker发布镜像到镜像仓库

在Windows系统中使用Docker发布镜像到镜像仓库的步骤如下&#xff1a; 步骤 1&#xff1a;安装并配置Docker 安装Docker Desktop • 下载Docker Desktop for Windows并安装。 • 确保启用WSL 2或Hyper-V后端&#xff08;根据系统版本选择&#xff09;。 验证Docker运行状态 打…...

编程日记 2025/7/8 13:56:28

糖尿病筛查常识---秋浦四郎

糖尿病筛查可以早期发现糖尿病或糖尿病前期&#xff08;血糖异常但未达到糖尿病标准&#xff09;&#xff0c;以利于及时干预&#xff0c;预防并发症。因为许多人患上糖尿病时没有明显症状&#xff0c;但已经开始对身体造成损害&#xff0c;有了明显糖尿病症状才检查发现糖尿病…...

编程日记 2025/7/8 6:08:57

CSS 预处理器 Sass

目录 Sass 一、Sass 是什么&#xff1f; 二、核心功能详解 1. 变量&#xff08;Variables&#xff09; 2. 嵌套&#xff08;Nesting&#xff09; 3. 混合宏&#xff08;Mixins&#xff09; 4. 继承&#xff08;Inheritance&#xff09; 5. 运算&#xff08;Operations&…...

编程日记 2025/6/29 5:14:07