当前位置：首页 > news >正文

【数据科学导论】第一二章·大数据与数据表示与存储

news 来源：原创 2025/5/19 20:12:57

🌈 个人主页：十二月的猫-CSDN博客
🔥 系列专栏： 🏀数据处理与分析_十二月的猫的博客-CSDN博客

💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光

1. 前言

2. 大数据

2.1 大数据入门

2.1.1 定义

2.1.2 大数据的界限

2.1.3 大数据特点（4V）

2.2 数据科学

2.2.1 大数据与数据科学

2.2.2 定义

2.2.3 数据处理过程

3. 数据的表示与存储

3.1 数据分类与表示

3.1.1 结构化数据

3.1.2 半结构化数据

3.1.3 非结构化数据

3.2 数据存储

3.2.1 结构化数据的存储

3.2.1.1 结构化数据存储在哪里

3.2.1.2 结构化数据存储的手段

使用 DISTINCT 去重查询结果中的单个列，返回唯一的值

使用 DISTINCT 去重查询结果中的多个列，返回满足多列组合唯一的结果。

3.2.1.3 结构化数据存储的优化

3.2.2 非结构化数据存储

3.2.2.1 MongoDb

3.2.2.2 Neo4j

3.2.2.3 Redits

3.2.2.4 HBase

3.2.2.5 NoSQL总结（必背）

4. 总结

1. 前言

【数据处理与分析】专栏主要专注于数据处理和数据分析。

专栏中的【数据科学导论】部分是对整个大数据科学所有技术（包括数据处理、数据分析）的一个概论，适用于想要快速入门大数据的友友们🥰🥰~~~

【数据科学导论】整体学习脉络：

数据科学导论——研究数据科学
数据科学——研究大数据处理
大数据处理过程——采集、表示与存储、预处理、建模分析、可视化、决策
大数据处理过程指导数据科学导论内容

【数据科学导论】持续更新中🎢🎢🎢

2. 大数据

2.1 大数据入门

2.1.1 定义

定义1：大数据是一种数据规模大到在数据的获取管理，存储处理，分析计算都远远超过传统数据库软件工具处理范围的数据集合

定义2：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合（维基百科）

2.1.2 大数据的界限

简单查询。数据量为TB至PB级称为大数据
复杂查询。数据量为GB至TB级称为大数据

PB是大数据层次的临界点

大数据的定义需要考虑数据查询与分析的复杂程序

2.1.3 大数据特点（4V）

高时效性：1秒定律

高价值：价值巨大但价值密度低

高数据量：PB称为大数据层次的临界点

高类型数量：关系数据库数据、音频视频数据、结构化数据等

2.2 数据科学

2.2.1 大数据与数据科学

1、数据是人工智能的基石

2、数据是基础

2.2.2 定义

基于传统的数学，统计学的理论和方法，运用计算机技术进行大规模的数据计算，分析，应用的学科。

数据科学是一门专门处理大数据的学科

2.2.3 数据处理过程

采集，表示与存储，预处理（清洗，集成等），建模分析，可视化，决策

【数据科学导论】整体学习脉络：

数据科学导论——研究数据科学
数据科学——研究大数据处理
大数据处理过程——采集、表示与存储、预处理、建模分析、可视化、决策
大数据处理过程指导数据科学导论内容

3. 数据的表示与存储

3.1 数据分类与表示

3.1.1 结构化数据

可以使用关系型数据库表示和存储的数据，拥有固定结构。

结构化数据能够很好被数据库存储：

有严格的数据结构和格式的要求。
因此用树结构就可以在磁盘中很好的完成存储、查询和处理。

3.1.2 半结构化数据

弱结构化数据，虽然没有关系型数据库那么严格的结构要求，但是也存在一定的结构。如XML、JSON

3.1.3 非结构化数据

没有固定数据结构，没有统一格式。如文本、图片、视频、音频等

3.2 数据存储

3.2.1 结构化数据的存储

3.2.1.1 结构化数据存储在哪里

对于结构化数据可以直接存储在关系数据库中

结构化数据——》有很强结构性——》可以转化为关系结构——》存储在关系数据库

具体解释如下：

数据库：有组织、可共享的大量数据集合

数据库管理系统：对数据库的管理，位于用户和操作系统之间。

优点：

1、数据结构化，管理效率高

2、用户只需指出干什么，不必仔细说怎么干

3、对于事务的支持，有高一致性

3.2.1.2 结构化数据存储的手段

利用SQL语言完成结构化数据的存储，具体SQL语言介绍

类别一：Data Definition Language (DDL) 数据定义语言(create,delete等)

DDL：定义各种表结构

创建：

create table studeng (sid char(20),cid char(20);
)

删除：

drop table tb1;

修改：

alter table test4_02
add avg_score numeric(3,1)

类别二：Data Manipulation Language (DML) 数据操作语言（增删改查）
增：

Insert into Students(sid,name,login,age,gpa)
values('111','smith','smith@qq',11,3.3)

删：

delete from Student S
where S.name='Smith'

改：

update test4_01 Sset sum_score=(select sum(score)from pub.student_course Twhere S.sid=T.sid)

类别三： Data Control Language（DCL）：数据控制语言，用来定义访问权限和安全级别

类别四：Data Query Language（DQL）：数据查询语言，用来查询记录（数据）

SELECT	DISTINCT age FROM students

使用 DISTINCT 去重查询结果中的单个列，返回唯一的值

SELECT	DISTINCT NAME,age,score FROM students

使用 DISTINCT 去重查询结果中的多个列，返回满足多列组合唯一的结果。

-- 1. LEFT JOIN: 左连接，返回左表（employees）所有记录，以及右表（departments）中连接字段相等的记录
SELECT e.employee_id, e.name, e.department_id, d.department_name
FROM employees e
LEFT JOIN departments d
ON e.department_id = d.department_id;-- 2. RIGHT JOIN: 右连接，返回右表（departments）所有记录，以及左表（employees）中连接字段相等的记录
SELECT e.employee_id, e.name, e.department_id, d.department_name
FROM employees e
RIGHT JOIN departments d
ON e.department_id = d.department_id;-- 3. INNER JOIN: 内连接，只返回两个表中连接字段相等的记录
SELECT e.employee_id, e.name, e.department_id, d.department_name
FROM employees e
INNER JOIN departments d
ON e.department_id = d.department_id;-- 4. FULL JOIN: 外连接，返回两个表中的所有行，左连接 + 右连接
SELECT e.employee_id, e.name, e.department_id, d.department_name
FROM employees e
FULL JOIN departments d
ON e.department_id = d.department_id;-- 5. NATURAL JOIN: 自然连接，自动根据两个表中的同名列进行连接
SELECT e.employee_id, e.name, e.department_id, d.department_name
FROM employees e
NATURAL JOIN departments d;

left join : 左连接，返回左表中所有的记录以及右表中连接字段相等的记录。
right join : 右连接，返回右表中所有的记录以及左表中连接字段相等的记录。
inner join（join） : 内连接，又叫等值连接，只返回两个表中连接字段相等的行。
full join : 全连接，返回两个表中的行：left join + right join。

natural join：自然连接，自动匹配同列名的数据。

3.2.1.3 结构化数据存储的优化

对数据库设计的研究

问题：存在冗余

严格按照范式要求来设计数据库的表格

问题：严格保证关系的有效性

只有满足这三个完整性，才可以说数据库的设计是合适的

问题：数据库查询效率

3.2.2 非结构化数据存储

非结构化数据或者半结构化数据并没有结构化数据那种强结构化的特性。因此不能转化为关系来处理，不能使用关系型数据库。

非关系数据库（NoSQL）应运而生！！😍😍

非关系数据库是一系列针对不同非结构化数据存储的数据库，而不是单单一种数据库，

非关系型数据库有：

3.2.2.1 MongoDb

3.2.2.2 Neo4j

专门用于存储图数据——图数据是关系型数据，数据之间存在很强烈的联系（关系）。

这个关系和关系型数据库的关系是不同的！！

图数据用关系型数据库存储非常复杂（关系种类会很多），同时不是所有节点之间都是全连接的，因此存在很多冗余。

图数据库的优点：

图数据库直接以图的形式存储图数据（不用对数据进行转化）
利用图论的知识来做查询

3.2.2.3 Redits

3.2.2.4 HBase

3.2.2.5 NoSQL总结（必背）

1、为什么需要NoSQL数据库？

从数据类型来说：大数据时代来临，我们面对的数据除了结构化的数据还有非结构化、半结构化的数据。这些数据用关系数据库来存储效果很差。
从高并发读写来说：传统的关系数据库为了保证事务特性，每次操作都做了很多限制（例如上锁等），这会降低访问数据库的效率。但是在很多情况下事务是不一定要保证的，例如两个用户短时间内看的博客内容不同是不重要的（当然，事务对于银行取钱这很重要）。NoSQL不保证事务特性，从而提高了并发处理的性能；Redit数据库使用了内存做缓存的方法提高了并发处理速度；NoSQL很多都支持分分布式存储和计算，提高并发处理的性能。
从数据量来说：但数据量很大时，针对条件的查询在SQL下会很消耗成本，但是使用HBase列存储效果就很好；当数据量大时，分布式并发处理的效果比SQL的单独处理更好；集合运算在Redits上很快，图运算在Neo4j上处理很快。

2、几种NoSQL的应用场景？

3、NoSQL通用性特点

分布式，很好应对数据量大，高并发读写的要求。
数据量大，选择性存储一些信息，从而提高整体存储数据量的值。
结构性低，数据结构修改代价小。

4. 总结

本文到这里就结束啦~~

期待您的关注~~🥰🥰

猫猫陪你永远在路上💪💪

如果觉得对你有帮助，辛苦友友点个赞哦~

下一篇我们将进入 数据预处理 部分~~~

【数据科学导论】第一二章·大数据与数据表示与存储

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀数据处理与分析_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录 1. 前言…...

编程日记 2025/5/19 20:12:57

LabVIEW数字式气压计自动检定系统

开发了一个基于LabVIEW开发的数字式气压计自动检定系统。在自动化检定PTB220和PTB210系列数字气压计，通过优化硬件组成和软件设计，实现高效率和高准确度的检定工作，有效降低人力成本并提升操作准确性。项目背景随着自动气象站的广泛部署&a…...

编程日记 2025/5/19 18:40:14

按行分割文本函数（C++）

文本分割函数SplitText2Line解析以下是对SplitText2Line函数的详细介绍： void SplitText2Line(s8* strText, std::vector<std::string>& vecStrLines) {// 1. 清空存储结果的向量vecStrLines.clear();// 2. 打印原始文本信息（用于调试目的&…...

编程日记 2025/5/19 20:07:40

要查询 `user` 表中 `we_chat_subscribe` 和 `we_chat_union_id` 列不为空的用户数量

文章目录 1、we_chat_subscribe2、we_chat_union_id 1、we_chat_subscribe 要查询 user 表中 we_chat_subscribe 列不为空的用户数量，你可以使用以下 SQL 查询语句： SELECT COUNT(*) FROM user WHERE we_chat_subscribe IS NOT NULL;解释： …...

编程日记 2025/5/19 19:32:50

【C语言程序设计——选择结构程序设计】预测你的身高（头歌实践教学平台习题）【合集】

目录😋 任务描述相关知识 1、输入数值 2、选择结构语句 3、计算结果并输出编程要求测试说明通关代码测试结果任务描述本关任务：编写一个程序，该程序需输入个人数据，进而预测其成年后的身高。相关知识为了完成本…...

编程日记 2025/5/19 19:37:36

使用Excel制作通达信自定义外部数据，安排！！！

Excel相信大家电脑上都有这个工具，相比敲编程代码，用这个去做自定义数据对大多数人，应该是比较友好的。自定义数据分为外部序列数据，看了一下内容理解起来比较多，分两期给大家介绍。为了照顾电脑基础薄弱的朋友&#x…...

编程日记 2025/5/14 5:20:19

阿里云镜像服务使用指南

阿里云容器镜像服务ACR（Alibaba Cloud Container Registry）是面向容器镜像、Helm Chart等符合OCI标准云原生制品安全托管及高效分发平台。ACR企业版支持全球同步加速、大规模和大镜像分发加速、多代码源构建加速等全链路加速能力，与容器服务A…...

编程日记 2025/5/19 18:41:45

adb无法连接到安卓设备【解决方案】报错：adb server version (40) doesn‘t match this client (41)；

下载老版本Platformtoolshttps://dl.google.com/android/repository/platform-tools_r28.0.2-windows.zip?hlzh-cn 替换原来的platform-tools文件夹即可。问题原因分析：电脑端adb client版本（41）和安卓端adb …...

编程日记 2025/5/18 13:01:12

WPF TextBox 输入限制详解

总目录前言通常对于WPF输入框输入的控制无非以下方式 1 直接禁止输入(包括粘贴) 不符合要求的字符如只可输入数字的输入框，当你输入字母的时候是无法输入的 2 输入后，校验内容是否符合要求，然后提示错误，禁止提交信息如只可…...

编程日记 2025/5/19 18:58:00

安装Visual studio2022后，没法新建.net 4.5.2的项目

在Visual Studio 2022中无法新建.NET Framework 4.5.2的项目，通常是因为Visual Studio 2022默认不再支持较旧的.NET Framework版本，如4.5或4.5.2。不过，你可以通过一些手动步骤来使Visual Studio 2022支持.NET Framework 4.5.2项目。以下是一…...

编程日记 2025/5/19 19:13:09

【读书笔记】《论语别裁》孝道是这样一个东西

一、内容摘要本章通过比较人类与其他动物的生存方式，探讨了孝道和人文文化的重要性。作者提到，在自然界中，所有生物都在为自身生存而努力，动物之间的亲子关系如母鸡保护小鸡体现了母性的重要性。虽然人类在外表上与动物无异&…...

编程日记 2025/5/19 18:38:31

【magic-dash】01：magic-dash创建单页面应用及二次开发

文章目录一、magic-dash是什么1.1 安装1.2 使用1.2.1 查看内置项目模板1.2.2 生成指定项目模板1.2.3 查看当前magic-dash版本1.2.4 查看命令说明1.2.5 内置模板列表二、创建虚拟环境并安装magic-dash三、magic-dash单页工具应用开发3.1 创建单页面项目3.1.1 使用命令行创建单页…...

编程日记 2025/5/19 15:14:37

Python编程构建动态的圣诞画面

Python编程构建动态的圣诞画面引言今天是圣诞节，空气中弥漫着节日的气息。让我们利用Python编程技能，为我们的屏幕带来一丝节日的温暖。本文将引导你通过Python代码创建一个动态的圣诞场景，包括闪烁的圣诞树和房屋画面，所有这…...

编程日记 2025/5/19 10:45:51

2025年创业投资前瞻：AI、可持续发展与基础设施建设的深度整合

随着科技的进步和社会需求的变化，2025年的创业环境将更加复杂且充满机遇。本篇文章旨在为寻求在这一关键时期启动或扩展业务的企业家提供一份详尽的投资指南，聚焦于人工智能（AI）、可持续发展和基础设施建设三大核心领域。 1. 智能政府与公民服务自动化行政流程：通过引入…...

编程日记 2025/5/19 19:17:55

vulnhub靶场-matrix-breakout-2-morpheus攻略（截止至获取shell）

扫描出ip为192.168.121.161 访问该ip，发现只是一个静态页面什么也没有使用dir dirsearch 御剑都只能扫描到/robots.txt /server-status 两个页面，前者提示我们什么也没有，后面两个没有权限访问扫描端口，存在81端口访问&#x…...

编程日记 2025/5/13 17:19:50

C++软件设计模式之类型模式和对象型模式

在 C 软件设计模式中，通常将设计模式分为两大类：类型模式（Type Patterns）和对象型模式（Object Patterns）。这两种模式在实现和应用上有不同的特点和目的。类型模式（Type Patterns）…...

编程日记 2025/5/19 19:37:36

Oracle、ACCSEE与TDMS的区别

Oracle、ACCSEE和TDMS都是不同类型的数据管理和存储工具，它们各自有独特的用途、结构和复杂性。Oracle是一个功能强大的关系型数据库管理系统，适用于大规模企业级应用，支持复杂查询和事务管理。ACCSEE主要应用于实时数据采集和过程监控&#…...

编程日记 2025/5/19 19:08:32

视频监控平台：Liveweb视频汇聚融合平台智慧安防视频监控应用方案

Liveweb是一款功能强大、灵活部署的安防视频监控平台，支持多种主流标准协议，包括GB28181、RTSP/Onvif、RTMP等，同时兼容海康Ehome、海大宇等厂家的私有协议和SDK接入。该平台不仅提供传统安防监控功能，还支持接入AI智能分析&#…...

编程日记 2025/5/19 19:10:10

【ES6复习笔记】箭头函数（5）

简介本教程将介绍如何在 JavaScript 中使用箭头函数，包括箭头函数的基本语法、特点以及在实际开发中的应用。通过本教程，你将学会如何使用箭头函数来简化代码，提高代码的可读性和简洁性。箭头函数的基本语法箭头函数是 ES6 引入的一种新…...

编程日记 2025/5/17 20:52:18

数字IC前端学习笔记：脉动阵列的设计方法学（四）

相关阅读数字IC前端https://blog.csdn.net/weixin_45791458/category_12173698.html?spm1001.2014.3001.5482 引言脉动结构（也称为脉动阵列）表示一种有节奏地计算并通过系统传输数据的处理单元(PEs)网络。这些处理单元有规律地泵入泵出数据以保持规则…...

编程日记 2025/5/19 18:49:00

基于web的音乐网站(Java+SpringBoot+Mysql)

目录 1系统概述 1.1 研究背景 1.2研究目的 1.3系统设计思想 2相关技术 2.1?MYSQL数据库 2.2?B/S结构 2.3?Spring Boot框架简介 3系统分析 3.1可行性分析 3.1.1技术可行性 3.1.2经济可行性 3.1.3操作可行性 3.2系统性能分析 3.2.1 系统安全性 3.2.2 数据完整…...

编程日记 2025/5/19 19:18:24

从 GitLab.com 到 JihuLab.com 的迁移指南

本文分享从 GitLab.com 到 JihuLab.com 的迁移指南。近期，GitLab Inc. 针对其 SaaS 产品做了限制，如果被判定为国内用户，则会建议使用其在国内的发布版本极狐GitLab。从 GitLab SaaS 产品（GitLab.com）迁移到极狐GitL…...

编程日记 2025/5/18 22:06:44

纯真社区版IP库CZDB数据格式使用教程

1. 概述纯真社区版IP库是一种免费且公开的IP地理位置数据库，主要面向非商业用途。其最新推出的CZDB格式是一种全新的数据文件格式，自2024年10月起将成为官方维护和更新的唯一版本。该格式支持同时存储IPv4和IPv6地址信息，具备以下优点&…...

编程日记 2025/5/19 18:49:00

go window安装protoc protoc生成protobuf文件

1. 下载： Releases protocolbuffers/protobuf GitHub 2. 解压缩： 3. 配置环境变量： 选择系统变量->Path -> 新增解压缩后的bin路径 4. 打印版本： protoc --version 5. 安装protoc-gen-go cmd 下输入安装命令&#xff0…...

编程日记 2025/5/16 23:48:53

ChildLife“童年时光杯”足球联赛启动共促青少年健康成长

2024年12月21日至22日，由美国知名婴幼儿营养品牌ChildLife童年时光赞助的“童年时光杯”青少年足球联赛将在上海拉开帷幕。本次赛事U7/U8组别共有16支足球队参赛，包括上海幸运星足球俱乐部旗下的明星球队，以及其他青少年俱乐部的优秀队伍&…...

编程日记 2025/5/19 19:21:52

Erlang语言的数据结构

题目：Erlang数据结构：构建高效并发世界的基石一、引言在编程世界中，数据结构是组织和管理数据的关键工具，它不仅影响着程序的效率，还直接关系到代码的可读性和可维护性。Erlang，这门为高并发、容错性设…...

编程日记 2025/5/19 18:38:31

假设我们有以下代码： LOG_INFO("rkipc_ini_path_ is %s, rkipc_iq_file_path_ is %s, rkipc_log_level is %d\n",rkipc_ini_path_, rkipc_iq_file_path_, rkipc_log_level);1. LOG_INFO 宏定义根据之前的 LOG_INFO 宏定义： #define LOG_IN…...

编程日记 2025/5/19 19:20:04

攻防世界 - Web - Level 1 unseping

关注这个靶场的其它相关笔记：攻防世界（XCTF） —— 靶场笔记合集-CSDN博客 0x01：Write UP 本关是一个 PHP 代码审计关卡，考察的是 PHP 反序列化漏洞以及命令执行的一些绕过手段，下面笔者将带你一步步过关。…...

编程日记 2025/5/19 5:18:18

【ES6复习笔记】ES6的模块化（18）

模块化的概念模块化是指将一个复杂的系统分解为多个模块，每个模块完成一个特定的功能，模块之间通过接口进行通信。模块化的目的是提高代码的可读性、可维护性和可重用性。模块化规范产品， ES6 之前的模块化规范有： CommonJS …...

编程日记 2025/5/19 19:26:55

[项目][boost搜索引擎#4] cpp-httplib使用 log.hpp 前端测试及总结

目录编写http_server模块 1. 引入cpp-httplib到项目中 2. cpp-httplib的使用介绍 3. 正式编写http_server 九、添加日志到项目中十、编写前端模块十一. 详解传 gitee 十二、项目总结项目的扩展写在前面 [项目详解][boost搜索引擎#1] 概述 | 去标签 | 数据清洗 |…...

编程日记 2025/5/19 7:57:41

vue3入门教程：计算属性

计算属性的基本用法计算属性是通过computed函数创建的，它接受一个getter函数作为参数，并返回一个只读的响应式ref对象。该ref对象通过.value属性暴露getter函数的返回值。 <template><div><p>原始数据: {{ count }}</p><p…...

编程日记 2025/5/19 18:24:55

Linux大数据方向shell

一、概述 shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核，还是一个功能相当强大的编程语言，易编写，易调试，灵活性强。二、shell入门 1.输出hello world touch helloworld.sh&…...

编程日记 2025/5/19 18:59:26

深度学习blog-卷积神经网络（CNN）

卷积神经网络（Convolutional Neural Network，CNN）是一种广泛应用于计算机视觉领域，如图像分类、目标检测和图像分割等任务中的深度学习模型。 1. 结构卷积神经网络一般由以下几个主要层组成： 输入层：接收…...

编程日记 2025/5/19 10:45:52

Unity3D如何优化物理模拟？

在Unity3D中优化物理模拟可以显著提高游戏的性能和稳定性。以下是一些常见的优化策略： 1. 调整物理引擎设置物理时间步长（Physics Time Step）：这是物理引擎每次更新的时间间隔。较小的值可以提高物理模拟的精度，但会…...

编程日记 2025/5/15 8:51:28

C项目天天酷跑（下篇）

上篇再博客里面有，接下来我们实现我们剩下要实现的功能文章目录碰撞检测血条的实现积分计数器前言我们现在要继续优化我们的程序才可以使这个程序更加的全面碰撞的检测定义全局变量实现全局变量 void checkHit() {for (int i 0; i < OBSTACLE_C…...

编程日记 2025/5/19 3:16:12

认识Python语言

Python背景介绍 Python的作者是荷兰人 Guido van Rossum（龟叔）Python正是诞生于1991年Python目前有两个版本，Python2和Python3 代码不完全兼容源文件.py文件名后缀Python的解释如今有多个语言实现，我们常用的是Cpython或者IPytho…...

编程日记 2025/5/16 4:07:48

Python——day09

os模块 sys模块 time模块 logging模块...

编程日记 2025/5/19 6:34:05

机器视觉检测相机基础知识 | 颜色 | 光源 | 镜头 | 分辨率 / 精度 / 公差

注：本文为 “keyence 视觉沙龙中机器视觉检测基础知识” 文章合辑。机器视觉检测基础知识（一）颜色篇视觉检测硬件构成的基本部分包括：处理器、相机、镜头、光源。其中，和光源相关的最重要的两个参数就是光源颜色和…...

编程日记 2025/5/7 5:45:11

在 CentOS 系统上安装 ClickHouse

在 CentOS 系统上安装 ClickHouse 数据库相对简单，可以通过官方提供的安装包来进行。以下是详细的安装步骤。 1. 更新系统首先，确保你的系统是最新的，更新软件包和系统库： sudo yum update -y2. 安装依赖库 ClickHouse 需要一…...

编程日记 2025/5/18 23:52:42

FreeSql

官网 1、安装包 Install-Package FreeSql Install-Package FreeSql.Provider.SqlServer2、Program.cs 文件 using FreeSql; using Microsoft.OpenApi.Models; using System.Configuration;var builder WebApplication.CreateBuilder(args);builder.Services.AddController…...

编程日记 2025/5/19 20:08:40

webpakc介绍

介绍因为不确定打出的前端包所访问的后端IP，需要对项目中IP配置文件单独拿出来，方便运维部署的时候对IP做修改。因此，需要用webpack单独打包指定文件。 CommonsChunkPlugin module.exports {entry: {app: APP_FILE // 入口文件},outpu…...

编程日记 2025/5/16 17:28:58

自然语言处理基础

目录一：文本表示 1：词的独热表示 2：词的分布式表示 （1）最初分布式表示 （2）：点互信息（PMI） （3）奇异值分解（SVD&…...

编程日记 2025/5/15 12:02:33

创新引领，从零到一：陶氏减速机在高精密领域的深耕与突破

在高精密机械传动中，陶氏智能正以一款革命性的“第四类”减速机——环面包络多齿啮合减速机，书写着属于自己的传奇篇章。这款减速机不仅代表了技术的飞跃，更是对传统工业自动化领域的一次深刻革新，其影响力横跨航天航空、工业机器…...

编程日记 2025/5/16 2:18:41

神经网络-VggNet

2014年VggNet被推出，获取了ILSVRC2014比赛分类项目的第二名，第一名是GoogleNet，该网络在下节介绍，本节主要介绍VggNet。 VggNet可以称为是一个家族，根据层数的不同包括了A、A-LRN、B、C、D等网络结构，其中…...

编程日记 2025/5/18 1:45:03

服务器数据恢复—Lustre分布式文件系统下服务器节点进水的数据恢复案例

服务器数据恢复环境&故障： 5台节点服务器，每台节点服务器上有一组RAID5阵列。每组RAID5阵列上有6块硬盘（其中1块硬盘设置为热备盘，其他5块硬盘为数据盘）。上层系统环境为Lustre分布式文件系统。机房天花板漏水导致…...

编程日记 2025/5/18 2:38:54

实战分享：开发设计文档模版及编写要点

总框架一、需求类开发设计文档模版 1、PRD链接 PRD文档链接 2、后端设计 1）流程图/代码逻辑描述描述代码逻辑，要求清晰准确，尽量用图表描述超过3人天工作量的需求必须有流程图 2）库表设计涉及数据库的改动&#xff0c…...

编程日记 2025/5/18 16:31:15

一文彻底拿捏DevEco Studio的使用小技巧

程序员Feri一名12年的程序员,做过开发带过团队创过业,擅长Java相关开发、鸿蒙开发、人工智能等,专注于程序员搞钱那点儿事,希望在搞钱的路上有你相伴！君志所向,一往无前！ 0.安装DevEco Studio DevEco Studio面向HarmonyOS应用及元服务开发者提供的集成开…...

编程日记 2025/5/18 3:49:27

Linux文件目录 --- touch命令创建文件

四、touch命令 touch命令用于创建新文件或更改现有文件的时间戳。文件的时间戳包括最后访问时间、最后修改时间和最后更改时间。 touch [选项] 文件名称选项作用- a改变档案的读取时间记录-c 假如目的档案不存在，不会建立新的档案-d 指定时间与日期-h影响每个…...

编程日记 2025/5/18 22:54:50

Scala课堂小结

(一)数组： 1.不可变数组 2.创建数组...

编程日记 2025/5/16 5:55:20

git分支与部署环境的关系以及开发规范

一某金融机构 1.1 分支分类以及作用 1.master master分支为主分支，用于部署生产环境的分支，无论任何时候都要确保master分支的稳定性；master分支由feature及hotfix分支合并，任何时间都不能直接修改代码。目前用于老仿真和老生产，暂时不动。 2.prod 主分支，是master…...

编程日记 2025/5/16 22:39:33

1. 前言

2. 大数据

2.1 大数据入门

2.1.1 定义

2.1.2 大数据的界限

2.1.3 大数据特点（4V）

2.2 数据科学

2.2.1 大数据与数据科学

2.2.2 定义

2.2.3 数据处理过程

3. 数据的表示与存储

3.1 数据分类与表示

3.1.1 结构化数据

3.1.2 半结构化数据

3.1.3 非结构化数据

3.2 数据存储

3.2.1 结构化数据的存储

3.2.1.1 结构化数据存储在哪里

3.2.1.2 结构化数据存储的手段

使用 DISTINCT 去重查询结果中的单个列，返回唯一的值

使用 DISTINCT 去重查询结果中的多个列，返回满足多列组合唯一的结果。

3.2.1.3 结构化数据存储的优化

3.2.2 非结构化数据存储

3.2.2.1 MongoDb

3.2.2.2 Neo4j

3.2.2.3 Redits

3.2.2.4 HBase

3.2.2.5 NoSQL总结（必背）

4. 总结

相关文章：