当前位置： 首页 > news >正文

【自学笔记】大数据基础知识点总览-持续更新

news 来源：原创 2025/9/10 22:40:27

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

  • 大数据基础知识点总览
    • 1. 大数据概述
    • 2. 大数据处理技术
    • 3. 数据仓库与数据挖掘
    • 4. 大数据分析与可视化
    • 5. 大数据平台与架构
    • 6. 大数据安全与隐私
  • 总结

大数据基础知识点总览

1. 大数据概述

  • 定义：大数据是指数据量巨大、类型多样、处理速度快的数据集合。
  • 特征：4V（Volume、Velocity、Variety、Veracity）描述了大数据的主要特性。
  • 应用场景：商业分析、物联网、医疗健康、金融、教育等领域。

2. 大数据处理技术

  • Hadoop：
    • 核心组件：HDFS（分布式文件系统）、MapReduce（编程模型）。
    • 优点：高扩展性、高容错性、低成本。
  • Spark：
    • 特点：内存计算、速度快、易用性高。
    • 核心组件：RDD（弹性分布式数据集）、DataFrame、Dataset。
  • NoSQL数据库：
    • 类型：键值存储、列式存储、文档存储、图数据库。
    • 优点：处理非结构化数据、水平扩展、高性能。

3. 数据仓库与数据挖掘

  • 数据仓库：
    • 定义：用于存储、管理和分析大量历史数据的集中式存储库。
    • 关键特性：面向主题、集成、时变性、非易失性。
  • 数据挖掘：
    • 定义：从大量数据中提取有用信息和模式的过程。
    • 常用技术：分类、聚类、关联规则挖掘、预测模型等。

4. 大数据分析与可视化

  • 数据分析：
    • 方法：描述性分析、探索性分析、预测性分析、规范性分析。
    • 工具：Python（Pandas、NumPy）、R、Excel等。
  • 数据可视化：
    • 目的：以图形方式展示数据，帮助用户更好地理解数据。
    • 工具：Tableau、Power BI、Matplotlib、Seaborn等。

5. 大数据平台与架构

  • Lambda架构：
    • 组成：批处理层、流处理层、服务层。
    • 优点：保证了数据的准确性和实时性。
  • Kappa架构：
    • 特点：只使用流处理层，简化了Lambda架构。
    • 适用场景：实时性要求非常高的场景。
  • 数据湖：
    • 定义：集中存储所有类型的数据，包括结构化和非结构化数据。
    • 优点：灵活性高、可扩展性强、成本低。

6. 大数据安全与隐私

  • 数据安全：
    • 挑战：数据泄露、数据篡改、数据丢失等。
    • 措施：加密、访问控制、数据脱敏等。
  • 数据隐私：
    • 法规：GDPR（欧盟通用数据保护条例）、CCPA（加州消费者隐私法案）等。
    • 原则：最小化数据收集、透明化数据处理、用户授权等。

希望这个总览能帮助你系统地学习和分享大数据的基础知识。如果你有任何问题或需要进一步的解释，请随时提问！

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，自学记录大数据基础知识点总览。

相关文章：

【自学笔记】大数据基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 大数据基础知识点总览1. 大数据概述2. 大数据处理技术3. 数据仓库与数据挖掘4. 大数据分析与可视化5. 大数据平台与架构6. 大数据安全与隐私 总结 大数据基础知识点…...

编程日记 2025/9/10 22:40:27

AWS ALB 实现灰度验证指南：灵活流量分配与渐进式发布

AWS Application Load Balancer (ALB) 作为七层负载均衡器，支持基于权重或内容的路由策略，是实施灰度验证（金丝雀发布）的核心工具。通过将部分流量导向新版本后端，可以安全验证功能稳定性。以下是使用 ALB 实现灰度发布的详细方案。 © ivwdcwso (ID: u012172506) 一…...

编程日记 2025/9/10 22:38:26

专线物流公共服务平台：全面提升专线物流效率

专线物流公共服务平台：全面提升专线物流效率 在物流行业高速发展的今天，专线物流作为物流供应链的重要环节，面临着效率低下、成本高企、信息孤岛等痛点。临沂呆马区块链网络科技有限公司（简称“呆马科技”）凭借其在大…...

编程日记 2025/9/1 15:08:21

行为型模式 - 观察者模式 (Publish/Subscribe)

行为型模式 - 观察者模式 (Publish/Subscribe) 又称作为订阅发布模式（Publish-Subscribe Pattern）是一种消息传递模式，在该模式中，发送者（发布者）不会直接将消息发送给特定的接收者（订阅者&…...

编程日记 2025/9/10 22:38:25

HTTP/2 服务器端推送：FastAPI实现与前端集成指南

HTTP/2 服务器端推送：FastAPI实现与前端集成指南 注意：本文末尾附有完整示例代码，文中仅展示核心关键代码。完整代码可在GitHub仓库获取。 本文将会讲解HTTP2协议和相关配置实践。但是不要混淆，SSE的实现完全基于HTTP/1.1的持久连…...

编程日记 2025/9/9 1:11:00

C++ 变量的输入输出教程

一、变量的基本概念 在 C 中，变量是用于存储数据的命名内存位置。在使用变量之前，需要先声明它的类型和名称，这样编译器才能为其分配适当大小的内存空间。例如： int age; // 声明一个整型变量 age double salary; // 声明一个…...

编程日记 2025/9/7 22:23:01

java作业

java作业 一. package shiyanbaogao; ​ import java.util.Scanner; ​ //给20块钱买可乐，每瓶可乐3块钱，喝完之后退瓶子可以换回1块钱，问最多可以喝到多少瓶可乐。请设计相应的Java程序。 public class BaoGaoDemo02 {public static void …...

编程日记 2025/9/7 14:16:14

LeeCode题库第四十题

40.组合总和II 项目场景： 给定一个候选人编号的集合 candidates 和一个目标数 target ，找出 candidates 中所有可以使数字和为 target 的组合。 candidates 中的每个数字在每个组合中只能使用 一次 。 注意：解集不能包含重复的组合。 示…...

编程日记 2025/9/7 7:38:05

list的模拟实现

目录 一、构造和扩容机制 二、普通迭代器 三、const迭代器 四、tip 有了前面vetcor的基础呢，我们在学习和使用list上就更加的方便快捷，浅显易懂了，所以相似的部分我就不做过多的言语阐述了，在使用方面呢，大家可以学…...

编程日记 2025/9/8 21:08:28

pandas DataFrame 数据筛选与排序

数据筛选： df[df[列标签] > xxx] 使用 &(与) |(或) 拼接多个条件代码应用： ​ &(与)应用 # 引用 pandas import pandas as pd # 定义数据 data {"产品":["男装","女装","男鞋","女鞋"…...

编程日记 2025/9/8 12:54:37

elpis全栈课程学习之elpis-core学习总结

elpis全栈课程学习之elpis-core学习总结 核心原理 elpis-core是全栈框架elpis的服务端内核，主要应用于服务端接口的开发以及页面的SSR渲染，elpis-core基于约定优于配置的原理，通过一系列的loader来加载对应的文件，大大节约用户的…...

编程日记 2025/9/8 0:21:44

零基础deep seek＋剪映，如何制作高品质的视频短片

以下是专为零基础学习者设计的 剪映专业版详细教程＋Deep seek配合制 ，包含从入门到精通的系统化教学，配合具体操作步骤与实用技巧： 基于DeepSeek与剪映协同制作高品质视频短片的专业流程指南（2025年最新实践版&#x…...

编程日记 2025/9/10 22:31:47

解决单元测试 mock final类报错

文章目录 前言解决单元测试 mock final类报错1. 报错原因2. 解决方案3. 示例demo4. 扩展 前言 如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊^ _ ^。   而且听说点赞的人每天的运气都不会太差&#xff0…...

编程日记 2025/9/8 21:15:13

Git基本命令索引

GIT基本命令索引 创建代码库修改和提交代码日志管理远程操作操作分支 创建代码库 操作指令初始化仓库git init克隆远程仓库git clone 修改和提交代码 操作指令查看文件状态git status文件暂存git add文件比较git diff文件提交git commit回滚版本git reset重命名或者移动工作…...

编程日记 2025/9/9 11:12:59

非平稳时间序列分析（二）——ARIMA(p, d, q)模型

此前篇章（平稳序列）： 时间序列分析（一）——基础概念篇 时间序列分析（二）——平稳性检验 时间序列分析（三）——白噪声检验 时间序列分析（四）—…...

编程日记 2025/9/9 20:41:30

[代码规范]接口设计规范

一个优雅的接口要如何设计？有哪些设计规范可以遵循？ 下面抛砖引玉，分享一些规范。 目录 1、RESTful API 设计最佳实践 2、Shneiderman 的 8 条黄金法则 3、Nielsen 的 10 条启发式规则 1、RESTful API 设计最佳实践 一共18条，参考…...

编程日记 2025/9/1 1:57:38

4-3自定义加载器，并添加功能

一、自定义类加载器的实现步骤 ​继承ClassLoader类​ 自定义类加载器需继承java.lang.ClassLoader，并选择性地重写以下方法： ​findClass(String name)：核心方法，用于根据类名查找并加载类的字节码。需从自定义路径&#xff08…...

编程日记 2025/9/5 3:56:24

北京大学DeepSeek提示词工程与落地场景（PDF无套路免费下载）

近年来，大模型技术飞速发展，但许多用户发现：即使使用同一款 AI 工具，效果也可能天差地别——有人能用 AI 快速生成精准方案，有人却只能得到笼统回答。这背后的关键差异，在于提示词工程的应用能力。 北京大…...

编程日记 2025/9/8 8:09:57

SSH密码更改

Windows User目录下的.ssh/config，全部删除 linux 在主用户文件夹，ctrlh显示隐藏文件。删除.shh文件夹内所有文件。...

编程日记 2025/9/1 4:41:30

蓝桥备赛（四）- 数组(下)

一 、 字符数组 1.1 介绍 数组的元素如果是字符类型 ， 这种数组就是字符数组 ， 字符数组可以是一维数组 ， 可以是二维数组 (多维数组)。 接下来主要讨论一维的字符数组 : char arr1[5] //一维数组 char arr2[3][5] // 二维数组 C语言 中…...

编程日记 2025/9/9 20:02:56

基金 word--＞pdf图片模糊的解决方法

1. 首先需要Adobe或福昕等pdf阅读器。 2. word中 [文件]--[打印]，其中打印机选择pdf阅读器，例如此处我选择福昕阅读器。 3. 选择 [打印机属性]--[编辑]--[图像]，将所有的采样、压缩均设置为 关闭。点击[另存为]，保存为 基金报告…...

编程日记 2025/9/6 12:52:45

身为小兵，如何提升不可替代性？

之前聊过，研发、PIE、PE、可靠性等岗位，主要是对物的工作， 这类岗位，如何提升不可替代性？ 我的经验是，学会识别创造性工作or重复性工作。 尽可能地做创造性工作，推重复性工作。 销售、采购、HR等岗位，主要是对人的工作， 这类岗位，如何提升不可替代性？ 我的思考…...

编程日记 2025/9/9 20:43:40

easyExcel使用案例有代码

easyExcel 入门,完成web的excel文件创建和导出 easyExcel官网 EasyExcel 的主要特点如下： 1、高性能：EasyExcel 采用了异步导入导出的方式，并且底层使用 NIO 技术实现，使得其在导入导出大数据量时的性能非常高效。 2、易于使…...

编程日记 2025/9/8 12:58:31

linux服务器更新jar包脚本

【需求】Java每次发布新的版本都需要先kill掉原来的服务，然后再启动新的包 有了这个脚本只需要把包替换掉，服务会自动kill 以8184 为例 完整的脚本如下 #!/bin/bash# 检查端口 8184 是否被占用 PORT8184 PID$(lsof -t -i:$PORT)if [ -n "$PID…...

编程日记 2025/9/9 20:36:09

Tomcat 乱码问题彻底解决

1. 终端乱码问题 找到 tomcat 安装目录下的 conf —> logging.properties .修改ConsoleHandler.endcoding GBK （如果在idea中设置了UTF-8字符集，这里就不需要修改） 2. CMD命令窗口设置编码 参考：WIN10的cmd查看编码方式&…...

编程日记 2025/9/9 14:17:34

dify绑定飞书多维表格

dify 绑定飞书和绑定 notion 有差不多的过程，都需要套一层应用的壳子，而没有直接可以访问飞书文档的 API。本文记录如何在dify工具中使用新增多条记录工具。 创建飞书应用 在飞书开放平台创建一个应用，个人用户创建企业自建应用。 自定义应…...

编程日记 2025/9/8 0:55:08

深入浅出：插入排序算法完全解析

1. 什么是插入排序？ 插入排序（Insertion Sort）是一种简单的排序算法，其基本思想与我们整理扑克牌的方式非常相似。我们将扑克牌从第二张开始依次与前面已排序的牌进行比较，将其插入到合适的位置，直到所有牌…...

编程日记 2025/9/4 14:06:20

MySQL--DQL、DML、DDL、DCL概念与区别

在SQL中，根据功能和操作对象的不同，通常将语文分为四大类：DQL（数据查询语言）、DML（数据操作语言）、DDL（数据定义语言）、DCL（数据控制语言） 一、D…...

编程日记 2025/9/6 19:53:11

【设计原则】里氏替换原则（LSP）：构建稳健继承体系的黄金法则

深入理解里氏替换原则（LSP）及其在C#中的实践 一、什么是里氏替换原则？二、为什么需要LSP？三、经典违反案例：矩形与正方形问题四、正确的设计实践方案1：通过接口分离方案2：使用抽象类 五、LSP的关…...

编程日记 2025/8/16 10:34:37

SQL的select语句完整的执行顺序

SQL的SELECT语句的执行顺序可以用"做菜流程"来类比理解。虽然我们写SQL时按SELECT…FROM…WHERE…顺序写，但数据库执行顺序完全不同。以下是通俗易懂的讲解（附流程图和示例）： 🔧 执行顺序流程图&#xff1a…...

编程日记 2025/9/7 14:13:34

【Vue3】浅谈setup语法糖

Vue3 的 setup 语法糖是通过 <script setup> 标签启用的特性&#xff0c;它是对 Composition API 的进一步封装&#xff0c;旨在简化组件的声明式写法&#xff0c;同时保留 Composition API 的逻辑组织能力。以下是其核心概念和原理分析&#xff1a; 一、<script setu…...

编程日记 2025/9/6 16:31:13

算法-二叉树篇27-把二叉搜索树转换为累加树

把二叉搜索树转换为累加树 力扣题目链接 题目描述 给出二叉 搜索 树的根节点&#xff0c;该树的节点值各不相同&#xff0c;请你将其转换为累加树&#xff08;Greater Sum Tree&#xff09;&#xff0c;使每个节点 node 的新值等于原树中大于或等于 node.val 的值之和。 提…...

编程日记 2025/9/10 8:45:00

FPGA开发，使用Deepseek V3还是R1（3）：系统级与RTL级

以下都是Deepseek生成的答案 FPGA开发&#xff0c;使用Deepseek V3还是R1&#xff08;1&#xff09;&#xff1a;应用场景 FPGA开发&#xff0c;使用Deepseek V3还是R1&#xff08;2&#xff09;&#xff1a;V3和R1的区别 FPGA开发&#xff0c;使用Deepseek V3还是R1&#x…...

编程日记 2025/9/5 3:32:50

《国密算法开发实战：从合规落地到性能优化》

前言 随着信息技术的飞速发展，信息安全已成为全球关注的焦点。在数字化时代，数据的保密性、完整性和可用性直接关系到国家、企业和个人的利益。为了保障信息安全，密码技术作为核心支撑，发挥着至关重要的作用。国密算法，即国家密码算法，是我国自主设计和推广的一系列密码…...

编程日记 2025/9/8 5:02:11

DeepSeek开源周Day5压轴登场：3FS与Smallpond，能否终结AI数据瓶颈之争？

2025年2月28日&#xff0c;DeepSeek开源周迎来了第五天&#xff0c;也是本次活动的收官之日。自2月24日启动以来&#xff0c;DeepSeek团队以每天一个开源项目的节奏&#xff0c;陆续向全球开发者展示了他们在人工智能基础设施领域的最新成果。今天&#xff0c;他们发布了Fire-F…...

编程日记 2025/9/7 4:33:13

Linux：进程替换

目录 进程程序替换 替换原理 进程替换相关函数 环境变量与进程替换函数 命令行解释器(my_xshell) 进程程序替换 上一篇进程控制讲到&#xff0c;父进程创建子进程就是为了让子进程去做一些另外的事情&#xff0c;但是不管怎么说&#xff0c;子进程的部分代码也还是父进程…...

编程日记 2025/9/8 0:10:13

CSS 日常开发常用属性总结

文章目录 CSS 日常开发常用属性总结一、 常用 CSS 属性1、布局相关&#xff08;1&#xff09;display&#xff1a;&#xff08;2&#xff09;position&#xff1a;&#xff08;3&#xff09;float&#xff1a;&#xff08;4&#xff09;clear&#xff1a; 2、尺寸与溢出&#x…...

编程日记 2025/9/9 1:49:10

Python 绘制迷宫游戏，自带最优解路线

1、需要安装pygame 2、上下左右移动&#xff0c;空格实现物体所在位置到终点的路线&#xff0c;会有虚线绘制。 import pygame import random import math# 迷宫单元格类 class Cell:def __init__(self, x, y):self.x xself.y yself.walls {top: True, right: True, botto…...

编程日记 2025/9/8 5:36:49

了解Java集合的概念和体系：Collection＜T＞、Collections与Stream的使用

学习目标 本文知识是对集合层级的介绍&#xff0c;应用开发中实际使用的是他们的子级&#xff0c;感兴趣的小伙伴或者想深入了解有关Java集合知识的朋友可以选择阅读&#xff01; Stream的方法使用使用部分代码块内大多有两种实现方式&#xff0c;是为了更好的理解方法底层的代…...

编程日记 2025/9/8 11:56:56

扫描局域网可用端口

site: https://mengplus.top #SiliconFlow : 在Linux系统&#xff0c;你可以使用一个简单的Bash脚本来扫描局域网中可用的端口。这个脚本可以使用nmap工具来实现。nmap是一个强大的网络扫描工具&#xff0c;可以用来探测网络中的主机和端口。 以下是一个简单的Bash脚本&#…...

编程日记 2025/9/5 8:47:00

算法分析 —— 《栈》

文章目录 删除字符串中的所有相邻重复项题目描述&#xff1a;代码实现&#xff1a;代码解析&#xff1a; 比较含退格的字符串题目描述&#xff1a;代码实现&#xff1a;代码解析&#xff1a; [基本计算器 II](https://leetcode.cn/problems/remove-all-adjacent-duplicates-in-…...

编程日记 2025/9/5 20:32:18

693. 交替位二进制数

交替位二进制数 题目描述尝试做法推荐做法 题目描述 给定一个正整数&#xff0c;检查它的二进制表示是否总是 0、1 交替出现&#xff1a;换句话说&#xff0c;就是二进制表示中相邻两位的数字永不相同。 示例 1&#xff1a; 输入&#xff1a;n 5 输出&#xff1a;true 解释…...

编程日记 2025/9/10 9:51:04

uniapp中使用leaferui使用Canvas绘制复杂异形表格的实现方法

需求&#xff1a; 如下图&#xff0c;要实现左图的样式&#xff0c;先实现框架&#xff0c;文字到时候 往里填就行了&#xff0c;原来的解决方案是想用css,html来实现&#xff0c;发现实现起来蛮麻烦的。我也没找到合适的实现方法&#xff0c;最后换使用canvas来实现&#xff…...

编程日记 2025/9/10 1:09:54

Java 反射（Reflection）的原理和应用

反射&#xff08;Reflection&#xff09;是 Java 语言的一项强大功能&#xff0c;它允许程序在运行时动态地获取类的信息&#xff0c;并且可以操作这些信息&#xff0c;如创建对象、调用方法、访问字段等。反射机制的核心在于 Java 的 类加载机制 和 动态类型检查&#xff0c;使…...

编程日记 2025/9/6 18:58:13

Linux top 常用参数记录

top命令经常用来监控linux的系统状况&#xff0c;能实时显示系统中各个进程、线程的资源占用情况&#xff0c;是常用的性能分析工具。 一些常用参数记录 top的使用方式 top [-d number] | top [-bnp] # 5s 更新一次 top -d 5# 进行2次top命令的输出结果 top -n 2# 查看进程的…...

编程日记 2025/9/7 3:35:37

hive之LEAD 函数详解

1. 函数概述 LEAD 是 Hive 中的窗口函数&#xff0c;用于获取当前行之后指定偏移量处的行的值。常用于分析时间序列数据、计算相邻记录的差异或预测趋势。 2. 语法 LEAD(column, offset, default) OVER ([PARTITION BY partition_column] [ORDER BY order_column [ASC|DESC]…...

编程日记 2025/9/9 3:30:10

Element Plus中el-tree点击的节点字体变色加粗

el-tree标签设置 <el-tree class"tree":data"treeData":default-expand-all"true":highlight-current"true"node-click"onTreeNodeClick"><!-- 自定义节点内容&#xff0c;点击的节点字体变色加粗 --><!-- 动…...

编程日记 2025/9/4 20:26:42

.gitignore 设置后不见效的解决方法中，方案一就可以了

遇到的问题&#xff1a;你的 .gitignore 文件中包含了 unpackage/ 目录&#xff0c;但它不起作用的原因可能有以下几个&#xff1a; 1. 文件或目录已经被 Git 跟踪 .gitignore 只能忽略 未被 Git 追踪 的文件或目录。如果 unpackage/ 目录已经被提交到 Git 版本库中&#xff…...

编程日记 2025/9/6 20:43:37

git提交管理

git提交管理 scoop install nodejs # windows npm install --save-dev commitlint/config-conventional commitlint/cli # non-windows npm install --save-dev commitlint/{cli,config-conventional} # windows将commitlint.config.js修改为utf8编码, 默认utf16编码 echo &qu…...

编程日记 2025/9/7 0:54:22

DeepSeek八大组合软件，效率加倍

DeepSeek王炸组合&#xff1a;开启2025年高效工作与创意新时代 在科技飞速发展的2025年&#xff0c;人工智能和各类工具的融合正不断重塑我们的工作与生活方式。DeepSeek作为一款强大的工具&#xff0c;与众多应用组成的王炸组合&#xff0c;展现出了令人瞩目的能力。今天&…...

编程日记 2025/9/8 4:31:50