快速认识:数据库、数仓(数据仓库)、数据湖与数据运河
数据技术核心概念对比表
概念 | 核心定义 | 核心功能 | 数据特征 | 典型技术/工具 | 核心应用场景 |
---|---|---|---|---|---|
数据库 | 结构化数据的「电子档案柜」,按固定 schema 存储和管理数据,支持高效读写和事务处理。 | 实时事务处理(增删改查),确保数据一致性(ACID 特性),支持单表/关联查询。 | 结构化数据(表格式),Schema 固定,数据高度清洗。 | 关系型:Oracle、MySQL、PostgreSQL、TiDB 非关系型:MongoDB、Redis 向量型:Milvus、Pinecone | 核心业务系统(订单管理、用户登录)、实时交易(如支付、库存扣减)。 |
数据仓库 | 面向分析的「数据实验室」,存储历史结构化数据,按主题组织,支持复杂查询和指标计算。 | 离线/准实时分析(OLAP),通过 ETL 清洗整合多源数据,构建分析模型并输出报表/指标。 | 结构化数据(表格式),Schema 稳定,数据经清洗、整合、维度建模。 | 云原生:Snowflake、BigQuery、StarRocks 传统:Hive、Teradata 湖仓一体:Delta Lake、Iceberg | 企业级报表(如销售日报)、历史趋势分析(用户留存率)、KPI 计算(ROI 分析)。 |
数据湖 | 原始数据的「大熔炉」,存储多格式(结构化/半结构化/非结构化)的原始数据,保留数据原始形态。 | 存储海量多模数据,支持数据探索、大数据分析和 AI 训练,按需处理(ELT)。 | 多格式数据(表/JSON/日志/图片),Schema 灵活(读时定义),数据原始未清洗。 | 存储:S3、ADLS、OSS 管理:Delta Lake、Hudi 分析:Presto、Spark SQL | 机器学习训练(用户行为建模)、日志挖掘、非结构化数据归档(图片/视频存储)。 |
数据运河 | 数据流动的「管道系统」,负责在不同数据系统间实时/批量传输数据,实现数据集成与同步。 | 数据抽取(CDC)、转换(ETL/ELT)、加载,保障跨系统数据流动的实时性和可靠性。 | 不存储数据,仅传输,支持结构化/非结构化数据的流式或批量迁移。 | 实时:Kafka、Debezium、Flink 批量:Sqoop、Flume 可视化:NiFi、Fivetran | 数据同步(跨机房备份)、实时流处理(金融风控)、多系统集成(电商订单同步至分析平台)。 |
一、数据库:精准的「数据档案柜」
🧑💼 技术画像
穿定制西装的档案管理员,手持索引卡精准定位每一份数据,遵循「借阅必登记,修改必留痕」的铁律,确保数据操作的绝对可靠。
⚙️ 核心能力
技术流派 | 代表工具 | 数据管理模式 | 典型场景 | 技术亮点 |
---|---|---|---|---|
关系型 | Oracle/MySQL | 二维表格(SQL语言) | 银行转账、订单交易 | B+树索引秒级检索,ACID事务保障数据强一致性 |
文档型 | MongoDB | JSON文档(BSON格式) | 电商商品详情、日志存储 | 灵活嵌套数据结构,支持动态schema演进 |
向量型 | Cloudera Vector(技术展望) | 高维向量空间 | 推荐系统、图像识别 | GPU加速十亿级向量检索,余弦相似度计算延迟<1ms |
🏭 典型场景
- 银行核心系统使用Oracle确保每笔转账的原子性(要么全部成功,要么全部回滚)
- 抖音用户行为日志通过MongoDB存储,支持快速迭代的JSON格式变更
二、数据仓库:智能的「数据分析师」
👓 技术画像
戴圆框眼镜的逻辑大师,擅长用星型/雪花模型构建数据立方体,口头禅是「让数据在SQL中跳舞」,专注从历史数据中提炼业务洞察。
🛠️ 核心技术
-
云原生架构
- Snowflake:存储计算分离(S3存储层+弹性计算集群),按需扩展成本降低40%,支持PB级数据秒级查询
- Apache Doris(StarRocks):MPP架构实时数仓,小米千万级日订单分析延迟<500ms,实时大屏秒级刷新
-
数据版本控制
- Apache Iceberg:时间旅行功能(支持按时间戳回溯数据),Z-Order索引优化多维查询,TPC-DS性能提升40%
- 技术优势:解决传统数仓「更新难」问题,支持数据的增删改查(ACID for Data Warehouse)
📊 典型场景
- 某零售企业用Snowflake分析10年销售数据,动态计算各季度促销活动ROI
- 美团外卖用Doris实时计算骑手接单量,高峰期资源自动扩容保障服务稳定性
三、数据湖:开放的「数据生态湿地」
🌿 技术画像
穿登山靴的自然主义者,主张「数据先存储后定义」,将原始数据(结构化/半结构化/非结构化)像保护湿地一样统一收纳,支持无限可能的数据分析。
🌊 核心特性
-
低成本存储
- AWS S3:对象存储「诺亚方舟」,支持Parquet/ORC列式存储(压缩比10:1),存储成本仅为传统HDFS的40%
- 典型应用:特斯拉存储海量车载传感器数据(CSV/日志/图像混合格式)
-
数据治理升级
- Delta Lake:为数据湖加装「ACID事务引擎」,解决多用户并发写入冲突,支持数据版本管理(类似Git的数据提交记录)
- Netflix实践:通过Presto联邦查询跨13个数据湖,30秒内完成用户观影习惯分析
🔬 技术对比(湖vs仓)
特性 | 数据湖 | 数据仓库 |
---|---|---|
数据格式 | 支持全类型(CSV/JSON/图片) | 严格结构化(SQL表) |
Schema定义 | 读取时定义(Schema-on-Read) | 写入时定义(Schema-on-Write) |
核心场景 | AI训练数据准备、多源数据整合 | 历史指标分析、固定报表生成 |
四、数据运河:高效的「数据传输管道」
👷 技术画像
穿工装的管道工程师,专注构建数据流通的「高速公路」,确保数据在不同系统间实时、可靠流转,口头禅是「数据不落地,流动即价值」。
🚀 核心组件
-
实时数据采集
- Debezium+Kafka:捕获MySQL Binlog日志(增量数据采集),支持百万级TPS传输,延迟<200ms(典型案例:支付宝交易流水实时同步)
- 技术优势:非侵入式采集,不影响源数据库性能
-
流处理引擎
- Apache Flink:毫秒级延迟的流处理王者,金融场景下反欺诈规则计算延迟<10ms,日均处理万亿级事件
- 网易实践:NDC系统跨机房数据同步延迟<1秒,支撑日均TB级订单流水实时计算
📐 典型架构(实时分析黄金三角)
graph LR A[业务数据库] -->|Debezium捕获增量| B(Kafka消息队列) B -->|Flink实时计算| C(Iceberg数据仓库) C -->|Presto联邦查询| D[BI可视化大屏] 说明:从数据变更到可视化呈现全链路延迟<3秒,某快消品企业用此架构实现用户画像实时更新
五、技术联盟:数据平台的「复仇者联盟」
1. 湖仓一体(Lakehouse)—— 数据湖与数据仓的融合进化
- 技术价值:统一存储层(S3/ADLS)支持原始数据存储+结构化分析,兼具数据湖的灵活性与数据仓的分析效率
- 典型组合:
- Delta Lake(事务管理)+ Databricks(分析平台):查询性能比纯数据湖提升40%
- 国产方案:柏睿数据Rapids引擎,内置10+AI算法库,流处理吞吐量超越Spark 30%
2. 云原生架构—— 数据平台的容器化革命
- Snowflake on Kubernetes:计算节点按需弹性伸缩,资源利用率提升50%,成本降低60%
- Cloudera CDP:AI驱动的自动化管家,支持存储策略自动优化(如冷热数据分层),TPC-DS性能提升30%
六、最佳实践:企业数据平台建设指南
📌 小米数据仓库建设三原则
- 高内聚低耦合:按业务域划分数据模块(如订单域、用户域),国际部与中国区模块可独立扩展
- 公共逻辑下沉:统一数据清洗规则(如无效订单过滤)至公共层(DWM),避免重复开发
- 成本性能平衡:维度表采用四级冗余策略(明细层→轻度聚合→高度聚合→应用层),查询速度提升50%而存储成本仅增10%
🛒 沃尔玛数据运河优化方案
- 传输压缩:采用Zstandard算法(压缩比3:1),网络带宽占用减少70%,CPU消耗降低50%
- 高可用性:基于Raft协议实现三副本强一致,故障切换时间<500ms,数据零丢失
七、未来展望:2025数据技术趋势
1. 边缘计算前置处理—— 数据的「本地预处理站」
- 工厂场景:Hadoop Edge Server在车间端过滤90%无效传感器数据,仅回传关键指标,5G流量成本降低80%
- 技术价值:解决物联网数据爆炸问题,实现「数据本地清洗,价值远程传输」
2. 隐私计算—— 数据的「匿名化装舞会」
- 差分隐私:在金融统计中添加可控噪声,信息泄露风险降低90%(如计算「某小区平均工资」时保护个人隐私)
- 区块链存证:HDFS集成Hyperledger Fabric,数据操作全链路上链,篡改检测准确率99.99%
3. 自治数据库—— DBA的「智能助手」
- TiDB v7:内置AI调优引擎,通过强化学习动态调整索引(如夜间自动优化慢查询),运维效率提升70%
- 技术愿景:让数据库具备「自我诊断、自我优化」能力,DBA从日常运维中解放
八、技术选型决策树
def 数据平台选型(业务场景): if 场景 == "实时交易": return "数据库(Oracle/MySQL)+ 数据运河(Kafka+Flink)" elif 场景 == "历史分析": return "数据仓库(Snowflake)+ 湖仓一体(Iceberg)" elif 场景 == "AI训练": return "数据湖(S3)+ 向量数据库(Cloudera Vector)" else: return "企业级数据平台(Cloudera CDP/华为云DWS)"
关键原则:根据数据处理时效(实时vs离线)、数据格式(结构化vs非结构化)、分析目标(报表vsAI)选择合适工具组合
结语:数据技术的本质是「让数据流动产生价值」
从严谨的数据库到开放的数据湖,从静态的报表分析到实时的数据流转,四大技术体系共同构建了数据世界的基础设施。企业无需纠结「非此即彼」的选择,而是应像搭建城市交通网一样,让数据在合适的「管道」中高效流动——让交易数据走「高速公路」(实时数据库+运河),让历史数据进「图书馆」(数仓),让原始数据住「生态湿地」(数据湖)。
当技术回归本质,我们最终追求的,是让数据像自来水一样,随时可用、安全可靠、按需流转。这,就是数据技术的终极浪漫。
相关文章:
快速认识:数据库、数仓(数据仓库)、数据湖与数据运河
数据技术核心概念对比表 概念核心定义核心功能数据特征典型技术/工具核心应用场景数据库结构化数据的「电子档案柜」,按固定 schema 存储和管理数据,支持高效读写和事务处理。实时事务处理(增删改查),确保数据一致性&…...
【Linux】第十章 配置和保护SSH
1. 简单说下ssh如何实现用户的免密登录? (1)生成公钥和私钥:使用 ssh-keygen -t rsa 命令,在客户端(即你登录的机器)上生成一对密钥——公钥(~/.ssh/id_rsa.pub)和私钥&…...
量子计算:开启未来科技之门的钥匙
在当今科技飞速发展的时代,量子计算正逐渐从实验室走向实际应用,成为全球科技领域的焦点之一。它有望为众多行业带来前所未有的变革,从密码学、药物研发到金融风险评估等,量子计算的潜力不可限量。 一、量子计算的原理 量子计算基…...
基础知识 - 结构体
1、结构体类型与结构体变量 1.1 结构体的定义 结构体是一种自定义的数据类型,它把多个不同类型的变量封装在一起,形成一个新的复合数据类型。可以定义该结构体类型的变量,与使用 int 定义变量的方法相同 结构体是一些值的集合,这…...
uniapp上传图片时(可选微信头像、相册、拍照)
参考文献:微信小程序登录——头像_onchooseavatar-CSDN博客 <button open-type"chooseAvatar" chooseavatar"onChooseAvatar"> </button>onChooseAvatar(e) {uni.showLoading({title: 上传中...,mask: true});uni.uploadFile({url…...
2025年4月16日华为笔试第二题200分
📌 点击直达笔试专栏 👉《大厂笔试突围》 💻 春秋招笔试突围在线OJ 👉 笔试突围OJ 02. 智慧旅游路线规划 问题描述 LYA正在开发一款智慧旅游APP,该APP需要为游客规划城市景点之间的最佳路线。城市有 N N...
面试题之高频面试题
最近开始面试了,410面试了一家公司 针对自己薄弱的面试题库,深入了解下,也应付下面试。在这里先祝愿大家在现有公司好好沉淀,定位好自己的目标,在自己的领域上发光发热,在自己想要的领域上(技术…...
一路磕磕绊绊解决flutter doctor 报错CocoaPods not installed
flutter doctor执行之后,出现以下错误: 错误消息: ✗ CocoaPods not installed.CocoaPods is a package manager for iOS or macOS platform code.Without CocoaPods, plugins will not work on iOS or macOS.For more info, see https://flutter.dev/t…...
探寻Gson解析遇到不存在键值时引发的Kotlin的空指针异常的原因
文章目录 一、问题背景二、问题原因三、问题探析Kotlin空指针校验Gson.fromJson(String json, Class<T> classOfT)TypeTokenGson.fromJson(JsonReader reader, TypeToken<T> typeOfT)TypeAdapter 和 TypeAdapterFactoryReflectiveTypeAdapterFactoryRecordAdapter …...
面试算法高频08-动态规划-01
动态规划 递归知识要点 递归代码模板:提供递归代码的标准形式public void recur(int level, int param) ,包含终止条件(if (level> MAX_LEVEL))、当前层逻辑处理(process(level, param))、向下一层递归…...
【AI】以Llama模型为例学习如何进行LLM模型微调
以Llama模型为例学习如何进行LLM模型微调 推荐超级课程: 本地离线DeepSeek AI方案部署实战教程【完全版】Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战目录 以Llama模型为例学习如何进行LLM模型微调背景预训练微调全部微调参数高效微调低秩适配 (LoR…...
细说STM32单片机FreeRTOS任务管理API函数vTaskList()的使用方法
目录 一、函数vTaskList() 1、 函数说明 2、返回的字符串表格说明 3、函数的使用方法 二、 vTaskList()的应用示例 1、示例功能、项目设置 2、软件设计 (1)main.c (2)freertos.c (3)FreeRTOSConf…...
ffmpeg 添加 nvenc支持
运行以下命令检查当前 FFmpeg 是否支持 hevc_nvenc: ffmpeg -hide_banner -encoders | grep nvenc 若输出包含 hevc_nvenc,说明编码器已集成,问题出在驱动或参数配置若无输出,则需要手动编译 ffmpeg 安装显卡驱动、cuda和cudnn…...
锚定效应的应用-独立站优化价格打折显示-《认知偏差手册》
锚定效应的应用-独立站优化价格打折显示-《认知偏差手册》 先看结果:价格展示 https://atemplate.com/pricing 旧的打折价格展示 新的打折价格展示 锚定效应是什么? 人类在进行决策时,会过度偏重先前取得的资讯(这称为锚点&…...
红宝书第四十九讲:XSS/CSRF攻击防御策略解析
红宝书第四十九讲:XSS/CSRF攻击防御策略解析 资料取自《JavaScript高级程序设计(第5版)》。 查看总目录:红宝书学习大纲 XSS(跨站脚本):黑客把恶意代码塞进网页,当你打开页面时&am…...
Unity基于屏幕空间的鼠标拖动,拖动物体旋转
代码的核心在于,鼠标的屏幕偏移映射到物体的旋转角度,代码中是使用射线去检测的,检测帧间隔鼠标的位置对应物体上的旋转 未解决的问题:旋转都是相对的,怎么去处理,鼠标拖动物体,物体不动&#…...
Unity3D 测试驱动开发(TDD)框架设计
前言 针对Unity3D测试驱动开发(TDD)框架的设计,需要结合Unity引擎特性与TDD核心原则,构建可维护、高效且与开发流程深度集成的测试体系。以下是分层次的框架设计方案: 对惹,这里有一个游戏开发交流小组&a…...
Google Mock(GMock):C++单元测试的高效模拟框架详解
标题: Google Mock(GMock):C单元测试的高效模拟框架详解 摘要: Google Mock(GMock)是C单元测试中的核心工具,能够高效隔离外部依赖并验证复杂交互逻辑。本文详细介绍了GMock的核心…...
智慧城市气象中台架构:多源天气API网关聚合方案
在开发与天气相关的应用时,获取准确的天气信息是一个关键需求。万维易源提供的“天气预报查询”API为开发者提供了一个高效、便捷的工具,可以通过简单的接口调用查询全国范围内的天气信息。本文将详细介绍如何使用该API,以及其核心功能和调用…...
vue3项目启动bug
项目场景: vue3 项目启动运行 问题描述 终端无法正常启动运行 C:/user/adminC:/user/admin> npm run dev > student_status_vue30.0.0 dev > vite原因分析: 暂无 解决方案: 在当前项目目录下运行: npx vite --host…...
逻辑回归 (Logistic Regression)
文章目录 逻辑回归 (Logistic Regression)问题的引出Sigmoid function逻辑回归的解释决策边界 (Decision boundary)逻辑回归的代价函数机器学习中代价函数的设计1. 代价函数的来源(1)从概率模型推导而来(统计学习视角)(…...
SLAM | 激光SLAM中的退化问题
在激光SLAM中,判断退化环境的核心是通过数学建模分析环境特征对位姿估计的约束能力。除了LOAM中提出的退化因子D外,还存在多种基于表达式和阈值设定的方法。以下是几种典型方法及其实现原理: 1. 协方差矩阵特征值分析 原理:通过分析点云协方差矩阵的特征值分布,判断环境中…...
【已更新】2025华中杯B题数学建模网络挑战赛思路代码文章教学:校园共享单车的调度与维护问题
完整内容请看文末最后的推广群 先展示问题一代码和结果、再给出四个问题详细的模型 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from matplotlib.font_manager import FontPropertiesfrom matplotlib import rcParams# 设…...
[特殊字符] 基于大模型的地理领域文档中英互译自动化方案
一、📌 项目背景与挑战 在全球化商业环境中,跨国企业经常面临专业文档翻译的痛点: 传统方式效率低下:专业文档翻译需要专人耗时数小时甚至数天 专业术语准确性难保证:地理领域术语的特殊性 格式保持困难:…...
破局遗留系统!AI自动化重构:从静态方法到Spring Bean注入实战
在当今快速发展的软件行业中,许多企业都面临着 Java 遗留系统的维护和升级难题。这些老旧系统往往采用了大量静态方法,随着业务的不断发展,其局限性日益凸显。而飞算 JavaAI 作为一款强大的 AI 工具,为 Java 遗留系统的重构提供了全新的解决方案,能够实现从静态方法到 Spring B…...
高度图(Heightmap)
高度图的数学组成与建模方法 高度图(Heightmap)是一种基于规则网格的地形表示方法,其数学本质是将三维地形简化为二维离散函数,通过高度值的存储和插值实现地形重建。以下从数学建模角度系统阐述其组成原理及关键技术。 一、基础…...
2025第十七届“华中杯”大学生数学建模挑战赛题目B 题 校园共享单车的调度与维护问题完整思路 模型 代码 结果分享
共享单车目前已成为不少大学校园内学生的重要通勤工具,给学生的出行带来了极大便利,但同时也产生了一些问题,如共享单车投放点位设计不合理,高峰期运力不足等。 某高校委托一公司在校园内投放了一批共享单车,经过一段时…...
ESP32-idf学习(一)搭建环境和点灯
一、前言 先说一下查到的数据(不保证准确): 1、连续四年Wi-Fi MCU全球市场份额第一,产品应用于智能家居、工业自动化、医疗健康等泛IoT领域,2024 年营收突破 20 亿元(同比 40%),…...
超详细VMware虚拟机扩容磁盘容量-无坑版
1.环境: 虚拟机:VMware Workstation 17 Pro-17.5.2 Linux系统:Ubuntu 22.04 LTS 2.硬盘容量 虚拟机当前硬盘容量180G -> 扩展至 300G 3.操作步骤 (1)在虚拟机关机的状态下,虚拟机硬盘扩容之前必…...
多线程(进阶续~)(内涵面试题)
目录 一、JUC 的常见类 1. Callable 接口 2. ReentrantLock ReentrantLock 的用法: ReentrantLock 和 synchronized 的区别: 何时使用何锁: 3. 原子类 4. 线程池 ExecutorService 和 Executors ThreadPoolExecutor 5. 信号量 Semaphore 6. C…...
OpenGL shader开发实战学习笔记:第十一章 立方体贴图和天空盒
1. 立方体贴图和天空盒 1.1. 什么是立方体贴图 立方体贴图(Cube Map)是一种纹理,它由六个纹理图像组成,每个纹理图像对应一个方向。这些方向通常是立方体的六个面,分别是“前面”,“后面”,“…...
双指针算法(二)
目录 一、力扣611——有效三角形的个数 二、牛客网3734——和为S的两个数字 三、力扣15——三数之和 四、力扣18——四数之和 一、力扣611——有效三角形的个数 题目如下: 这里我们先认识如何判断是个三角形,ab>c,ac>b,bc>a即为三角形 这里…...
docker Windows 存放位置
docker Windows 存放位置 镜像文件层可能是这 docker的overlay2中存的都是什么and如何清理/var/lib/docker/overlay2_docker overlay 是什么目录-CSDN博客 存的是我们的镜像文件和容器内的文件 \\wsl.localhost\docker-desktop\mnt\docker-desktop-disk\data\docker\overla…...
每日一题(小白)暴力娱乐篇31
首先分析一下题意,需要求出2024的因子,因为我们要求与2024互质的数字,为什么呢?因为我们要求互质说直白点就是我和你两个人没有中间人,我们是自然而然认识的,那我们怎么认识呢,就是直接见面对吧…...
FastAPI与SQLAlchemy数据库集成
title: FastAPI与SQLAlchemy数据库集成 date: 2025/04/17 15:33:34 updated: 2025/04/17 15:33:34 author: cmdragon excerpt: FastAPI与SQLAlchemy的集成通过创建虚拟环境、安装依赖、配置数据库连接、定义数据模型和实现路由来完成。核心模块包括数据库引擎、会话工厂和声…...
SQL刷题记录贴
1.题目:现在运营想要对用户的年龄分布开展分析,在分析时想要剔除没有获取到年龄的用户,请你取出所有年龄值不为空的用户的设备ID,性别,年龄,学校的信息。 错误:select device_id,gender,age,un…...
消息队列实际结点数与计数器不一致问题分析
问题描述 协议栈 PDCP线程任根据外部消息,维护一个链表式的PDCP PDU消息队列,以及一个变量count来记录消息队列中结点数。 当收到 从NG接口业务数据时,PDCP线程会向PDCP PDU消息队列中添加大量节点,消息队列的count值相应的增加…...
AI预测3D新模型百十个定位预测+胆码预测+去和尾2025年4月17日第55弹
从今天开始,咱们还是暂时基于旧的模型进行预测,好了,废话不多说,按照老办法,重点8-9码定位,配合三胆下1或下2,杀1-2个和尾,再杀6-8个和值,可以做到100-300注左右。 (1)定…...
C++23 新特性:std::size_t 字面量后缀 Z/z
在 C23 中,引入了一个非常实用的新特性:为 std::size_t 类型的字面量提供了新的后缀 Z 和 z。这一改进使得在代码中声明和使用 std::size_t 类型的字面量变得更加直观和便捷。 1. 背景与动机 在之前的 C 标准中,std::size_t 是一种非常常用…...
【裁员感想】
裁员感想 今天忽然感觉很emo 因为知道公司要裁员 年中百分之10 年末百分十10 我知道这个百分20会打到自己 所以还挺不开心的 我就想起 我的一个亲戚当了大学老师 我觉得真的挺好的 又有寒暑假 又不是很累 薪资也不低 又是编制 同时也觉得自己很失败 因为对自己互联网的工作又…...
CSS例子 > 图片瀑布流布局(vue2)
<template><div class"container"><!-- 临时容器用于计算高度 --><div v-if"!isLayoutReady" class"temp-container"><divv-for"(item, index) in list":key"temp- index":ref"(el) > …...
Python 获取淘宝券后价接口的详细指南
在电商领域,淘宝作为国内领先的电商平台,提供了丰富的商品和优惠活动。对于开发者来说,获取淘宝商品的券后价是一个极具价值的功能,可以帮助用户更好地进行购物决策,同时也为相关应用和服务提供了数据支持。本文将详细…...
零服务器免备案!用Gitee代理+GitHub Pages搭建个人博客:绕过443端口封锁实战记录
#GitHub Pages #Gitee代理 #SSH密钥管理 #Jekyll博客 #网络穿透 场景:自己的电脑没有添加github的ssh代理,只有gitee的代理 实现效果,在公网可以运行个人博客。在本地更改内容后公网同步更新。 最开始的模板 最终实现的博客模板࿱…...
如何新建一个空分支(不继承 master 或任何提交)
一、需求分析: 在 Git 中,我们通常通过 git branch 来新建分支,这些分支默认都会继承当前所在分支的提交记录。但有时候我们希望新建一个“完全干净”的分支 —— 没有任何提交,不继承 master 或任何已有内容,这该怎么…...
[终极版]Javascript面试全解
this指向 执行上下文 是代码执行时的运行环境作用域 是变量和函数的可访问性规则(静态);全局、函数和块状;内层可访问外层,外层不能访问内层词法环境 是实现作用域的引擎内部机制(静态) 执行上…...
day30图像处理OpenCV
文章目录 一、图像预处理9. 图像掩膜9.1 制作掩膜9.2 与运算1.原理2.语法 9.3 颜色替换9.4案例 一、图像预处理 9. 图像掩膜 创建的掩膜方便我们对目标区域进行操作。 9.1 制作掩膜 掩膜通常是一个二值化图像,并且与原图像的大小相同。其中目标区域被设置为1&am…...
蓝桥杯 10.拉马车
拉马车 原题目链接 题目描述 小时候你玩过纸牌游戏吗? 有一种叫做 “拉马车” 的游戏,规则简单但非常吸引小朋友。 游戏规则简述如下: 假设参加游戏的小朋友是 A 和 B,游戏开始时,他们得到的随机纸牌序列如下&am…...
Java学习总结-Junit单元测试
单元测试: 就是针对最小功能的单元:方法,编写测试代码对其进行正确性测试。 之前我们怎么测试的:在main方法中调用其他方法,一个方法测试失败可能导致其他方法得不到测试,无法得到测试报告。 Junit单元测…...
代理IP:城市文化IP打造的隐形加速器
目录 一、解码代理IP:数字时代的"变身术" 1.1 工作原理探秘 1.2 主要类型对比 二、城市文化IP的打造密码 2.1 核心要素拆解 2.2 成功案例启示 三、代理IP的五大赋能场景 3.1 文化数据采集 3.2 目标市场定位 3.3 品牌传播突破 3.4 版权保护监控 …...
链式数据存储系统
目录 系统说明 服务端的模块设计 存储数据说明 服务端设计-程序入口(main) 数据库的连接-mysql包的编写 数据的加密-hash文件的编写 数据传递格式-proto文件的编写 具体实现方法-controller包的编写 日志的打印-logs包的编写 扩展服务端 系统说…...