当前位置：首页 > news >正文

大数据开发的基本流程

news 来源：原创 2025/7/20 18:12:23

大数据开发通常围绕数据的“采集 → 存储 → 处理 → 分析 → 展示”几个阶段来展开。下面是一个典型的大数据开发基本流程（适用于离线或实时场景）：

一、数据采集（Data Ingestion）

目标：从各种来源采集原始数据

来源	技术或工具
日志 / 文件	Flume、Logstash、Filebeat、Python 脚本、FTP
数据库	Sqoop（批量）、Debezium（实时）、自定义 Python 脚本
消息队列	Kafka、Pulsar、RabbitMQ、MQTT
API 抓取	Python requests、Airflow 调度、爬虫
IoT/实时数据	Kafka、Flume、NiFi、Socket、MQTT

二、数据存储（Data Storage）

目标：将采集到的数据合理地存储，支持后续处理

类型	工具/技术	适合场景
分布式文件系统	HDFS、S3、OSS	原始日志、大文件、批处理
列式存储	HBase、Kudu	高并发写入、大宽表
数据仓库	Hive、ClickHouse、Presto、Doris	分析型查询
数据湖	Apache Iceberg、Delta Lake	数据版本管理、湖仓一体
关系型数据库	MySQL、PostgreSQL	元数据管理、小规模数据存储

三、数据处理（Data Processing）

目标：清洗、转换、聚合原始数据，形成有用数据

类型	技术	描述
批处理	PySpark、Hive、Flink Batch、Dask	对历史数据的周期性处理
流处理	Kafka Streams、Flink、Spark Streaming、Faust	实时数据处理，低延迟
ETL	Airflow、NiFi、Luigi、Python 脚本	自动化数据清洗和转换流程
数据质量校验	Great Expectations、custom Python code	确保数据准确一致

四、数据分析与挖掘（Analytics & ML）

目标：统计分析、机器学习、预测建模等

类型	技术
数据分析	Pandas、Spark SQL、Presto
数据可视化	Superset、Tableau、PowerBI、Matplotlib、Plotly
机器学习	Spark MLlib、Scikit-learn、XGBoost、TensorFlow、PyTorch
大数据推荐/画像	Embedding + Recall + Ranking，GraphX

五、数据服务与展示（Data Serving & Visualization）

目标：将数据结果以服务/页面/API 等形式展现

类型	技术	说明
可视化平台	Superset、Grafana、Tableau	展示图表、监控面板
REST API	FastAPI、Flask、Django	提供数据查询接口
BI 报表	FineBI、DataFocus、SmartBI	面向业务人员
Web Dashboard	Vue、React + ECharts	自研展示前端

六、调度与运维（Orchestration & DevOps）

目标：管理整个大数据流程的自动化与稳定性

功能	工具
工作流调度	Airflow、Azkaban、DolphinScheduler
集群资源管理	YARN、K8s、Mesos
日志监控	ELK、Prometheus + Grafana
任务容错	Retry、告警、Checkpoints（如 Flink）

大数据开发的基本流程

大数据开发通常围绕数据的“采集 → 存储 → 处理 → 分析 → 展示”几个阶段来展开。下面是一个典型的大数据开发基本流程（适用于离线或实时场景）： 一、数据采集（Data Ingestion） 目标：从各种来源采集原始…...

编程日记 2025/7/20 18:12:23

关于创建UNIX/Linux daemon进程的笔记

Linux daemon程序简单说就是Linux后台服务进程。传统的、标准的创建方法：2次fork setsid 详细步骤进程1（父进程）调用fork，创建子进程2，进程1退出。 1）这个步骤是为第二部做铺垫。 2）此时&a…...

编程日记 2025/7/16 10:31:26

国产紫光同创FPGA实现SDI视频编解码，基于HSSTHP高速接口，提供3套工程源码和技术支持

目录 1、前言工程概述免责声明 2、相关方案推荐我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目本博已有的 SDI 编解码方案本方案在Xilinx--Artix7系列FPGA上的应用本方案在Xilinx--Kintex系列FPGA上的应用本方案在Xilinx--Zynq系列FPGA上的应用本方案在Xilinx--U…...

编程日记 2025/6/29 10:57:10

Oracle--SQL性能优化与提升策略

前言：本博客仅作记录学习使用，部分图片出自网络，如有侵犯您的权益，请联系删除一、导致性能问题的内在原因系统性能问题的底层原因主要有三个方面： CPU占用率过高导致资源争用和等待内存使用率过高导致内存不足并需…...

编程日记 2025/6/29 11:59:27

drupal7可以从测试环境一键部署到生产环境吗

Drupal 7 本身并没有“内建的一键部署功能”，所以“从测试环境一键部署到生产环境”不能完全自动化完成，尤其是涉及数据库、配置和文件系统时。但你可以通过一些工具和方法实现接近“一键部署”的效果 ✅ 🚧 为什么不能直接一键部署&#xff…...

编程日记 2025/7/20 17:51:43

vue项目中axios统一或单独控制接口请求时间

先说统一这里将请求时间统一控制在12秒 // 使用由库提供的配置的默认值来创建实例 // 此时超时配置的默认值是 0 const axiosInstance axios.create()// 覆写库的超时默认值 // 现在，在超时前，所有请求时间统一控制在10秒 axiosInstance.defaults.ti…...

编程日记 2025/7/20 17:41:13

二、基础防护层实现 1. 浏览器特征伪装 opts : append(chromedp.DefaultExecAllocatorOptions[:],// 禁用自动化特征chromedp.Flag("disable-blink-features", "AutomationControlled"),chromedp.Flag("useAutomationExtension", false),// 随…...

编程日记 2025/7/20 17:50:37

OpenLDAP 管理 ELK 用户

文章目录一、新建 ELK 相关用户组二、配置 Elasticsearch2.1 修改 elasticsearch.yml 配置2.2 使用 API 接口建立角色和用户映射三、Kibana 验证用户登录一、新建 ELK 相关用户组由于后续要将 LDAP 的用户与 ELK 的角色进行映射，所以需先创建几个以 ELK 的角色…...

编程日记 2025/7/20 17:39:07

深度解析MQTT源码架构与AIGC场景融合实战

一、结构体内存优化：支撑千万级设备连接 1.1 紧凑内存布局设计 classDiagramclass MQTTClient_message {char struct_id[4]int struct_versionvoid* payloadint payloadlenint qosint retainedint dupint msgidMQTTProperties properties}note for MQTTClient_mes…...

编程日记 2025/7/20 17:59:50

Node.js 操作 ElasticSearch 完整指南：从安装到实战

本文将手把手教你如何搭建 ElasticSearch 环境，并通过 Node.js 实现高效数据检索。包含 10 个可直接复用的代码片段，助你快速掌握搜索、聚合等核心功能！ 环境搭建篇 1. ElasticSearch 安装要点下载 es下载连接下载下来后，进…...

编程日记 2025/7/7 17:27:01

Python+区块链：如何打造智能化资产管理系统？

Python+区块链：如何打造智能化资产管理系统？在当今数字经济时代，区块链资产管理已成为金融科技、去中心化金融（DeFi）以及企业资金流转的关键应用。传统的资产管理往往依赖于中心化机构，存在数据透明度低、效率受限、管理成本高等问题，而区块链技术的出现，为资产管理提…...

编程日记 2025/6/29 10:54:21

Sentinel源码—8.限流算法和设计模式总结一

大纲 1.关于限流的概述 2.高并发下的四大限流算法原理及实现 3.Sentinel使用的设计模式总结 1.关于限流的概述保护高并发系统的三把利器：缓存、降级和限流。限流就是通过限制请求的流量以达到保护系统的目的，比如秒杀抢购。具体就是对并发请求进行限…...

编程日记 2025/6/29 9:40:54

SpringMVC入门

1、SpringMVC概念 SpringMVC是在Spring框架的基础上引入MVC模式的思想，SpringMVC即是一种框架，也是一种思想，将前后端彻底分离，后端不再需要关注前端的代码。前后端分工明确我们原先学习的MVC三层架构，MVC是web开发…...

编程日记 2025/6/29 11:23:34

MYSQL之库的操作

创建数据库语法很简单, 主要是看看选项(与编码相关的): CREATE DATABASE [IF NOT EXISTS] db_name [create_specification [, create_specification] ...] create_specification: [DEFAULT] CHARACTER SET charset_name [DEFAULT] COLLATE collation_name 1. 语句中大写的是…...

编程日记 2025/6/29 10:48:23

并发设计模式实战系列(3)：工作队列

🌟 大家好，我是摘星！ 🌟 今天为大家带来的是并发设计模式实战系列，第三章工作队列（Work Queue），废话不多说直接开始~ 目录一、核心原理深度拆解 1. 生产者-消费者架构 …...

编程日记 2025/6/29 11:32:22

已安装爱思助手和Apple相关驱动，但仍无法有线连接iPhone热点，且网络适配器没有Apple Mobile Device Ethernet，问题解决

已安装爱思助手和Apple相关驱动，但仍无法有线连接iPhone热点，且网络适配器没有Apple Mobile Device Ethernet 问题解决： 用爱思助手连接手机，点击工具箱 - iTunes及驱动点击高级修复在系统存储的旧驱动文件项右侧&#xff0…...

编程日记 2025/6/29 11:36:30

用 Go 优雅地清理 HTML 并抵御 XSS——Bluemonday

1、背景与动机只要你的服务接收并回显用户生成内容（UGC）——论坛帖子、评论、富文本邮件正文、Markdown 等——就必须考虑 XSS（Cross‑Site Scripting）攻击风险。浏览器在解析 HTML 时会执行脚本；如果不做清理&#…...

编程日记 2025/6/29 11:35:14

MySQL基本查询与数据操作全面解析

目录 1. CRUD操作概述 2. Create操作详解 2.1 表的创建 2.2 单行数据插入 2.3 多行数据插入 2.4 插入冲突处理 3. Retrieve操作详解 3.1 基础查询全列查询（慎用） 指定列查询表达式查询结果去重 3.2 条件查询（WHERE子句&#…...

编程日记 2025/7/18 3:30:37

《C++ 模板：泛型编程的核心》

C模板详解模板是C中实现泛型编程的重要特性，它允许你编写与数据类型无关的代码。模板可以分为函数模板和类模板两种。 1. 函数模板函数模板允许你定义一个可以处理多种数据类型的函数。基本语法 template <typename T> T functionName(T parameter1, T…...

编程日记 2025/6/29 10:32:54

Web3实战：从零开发你的ERC20代币合约

区块链技术的普及让代币发行不再是金融巨头的专利。本文将以Solidity 0.8.20和OpenZeppelin 5.0为技术栈，手把手教你开发具备铸造、销毁、权限管理等进阶功能的ERC20代币，并部署到以太坊Sepolia测试网。以下是完整开发路线图： 一、ERC20代币的…...

编程日记 2025/6/29 9:38:22

简述大疆无人机对接

文章目录概述MSDK对接MSDK简介MSDK集成步骤直播推流获取飞机实时数据 UX SDK上云API上云API简介上云API对接步骤Pilot上云Pilot怎么安装配置三方云平台地址直播获取飞机数据 Dock上云Dock上云简介直播方案设备管理如何对接多个飞机引用概述一般而言，对接大疆的…...

编程日记 2025/6/29 11:02:13

docker-compose搭建kafka

1、单节点docker-compose.yml version: 3 services:zookeeper:image: zookeeper:3.8container_name: zookeeperports:- "2181:2181"volumes:- ./data/zookeeper:/dataenvironment:ZOO_MY_ID: 1ZOO_MAX_CLIENT_CNXNS: 100kafka:image: bitnami/kafka:3.7container_na…...

编程日记 2025/6/29 9:38:12

FramePack V2版 - 支持首尾帧生成，支持LoRA，支持批量，支持50系显卡，一个强大的AI视频生成软件本地一键整合包下载

FramePack 是斯坦福大学主导开发的视频生成框架，是一种用于视频生成的下一帧（下一帧部分）预测神经网络结构，可以逐步生成视频。FramePack 主要开发者之一，就是业内大名鼎鼎的张吕敏大佬，AI领域的“赛博佛祖…...

编程日记 2025/7/18 9:30:10

开发网页程序时预览时遇到跨域问题解决方法

CocosCreator 开发h5游戏要用接口、开发html程序网页程序在chrome中预览时都会遇到跨域问题,怎么办? 网上有很多方法,主要是通过服务器端去配置,但那个相对来说消弱安全问题,这个不建议,因为是开发,个人行业,我们知道问题所以,简单点就主要是通过chrome的参数来禁用: 关闭 Ch…...

编程日记 2025/6/29 11:34:35

【音视频】FFmpeg内存模型

FFmpeg内存模型从现有的Packet拷贝一个新Packet的时候，有两种情况： 两个Packet的buf引用的是同一数据缓存空间，这时候要注意数据缓存空间的释放问题；两个Packet的buf引用不同的数据缓存空间，每个Packet都有数据缓存…...

编程日记 2025/7/10 11:08:54

基于nlohmann/json 实现从C++对象转换成JSON数据格式

C对象的JSON序列化与反序列化基于JsonCpp库实现C对象序列化与反序列化 JSON 介绍 JSON作为一种轻量级的数据交换格式，在Web服务和应用程序中广泛使用。 JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读…...

编程日记 2025/7/15 18:37:18

在线视频转 AVI 的便捷之选,便捷操作,无需下载软件,在线使用

在视频处理的众多需求中，将视频转换为 AVI 格式是不少用户的刚需。小白工具网（https://www.xiaobaitool.net/videos/convert-to-avi/ ）的在线视频转 AVI 功能，以其显著优势，多格式支持、便捷操作、数据安全保障以及广泛…...

编程日记 2025/6/29 11:53:27

【MCP Node.js SDK 全栈进阶指南】初级篇（3）：MCP资源开发基础

引言在前两篇文章中，我们已经详细介绍了MCP开发环境的搭建以及基础服务器开发。本文作为MCP TypeScript-SDK系列的第三篇，将聚焦于MCP资源开发基础，包括静态资源与动态资源的开发、资源模板设计与参数提取、资源列表与发现机制，以及常见资源类型与最佳实践。通过本文的学…...

编程日记 2025/6/29 10:01:38

L2-1、打造稳定可控的 AI 输出 —— Prompt 模板与格式控制

一、为什么需要 Prompt 模板？ 在与 AI 模型交互时，我们经常会遇到输出不稳定、格式混乱的问题。Prompt 模板帮助我们解决这些问题，通过结构化的输入指令来获得可预测且一致的输出结果。模板的作用主要体现在： 固定输出格式&am…...

编程日记 2025/7/17 9:57:54

Java集成Zxing和OpenCV实现二维码生成与识别工具类

Java集成Zxing和OpenCV实现二维码生成与识别工具类本文将介绍如何使用Java集成Zxing和OpenCV库，实现二维码的生成和识别功能。识别方法支持多种输入形式，包括File对象、文件路径和Base64编码。一、环境准备添加Maven依赖 <dependencies><…...

编程日记 2025/6/29 11:45:37

jenkins pipeline ssh协议报错处理

一、jenkins版本 jenkins：2.492.3 openssh：OpenSSH_9.8p1, OpenSSL 3.3.1 # grep jenkins /etc/passwd jenkins:x:996:994:Jenkins Automation Server:/var/lib/jenkins:/bin/false 二、报错三、处理步骤1：手动添加目标主机密钥到Jenk…...

编程日记 2025/7/19 10:22:07

当OCR遇上“幻觉”：如何让AI更靠谱地“看懂”文字？

在数字化的世界里，OCR（光学字符识别）技术就像给机器装上了“电子眼”。但当这项技术遇上大语言模型，一个意想不到的问题出现了——AI竟然会像人类一样产生“幻觉”。想象一下，当你拿着模糊的财务报表扫描件时&#xff…...

编程日记 2025/6/29 10:34:42

vue watch监听路由，第一次进入不触发解决办法

“第一次进入的时候没触发，第二次就触发了”非常典型，它印证了路由监听（无论是 watch $route 还是 beforeRouteUpdate）主要是为了监听变化，而不是处理首次加载时的初始状态。当你通过 this.$router.push 导航到一个新…...

编程日记 2025/6/29 12:17:05

JVM考古现场（二十四）：逆熵者·时间晶体的永恒之战

"警告！时间晶体正在吞噬GC日志！" 我腰间的太极八卦镜突然迸发出刺目的量子辉光，终南山之巅的星宿大阵浮现出诡异的四维克莱因瓶拓扑——这是逆熵者文明穿越时空的拜帖！ 楔子：时间晶体的觉醒 🕯️…...

编程日记 2025/6/29 11:32:27

spring中使用netty-socketio部署到服务器（SSL、nginx转发）

spring中使用netty-socketio部署到服务器（SSL、nginx转发） 本文实现前端socket.io-client连接后端netty-socketio，并且部署到服务器上的示例，以及说明一些实现过程中可能遇到的错误。 socketio默认基于的路径是/socket.io 传输…...

编程日记 2025/6/29 10:14:24

qt.tlsbackend.ossl: Failed to load libssl/libcrypto.

我的环境是windows，QT6.3.2（msvc2019_64/mingw_64） 出错原因 QT没有正确加载OpenSSL。解决过程 1、确保安装的有openssl。文章结尾有个注意，是其他方式安装过openssl，环境变量有，但是QT找不到的问题。…...

编程日记 2025/6/29 10:33:54

【Python爬虫基础篇】--3.cookie和session

目录 1.cookie 1.1.定义 1.2.参数 1.3.分类 2.session 3.使用cookie登录微博 4.使用session登录 1.cookie 由于http是一个无状态的协议，请求与请求之间无法相互传递或者记录一些信息，cookie和session正是为了解决这个问题而产生。例子&#xff1…...

编程日记 2025/6/29 9:38:24

uView的u-modal不显示问题

问题分析：在项目中，其他页面显示正常，在这个页面显示不正常。问题解决： 一般的原因，诸如层级遮挡控制器true后，被其他逻辑又改为了false最可恨的一个原因 :showshow被编辑器的提示功能误写成了v-modal&qu…...

编程日记 2025/6/29 10:05:04

联易融科技：以科技赋能驱动经营反转与价值重估

行业去重周期下,轻量化发展成破局关键。当前,供应链金融行业正经历从"规模扩张"到"价值深耕"的转型期,降本增效、轻资产运营成为行业共识。联易融公告表示，截至2024年末,公司现金储备高达51亿元,显示出财务状况健康良好,流动资金持续充裕。董…...

编程日记 2025/7/16 19:50:29

Office文档图片批量提取工具

Office.Files.Images 是一款专注于从 Word、Excel、PPT 等 Office 文档中批量提取图片的轻量级工具，支持 .docx、.xlsx、.pptx 格式文件。该软件体积仅 ‌343KB‌，无需安装即可运行，通过拖拽操作实现快速解析与导出，尤其适合需批量…...

编程日记 2025/7/18 11:07:50

Python 设计模式：回调模式

1. 什么是回调函数？ 回调函数是指作为参数传递给另一个函数的函数。当这个函数执行到某个特定的点时，它会调用这个回调函数。回调函数通常用于处理异步操作、事件处理或在某些条件下执行特定的操作。回调函数的特点： 作为参数传递&#x…...

编程日记 2025/7/14 17:57:31

DCDC芯片，boost升压电路设计，MT3608 芯片深度解析：从架构到设计的全维度技术手册

一、硬件架构解析：电流模式升压 converter 的核心设计（一）电路拓扑与核心组件 MT3608 采用恒定频率峰值电流模式升压（Boost）转换器架构，核心由以下模块构成：集成功率 MOSFET 内置 80mΩ 导通电阻的 N 沟道 MOSFET，漏极（Drain）对应引脚 SW，源极（Source）内部接…...

编程日记 2025/6/29 10:29:44

大数据学习（112）-HIVE中的窗口函数

🍋🍋大数据学习🍋🍋 🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一…...

编程日记 2025/6/29 9:54:13

Hive学习

一、Hive 核心原理 1. Hive 架构与执行流程 Hive 是基于 Hadoop 的数据仓库工具，将 SQL 转化为分布式计算任务（MapReduce/Tez/Spark），核心组件如下： 元数据存储（Metastore）：存储表…...

编程日记 2025/7/18 21:48:49

前端开发核心知识详解：Vue2、JavaScript 与 CSS

一、Vue2 核心知识点 1. Vue2 的双向绑定原理 Vue2 实现双向绑定主要依赖数据劫持与发布 - 订阅者模式。利用Object.defineProperty方法对数据对象的属性进行劫持，为每个属性定义getter和setter。getter用于收集依赖，当视图中使用到该属性时&#xf…...

编程日记 2025/6/29 12:12:01

仅追加KV数据库

仅追加KV数据库 6.1 我们将要做什么在本章中，我们将创建一个基于文件的键值存储（KV Store），其核心是一个写时复制（Copy-on-Write, CoW）B 树。这种设计的目标是实现数据的持久性和原子性。 1. 设计概述 …...

编程日记 2025/6/29 19:34:16

【Java面试笔记：基础】8.对比Vector、ArrayList、LinkedList有何区别？

在Java中，Vector、ArrayList和LinkedList均实现了List接口，但它们在线程安全、数据结构、性能特性及应用场景上存在显著差异。 1. Vector、ArrayList 和 LinkedList 的区别 Vector： 线程安全：Vector 是线程安全的动态数组&#…...

编程日记 2025/6/29 19:37:36

Git分支管理方案

成都众望智慧有限公司Git分支管理方案采用轻量级Git Flow 敏捷版本控制策略，在保证稳定性的同时提升开发效率。以下是优化后的方案： 1. 精简分支模型（相比6-8人团队减少分支层级） 分支类型作用生命周期devops生产环境代码&am…...

编程日记 2025/6/29 19:33:52

SQL Tuning Advisor

什么是SQL Tuning Advisor STA可以用来优化那些已经被发现的高负载SQL. 默认情况下, Oracle数据库在自动维护窗口中自动认证那些有问题的SQL并且执行优化建议，找寻提升高负载SQL执行计划性能的方法. ** 如何查看自动优化维护窗口产生的报告? ** SQL> set ser…...

编程日记 2025/6/29 19:34:47

联易融出席深圳链主企业供应链金融座谈会，加速对接票交所系统

近日，深圳市委金融办组织召开全市链主企业供应链金融高质量发展座谈会。联易融作为供应链金融企业代表，与虾皮信息科技、电子元器件和集成电路国际交易中心等代表性机构以及行业协会、金融机构参加了会议。发展供应链金融是破解中小微企业融资难、融资…...

编程日记 2025/6/29 19:42:12