当前位置： 首页 > news >正文

在大数据开发中ETL是指什么？

news 来源：原创 2025/8/4 8:22:54

hello宝子们...我们是艾斯视觉擅长ui设计和前端数字孪生、大数据、三维建模、三维动画10年+经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩!

在数字经济时代，数据已成为企业最核心的资产。然而，分散在业务系统、日志文件和外部数据源中的原始数据，需要经过一系列加工处理才能转化为有价值的洞察。这一过程的核心环节——ETL（Extract, Transform, Load），正是大数据开发领域的基石。本文将系统解析ETL在大数据场景下的内涵、挑战、技术体系及未来趋势，为数据工程师提供从理论到落地的完整指南。

一、ETL的本质与价值重构

ETL并非简单的数据搬运工具，而是一场从混沌到有序的数据革命。其核心价值体现在三个维度：

  1. 数据融合：打破数据孤岛，整合结构化（如MySQL）、半结构化（如JSON日志）和非结构化（如图像）数据；
  2. 质量提升：通过清洗、去重、标准化等操作，将原始数据转化为可信的分析资产；
  3. 价值释放：为BI报表、机器学习或实时决策提供统一的数据服务层。

在大数据场景中，ETL的边界被重新定义：传统ETL聚焦批量处理，而现代ETL需同时支持流处理（如Kafka实时消费）、异构数据源对接（如NoSQL）和云原生架构。

二、大数据ETL的核心挑战

当数据量从GB跃升至PB级时，传统ETL工具（如Informatica）常面临性能瓶颈。大数据ETL需应对四大挑战：

  1. 规模压力：单节点架构无法处理海量数据，需采用分布式计算框架；
  2. 复杂度爆炸：多源异构数据的关联转换逻辑呈指数级增长；
  3. 实时性需求：从T+1到分钟级甚至秒级响应的转型压力；
  4. 成本优化：如何在资源消耗与性能之间找到平衡点。

例如，某电商企业每日需处理数亿条用户行为日志，传统ETL作业耗时超过8小时，通过Spark内存计算优化后缩短至90分钟，但资源成本上升35%，体现了效率与成本的权衡艺术。

三、ETL流程的现代化解构

经典的ETL三阶段在大数据场景下演变为更精细的流水线：

1. Extract阶段进化

  • 增量抽取：基于时间戳或CDC（Change Data Capture）工具（如Debezium）实现实时捕获；
  • 分布式采集：使用Flume/Logstash集群并行抓取日志；
  • 元数据管理：通过Apache Atlas建立数据源血缘图谱。

2. Transform阶段创新

  • 复杂事件处理：利用Flink处理欺诈检测等实时规则；
  • 数据治理嵌入：在转换层实施数据质量规则（如Great Expectations库）；
  • 特征工程集成：将机器学习特征计算（如TF-IDF）融入ETL流程。

3. Load阶段变革

  • 分层存储：热数据入Redis，温数据存HBase，冷数据归档至S3；
  • ACID兼容：通过Hive LLAP或Presto实现近实时查询；
  • 数据湖架构：原始数据直接入S3，转换后存入Delta Lake或Iceberg。
四、技术选型与工具链构建

大数据ETL工具生态呈现多元化特征，需根据场景组合使用：

场景类型工具组合示例优势说明
批量处理Spark + Oozie + HDFS处理PB级数据，成本效益高
流式处理Flink + Kafka + Elasticsearch端到端延迟<5秒
云原生AWS Glue + Lambda + S3无服务器架构，按需付费
复杂数据治理Talend + Apache Atlas + DataHub元数据全生命周期管理

实践建议：

  • 采用Airflow构建DAG工作流，提升可维护性；
  • 使用Parquet/ORC列式存储减少I/O消耗；
  • 通过Spotify的Scio库实现Scala与Java混合编程。
五、ETL性能优化实战指南
  1. 并行度调优：
    • Spark中设置spark.sql.shuffle.partitions=200（默认200，需根据数据量调整）；
    • Flink调整taskmanager.numberOfTaskSlots匹配CPU核心数。
  2. 内存管理：
    • 设置Spark executor内存为--executor-memory 8g --executor-cores 4；
    • 避免Shuffle操作中的OOM错误，使用Kryo序列化。
  3. 数据倾斜处理：
    • 对key进行加盐处理（如key + random_suffix）；
    • 使用Spark的repartitionAndSortWithinPartitions优化排序。

案例：某金融客户通过优化Shuffle算子，将每日对账作业从4小时缩短至45分钟，资源利用率提升60%。

六、ETL与数据治理的融合

现代ETL流程已超越单纯的数据搬运，成为数据治理的关键环节：

  1. 数据血缘追踪：通过Apache Atlas建立从源表到目标表的转换图谱；
  2. 质量规则引擎：在Transform阶段嵌入Great Expectations校验；
  3. 合规审计：利用Ranger实现字段级访问控制；
  4. 元数据管理：通过DataHub构建企业级知识图谱。
七、未来趋势与技术展望
  1. ELT模式兴起：Snowflake等云数仓支持直接在存储层转换数据，减少ETL复杂度；
  2. 自动化ETL：利用机器学习（如Auto-ETL工具）自动生成转换逻辑；
  3. 边缘计算整合：在IoT场景实现端侧数据预处理；
  4. 湖仓一体架构：Delta Lake与Iceberg模糊ETL边界，实现存算分离。
结语

大数据时代的ETL已演变为包含数据采集、质量治理、实时处理在内的复杂生态系统。工程师需兼具分布式系统调优、数据建模和云原生技术等多维度能力。随着技术的演进，ETL将逐渐从显性流程转变为隐式的智能数据流水线，但其作为数据价值挖掘第一公里的核心地位，仍将长期不可动摇。未来的数据竞争，本质上是ETL能力的竞争——谁能更高效、更智能地完成从数据到智慧的跃迁，谁就将掌握数字时代的主动权。可私聊卫星wwwpscscn111。

hello宝子们...我们是艾斯视觉擅长ui设计和前端数字孪生、大数据、三维建模、三维动画10年+经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩!

相关文章：

在大数据开发中ETL是指什么？

hello宝子们...我们是艾斯视觉擅长ui设计和前端数字孪生、大数据、三维建模、三维动画10年经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩! 在数字经济时代&#xff0c;数据已成为企业最核心的资产。然而&#xff0c;分散在业务系统、日志文件…...

编程日记 2025/8/4 8:22:54

Centos操作系统安装及优化

Centos操作系统安装及优化 零、环境概述 主机名 centos版本 cpu 内存 Vmware版本 ip地址 test CentOS Linux release 7.6.1810 (Core) 2C 2G 15.5.1 10.0.0.10 一、介质下载 1、7.6版本下载 CentOS7.6标准版下载链接： https://archive.kernel.org/centos-vault/7.6.1810/i…...

编程日记 2025/7/29 23:43:47

2025年03月10日人慧前端面试（外包滴滴）

目录 普通函数和箭头函数的区别loader 和 plugin 的区别webpack 怎么实现分包&#xff0c;为什么要分包webpack 的构建流程变量提升react 开发中遇到过什么问题什么是闭包vue 开发中遇到过什么问题vue中的 dep 和 watcher 的依赖收集是什么阶段什么是原型链react setState 是同…...

编程日记 2025/8/1 5:43:56

NLP高频面试题（十）——目前常见的几种大模型架构是啥样的

深入浅出&#xff1a;目前常见的几种大模型架构解析 随着Transformer模型的提出与发展&#xff0c;语言大模型迅速崛起&#xff0c;已经成为人工智能领域最为关注的热点之一。本文将为大家详细解析几种目前常见的大模型架构&#xff0c;帮助读者理解其核心差异及适用场景。 1…...

编程日记 2025/8/4 8:19:12

【数据结构】栈(Stack)、队列(Queue)、双端队列(Deque) —— 有码有图有真相

目录 栈和队列 1. 栈&#xff08;Stack&#xff09; 1.1 概念 1.2 栈的使用&#xff08;原始方法&#xff09; 1.3 栈的模拟实现 【小结】 2. 栈的应用场景 1、改变元素的序列 2、将递归转化为循环 3、逆波兰表达式求值 4、括号匹配 5、出栈入栈次序匹配 6、最小栈…...

编程日记 2025/8/4 8:21:07

windows清除电脑开机密码，可保留原本的系统和资料，不重装系统

前言 很久的一台电脑没有使用了&#xff0c;开机密码忘了&#xff0c;进不去系统 方法 1.将一个闲置u盘设置成pe盘&#xff08;注意&#xff0c;这个操作会清空原来u盘的数据&#xff0c;需要在配置前将重要数据转移走&#xff0c;数据无价&#xff0c;别因为配置这个丢了重…...

编程日记 2025/8/4 6:48:18

NLP高频面试题（九）——大模型常见的几种解码方案

大模型常见的几种解码方案 在自然语言生成任务中&#xff0c;如何从模型生成的概率分布中选择合适的词汇&#xff0c;是影响文本质量的关键问题。常见的解码方法包括贪心搜索&#xff08;Greedy Search&#xff09;、束搜索&#xff08;Beam Search&#xff09;、随机采样&…...

编程日记 2025/8/4 8:19:12

「低延迟+快速集成：Amazon IVS如何重塑实时互动视频体验？」

引言&#xff1a;实时视频的爆发与开发痛点 随着直播电商、在线教育、云游戏的兴起&#xff0c;实时视频互动成为用户体验的核心。但自建视频服务面临高成本、高延迟、运维复杂等挑战。Amazon IVS&#xff08;Interactive Video Service&#xff09;作为亚马逊云科技推出的全托…...

编程日记 2025/8/4 8:16:51

JVM垃圾回收笔记02-垃圾回收器

文章目录 前言1.串行(Serial 收集器/Serial Old 收集器)Serial 收集器Serial Old 收集器相关参数-XX:UseSerialGC 2.吞吐量优先(Parallel Scavenge 收集器/Parallel Old 收集器)Parallel Scavenge 收集器Parallel Old 收集器相关参数-XX:UseParallelGC ~ -XX:UseParallelOldGC-…...

编程日记 2025/7/30 1:02:15

Agent Team 多智能体系统解析

引言 在人工智能技术高速发展的今天&#xff0c;"多智能体协作系统"&#xff08;Agent Team&#xff09;正成为突破效率瓶颈的关键技术。与传统的单体AI不同&#xff0c;这种由多个专业化智能体组成的协同网络&#xff0c;通过分工协作和动态调整&#xff0c;展现出…...

编程日记 2025/7/29 7:02:59

LintCode第1712题 - 和相同的二元子数组

描述 在由若干 0 和 1 组成的数组 A 中&#xff0c;有多少个和为 S 的非空子数组 样例 1: 输入&#xff1a;A [1,0,1,0,1], S 2 输出&#xff1a;4 解释&#xff1a; 如下面黑体所示&#xff0c;有 4 个满足题目要求的子数组&#xff1a; [1,0,1] [1,0,1] [1,0,1,0] [0,1,…...

编程日记 2025/7/30 1:14:12

网络HTTPS协议

Https HTTPS&#xff08;Hypertext Transfer Protocol Secure&#xff09;是 HTTP 协议的加密版本&#xff0c;它使用 SSL/TLS 协议来加密客户端和服务器之间的通信。具体来说&#xff1a; • 加密通信&#xff1a;在用户请求访问一个 HTTPS 网站时&#xff0c;客户端&#x…...

编程日记 2025/8/2 16:16:51

0322-数据库、前后端

前端 <!DOCTYPE html> <html> <head> <meta charset"UTF-8"> <title>Insert title here</title> <script srcjs/jquery-3.7.1.min.js></script> <script> //jquaryajax发起请求 //传参形式不同 post用data{}…...

编程日记 2025/8/4 1:23:14

六十天前端强化训练之第二十六天之Vue Router 动态路由参数大师级详解

欢迎来到编程星辰海的博客讲解 看完可以给一个免费的三连吗&#xff0c;谢谢大佬&#xff01; 目录 一、知识讲解 1. Vue Router 核心概念 2. 动态路由参数原理 3. 参数传递方案对比 二、核心代码示例 1. 完整路由配置 2. 参数接收组件 3. 导航操作示例 三、实现效果示…...

编程日记 2025/7/30 12:40:07

L2TP实验

一、拓朴图 二、实验配置 1.基础配置 1.1接口IP及服务配置 [PPPoE Client]interface GigabitEthernet 0/0/0 [PPPoE Client-GigabitEthernet0/0/0]service-manage all permit [NAS]interface GigabitEthernet 0/0/0 [NAS-GigabitEthernet0/0/0]ip add 192.168.0.2 24 [NAS-Gi…...

编程日记 2025/8/3 9:39:16

uni-app——数据缓存API

数据缓存API 在 uni-app 开发中&#xff0c;数据缓存 API 起着重要作用&#xff0c;它能够将需要的数据保存到本地&#xff0c;同时也提供了获取本地缓存数据、移除缓存数据以及清理缓存数据的功能。在实际项目里&#xff0c;数据缓存 API 常被用于存储会员登录状态信息、购物…...

编程日记 2025/8/3 18:24:02

不做颠覆者，甘为连接器，在技术叠层中培育智能新物种

--- 一、技术融合的必然&#xff1a;从“非此即彼”到“兼容共生” 当大模型的热浪撞上传统IT的礁石&#xff0c;企业智能化的真相浮出水面&#xff1a; 新旧技术的“量子纠缠”&#xff1a;MySQL与向量数据库共享数据总线&#xff0c;规则引擎与大模型共处决策链路 需求进…...

编程日记 2025/8/3 13:11:18

尝试在软考65天前开始成为软件设计师-计算机网络

OSI/RM 七层模型 层次名功能主要协议7应用层实现具体应用功能 FTP(文件传输)、HTTP、Telnet、 POP3(邮件)SMTP(邮件) ------- DHCP、TFTP(小文件)、 SNMP、 DNS(域名) 6表示层数据格式,加密,压缩.....5会话层建立,管理&终止对话4传输层端到端连接TCP,UDP3网络层分组传输&a…...

编程日记 2025/7/27 14:03:02

JDBC 连接字连接 KingbaseES支持主从负载均衡参数说明。

JDBC 连接字符串是用于连接 KingbaseES&#xff08;人大金仓数据库&#xff09;的&#xff0c;支持主从负载均衡。让我们逐一解析各个参数的作用&#xff0c;并探讨如何调整到最优。 参数解析 jdbc:kingbase8://10.10.14.19:54321/xxx_onlinejdbc:kingbase8://&#xff1a;指定…...

编程日记 2025/8/2 13:41:20

OpenCV旋转估计（4）生成一个字符串表示的匹配图函数 matchesGraphAsString()

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 matchesGraphAsString 函数是OpenCV库中的一部分&#xff0c;位于 cv::detail 命名空间下。这个函数的主要作用是生成一个字符串表示的匹配图&am…...

编程日记 2025/8/3 14:45:46

扣子平台知识库不能上传成功

扣子平台知识库不能上传成功 目录 扣子平台知识库不能上传成功查看模板复制头部到自己的excel中json数据转为excel或者csv&#xff08;一定使用excel&#xff0c;csv总是报错&#xff09; 查看模板复制头部到自己的excel中 json数据转为excel或者csv&#xff08;一定使用excel&…...

编程日记 2025/7/31 12:54:04

CIFAR10 数据集自定义处理方法

CIFAR10 数据集自定义处理方法 可以自定义训练集和测试集中不同类别的样本的数量。可用于模拟类别不平衡问题&#xff0c;存在混淆数据问题。 import torch import torchvision.datasets as dsets import torchvision.transforms as transforms from torch.utils.data import…...

编程日记 2025/7/31 10:49:35

当发现提示少文件，少目录时时，external.css的内容

[ERROR ]17:30:44| Loger: 处理群消息时发生错误&#xff1a;[Errno 2] No such file or directory: \\venv\\lib\\site-packages\\ncatbot\\utils\\template/external.css venv\\lib\\site-packages\\ncatbot\\utils\\template/external.css ["https://stackpath.boots…...

编程日记 2025/8/4 5:34:23

OpenHarmony 开源鸿蒙北向开发——linux使用make交叉编译第三方库

这几天搞鸿蒙&#xff0c;需要编译一些第三方库到鸿蒙系统使用。 头疼死了&#xff0c;搞了一个多星期总算搞定了。 开贴记坑。 一、SDK下载 1.下载 在linux下使用命令 wget https://cidownload.openharmony.cn/version/Master_Version/OpenHarmony_5.1.0.54/20250313_02…...

编程日记 2025/7/30 17:54:02

【计算机网络】网络简介

文章目录 1. 局域网与广域网1.1 局域网1.2 广域网 2. 路由器和交换机3. 五元组3.1 IP和端口3.2 协议3.3 协议分层 4. OSI七层网络协议5. TCP/IP五层模型5.1 TCP/IP模型介绍5.2 网络设备所在分层 6. 封装与分用6.1 数据包的称谓6.2 封装6.3 分用 1. 局域网与广域网 1.1 局域网 …...

编程日记 2025/7/24 18:31:22

k8s--集群内的pod调用集群外的服务

关于如何让同一个局域网内的Kubernetes服务的Pod访问同一局域网中的电脑上的服务。 可能的解决方案包括使用ClusterIP、NodePort、Headless Service、HostNetwork、ExternalIPs&#xff0c;或者直接使用Pod网络。每种方法都有不同的适用场景&#xff0c;需要逐一分析。 例如&…...

编程日记 2025/7/28 21:11:22

高性能边缘计算网关-高算力web组态PLC网关

高性能EG8200Pro边缘计算算力网关-超强处理能力 样机申请测试&#xff1a;免费测试超30天&#xff08;https://www.iotrouter.com/prototype/&#xff09; 产品主要特点和特色功能 设备概览与连接能力 设备型号&#xff1a;EG8200P。主要特点&#xff1a; 支持多种工业协议&am…...

编程日记 2025/8/4 1:36:43

计算机视觉总结

以下是针对上述问题的详细解答，并结合代码示例进行说明： 1. 改进YOLOv5人脸检测模块，复杂光照场景准确率从98.2%提升至99.5% 优化具体过程： 光照补偿：在数据预处理阶段，采用自适应光照补偿算法，对图像进行实时增强，以减少光照变化对人脸检测的影响。数据增强：在训练…...

编程日记 2025/8/4 7:02:15

【Golang】defer与recover的组合使用

在Go语言中&#xff0c;defer和recover是两个关键特性&#xff0c;通常结合使用以处理资源管理和异常恢复。以下是它们的核心应用场景及使用示例&#xff1a; 1. defer 的应用场景 defer用于延迟执行函数调用&#xff0c;确保在函数退出前执行特定操作。主要用途包括&#xff…...

编程日记 2025/8/4 6:07:27

Beyond Compare 4注册激活方法

Beyond Compare 4 注册码 --- BEGIN LICENSE KEY --- H1bJTd2SauPv5Garuaq0Ig43uqq5NJOEw94wxdZTpU-pFB9GmyPk677gJ vC1Ro6sbAvKR4pVwtxdCfuoZDb6hJ5bVQKqlfihJfSYZt-xVrVU270Ja hFbqTmYskatMTgPyjvv99CF2Te8ecYs2SPxyZAF0YwOCNOWmsyqN5y9t q2Kw2pjoiDs5gIH-uw5U49JzOB6otS7kT…...

编程日记 2025/7/31 1:36:55

[C++游戏开发基础]:构造函数浅析,8000+字长文

构造函数 构造函数是一种特殊的成员函数,在创建非聚合类类型对象后会自动被调用。当定义一个非聚合类类型对象时,编译器会检查是否能找到一个可以访问的构造函数,该构造函数与调用者提供的初始化值(如果有的情况下)相匹配。 如果找到一个可访问的匹配构造函数&#xff0c;将为…...

编程日记 2025/7/30 4:39:09

【Go】切片

知识点关键概念切片声明var slice []int初始化切片slice : []int{1,2,3}make() 创建切片make([]int, len, cap)获取长度和容量len(slice), cap(slice)追加元素slice append(slice, value)切片截取slice[start:end]&#xff08;返回子切片&#xff09;拷贝切片copy(dest, src)&…...

编程日记 2025/7/31 5:22:00

MySQL 设置允许远程连接完整指南：安全与效率并重

一、为什么需要远程连接MySQL&#xff1f; 在分布式系统架构中&#xff0c;应用程序与数据库往往部署在不同服务器。例如&#xff1a; Web服务器&#xff08;如NginxPHP&#xff09;需要连接独立的MySQL数据库数据分析师通过BI工具直连生产库多服务器集群间的数据同步 但直接…...

编程日记 2025/8/1 14:26:15

Cursor IDE 入门指南

什么是 Cursor? Cursor 是一款集成了 AI 功能的现代代码编辑器&#xff0c;基于 VSCode 开发&#xff0c;专为提高开发效率而设计。它内置强大的 AI 助手功能&#xff0c;能够理解代码、生成代码、解决问题&#xff0c;帮助开发者更快、更智能地完成编程任务。 基础功能 1.…...

编程日记 2025/7/28 21:53:16

32.[前端开发-JavaScript基础]Day09-元素操作-window滚动-事件处理-事件委托

JavasScript事件处理 1 认识事件处理 认识事件(Event) 常见的事件列表 认识事件流 2 事件冒泡捕获 事件冒泡和事件捕获 事件捕获和冒泡的过程 3 事件对象event 事件对象 event常见的属性和方法 事件处理中的this 4 EventTarget使用 EventTarget类 5 事件委托模式 事件委托&am…...

编程日记 2025/7/18 17:42:57

【工具变量】中国各地级市是否属于“信息惠民国家试点城市”匹配数据（2010-2024年）

数据来源&#xff1a;国家等12部门联合发布的《关于加快实施信息惠民工程有关工作的通知》 数据说明&#xff1a;内含原始文件和匹配结果&#xff0c;当试点城市在2014年及以后&#xff0c;赋值为1&#xff1b;试点城市在2014年之前或该城市从未实施信息惠民试点工程&#x…...

编程日记 2025/7/30 15:21:08

windows安装配置FFmpeg教程

1.先访问官网&#xff1a;https://www.gyan.dev/ffmpeg/builds/ 2.选择安装包Windows builds from gyan.dev 3. 下滑找到release bulids部分&#xff0c;选择ffmpeg-7.0.2-essentials_build.zip 4. 然后解压将bin目录添加path系统变量&#xff1a;\ffmpeg-7.0.2-essentials_bui…...

编程日记 2025/7/31 23:38:28

Wispr Flow，AI语言转文字工具

Wispr Flow是什么 Wispr Flow 是AI语音转文本工具&#xff0c;基于先进的AI技术&#xff0c;帮助用户在任何应用程序中实现快速语音转文字。 Wispr Flow支持100多种语言&#xff0c;具备自动编辑、上下文感知和低音量识别等功能&#xff0c;大幅提升写作和沟通效率。Wispr Fl…...

编程日记 2025/7/30 9:29:11

风暴潮、潮汐潮流模拟：ROMS模型如何精准预测海洋现象？

海洋数值模拟的崛起与 ROMS 的关键角色 &#x1f30a;在海洋科学的浪潮中&#xff0c;海洋数值模拟正以迅猛之势崛起&#xff0c;成为科研与实际应用领域不可或缺的利器。ROMS&#xff08;Regional Ocean Modeling System&#xff09;作为其中的佼佼者&#xff0c;凭借其高效、…...

编程日记 2025/8/3 1:14:05

【Rust】集合的使用——Rust语言基础16

文章目录 1. 前言2. Vector2.1. 构建一个 vector2.2. 获取 vector 中的元素2.3. 遍历 vector2.4. 使用枚举来储存多种类型 3. String3.1. 新建字符串3.2. 更新字符串3.3. 字符串的内部结构3.3.1. 字符串如何访问内部元素&#xff1f;3.3.2. 字节、标量值和字形簇 3.4. 字符串 s…...

编程日记 2025/7/25 10:14:03

Kafka集成Debezium监听postgresql变更

下载postgres的插件&#xff1a;https://debezium.io/documentation/reference/2.7/install.html 2.7版本支持postgresql12数据库。 debezium-connector-postgres-2.7.4.Final-plugin.tar.gz 上传插件并解压 mkdir /usr/local/kafka/kafka_2.12-2.2.1/connector cd /usr/local…...

编程日记 2025/8/4 1:36:49

自动学习和优化过程，实现更加精准的预测和决策的智慧交通开源了

智慧交通视觉监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒&#xff0c;省去繁琐重复的适配流程&#xff0c;实现芯片、算法、应用的全流程组合&#xff0c;从而大大减少企业级应用约95%的开发成本。通过高效的实时视…...

编程日记 2025/7/30 10:20:35

第2.2节 Android Jacoco插件覆盖率采集

JaCoCo&#xff08;Java Code Coverage&#xff09;是一款开源的代码覆盖率分析工具&#xff0c;适用于Java和Android项目。它通过插桩技术统计测试过程中代码的执行情况&#xff0c;生成可视化报告&#xff0c;帮助开发者评估测试用例的有效性。在github上开源的项目&#xff…...

编程日记 2025/7/30 13:20:36

从零开始：使用 Cython + JNI 在 Android 上运行 Python 算法

1. 引言 在 Android 设备上运行 Python 代码通常面临性能、兼容性和封装等挑战。尤其是当你希望在 Android 应用中使用 Python 编写的计算密集型算法时&#xff0c;直接运行 Python 代码可能导致较高的 CPU 占用和较差的性能。为了解决这个问题&#xff0c;我们可以使用 Cytho…...

编程日记 2025/7/31 17:25:00

开源软件许可证冲突的原因和解决方法

1、什么是开源许可证以及许可证冲突产生的问题 开源软件许可证是一种法律文件&#xff0c;它规定了软件用户、分发者和修改者使用、复制、修改和分发开源软件的权利和义务。开源许可证是由软件的版权所有者&#xff08;通常是开发者或开发团队&#xff09;发布的&#xff0c;它…...

编程日记 2025/8/2 3:46:04

stratis，容器podman

一、stratis 1.stratis可以实现动态的在线扩容&#xff0c;lvm虽然也可以实现在线扩容&#xff0c;但是是需要人为的手动扩容。 2.stratis不需要手动格式化&#xff0c;自动会创建文件系统&#xff08;默认是xfs&#xff09; 1. 安装stratis软件包 yum list | grep stratis…...

编程日记 2025/7/29 10:05:52

解决用three.js展示n个叠加的stl模型文件错位的问题

加载stl时可以明显看到下面有一部分模型是错位的。 将stl文件格式转化为glb 使用免费将 STL 转换为 GLB - ImageToStl 模型就没有错位了 代码如下 <template><div ref"threeContainer" class"three-container"></div></template&…...

编程日记 2025/7/20 19:10:51

从零开始实现 C++ TinyWebServer 数据库连接池 SqlConnectPool详解

文章目录 数据库连接池是什么&#xff1f;Web Server 中为什么需要数据库连接池&#xff1f;SqlConnectPool 成员变量实现 Init() 函数实现 ClosePool() 函数SqlConnectRAII 类SqlConnectPool 代码SqlConnectPool 测试 从零开始实现 C TinyWebServer 项目总览 项目源码 数据库连…...

编程日记 2025/8/1 18:50:57

利用ffmpeg库实现音频AAC编解码

AAC‌&#xff08;Advanced Audio Coding&#xff09;是一种音频编码技术&#xff0c;出现于1997年&#xff0c;基于MPEG-2的音频编码技术。AAC具有高效的数据压缩能力和较高的音质&#xff0c;适用于各种音频应用场景。例如&#xff0c;在智能设备中&#xff0c;AAC技术被广泛…...

编程日记 2025/7/31 11:58:29

Vue + CSS实现渐变栅格进度条

进度条作为可视化大屏系统中展示数据状态的关键元素&#xff0c;其视觉效果直接影响用户的使用体验&#xff0c;而传统的进度条往往呈现出固定的样式&#xff0c;缺乏视觉吸引力。在这种场景下&#xff0c;一种基于Vue和CSS实现渐变栅格进度条的方法应运而生&#xff0c;该方法…...

编程日记 2025/7/24 7:12:05