当前位置： 首页 > news >正文

流行的开源高性能数据同步工具 - Apache SeaTunnel 整体架构运行原理

news 来源：原创 2025/6/8 7:53:52

概述

背景

数据集成在现代企业的数据治理和决策支持中扮演着至关重要的角色。随着数据源的多样化和数据量的迅速增长，企业需要具备强大的数据集成能力来高效地处理和分析数据。SeaTunnel通过其高度可扩展和灵活的架构，帮助企业快速实现多源数据的采集、处理和加载。

目标

本说明旨在为系统架构师、开发者、实施工程师和运维人员提供SeaTunnel的技术架构介绍，以支持其在项目实施和优化中进行高效设计和运维。

技术架构概述

整体架构说明

SeaTunnel 主要由一套数据同步处理的 API 和核心计算引擎组成，包括三个主要的服务：CoordinatorService、TaskExecutionService 和 SlotService

CoordinatorService

CoordinatorService 是集群的 Master 服务，提供每个作业从 LogicalDag 到 ExecutionDag，再到 PhysicalDag 的生成流程，并且最终创建作业的 JobMaster 进行作业的调度执行和状态监控。

TaskExecutionService

TaskExecutionService 是集群的 Worker 服务，提供作业中每个 Task 的真正运行时环境，TaskExecutionService 使用 Dynamic Thread Sharing 技术降低 CPU 使用

SlotService

SlotService 在集群每个节点上都会运行，主要负责节点上资源的划分、申请和回收

SeaTunnel 模块说明

模块名介绍
seatunnel-apiSeaTunnel connector V2 API 模块
seatunnel-commonSeaTunnel 通用模块
seatunnel-connectors-v2SeaTunnel connector V2 模块, connector V2 处于社区重点开发中
seatunnel-core/seatunnel-spark-starterSeaTunnel connector V2 的 Spark 引擎核心启动模块
seatunnel-core/seatunnel-flink-starterSeaTunnel connector V2 的 Flink 引擎核心启动模块
seatunnel-core/seatunnel-starterSeaTunnel connector V2 的 SeaTunnel 引擎核心启动模块
seatunnel-e2eSeaTunnel 端到端测试模块
seatunnel-examplesSeaTunnel 本地案例模块， 开发者可以用来单元测试和集成测试
seatunnel-engineSeaTunnel 引擎模块, seatunnel-engine 是 SeaTunnel 社区新开发的计算引擎，用来实现数据同步
seatunnel-formatsSeaTunnel 格式化模块，用来提供格式化数据的能力
seatunnel-plugin-discoverySeaTunnel 插件发现模块，用来加载类路径中的SPI插件
seatunnel-transforms-v2SeaTunnel transform V2 模块, transform V2 处于社区重点开发中
seatunnel-translationSeaTunnel translation 模块, 用来适配Connector V2 和其他计算引擎， 例如Spark、Flink等

架构层次

数据集成产品的架构设计具有高度的模块化和可扩展性，基于SeaTunnel Zeta高性能集成引擎，可以支持数据批量和实时高效同步、批流一体等能力，SeaTunnel整体分为以下几个主要层次：

  • 数据源接入层(source)：包括各种数据源的连接器和适配器。
  • 数据转换层(transform)：支持数据清洗和转换操作比如过滤数据、添加字段、自定义 SQL 等多种操作。
  • 数据写入层(sink)：多种数据仓库和数据库等目标数据源的输出，包括关系型数据库、NoSQL 数据库、分布式存储系统等。

可接入的数据源类型

  • 关系型数据库：支持 JDBC驱动，采用并行提取策略优化大数据量场景下的同步性能。
  • NoSQL 数据库：如 MongoDB、Cassandra，支持以 JSON、BSON 等格式传输数据，保证高效的文档处理。
  • 文件系统：支持从本地文件系统、HDFS、Amazon S3 等读取结构化和半结构化数据，支持 CSV、JSON、Parquet等格式。
  • 消息队列：提供与 Kafka等消息系统 的原生集成，支持高并发下的流式数据消费。
  • Sass接口：如 http接口等

数据处理流与执行逻辑

数据管道设计

数据管道设计考虑到不同的数据源、数据处理需求和目标存储，通过以下步骤实现：

  • 数据提取 (Extract)：通过高效的多线程和批量拉取实现数据的快速提取。
  • 数据加载 (Load)：数据的目标存储和输出，支持幂等性和分布式一致性。
  • 数据转换 (transform)：包括数据清洗、格式转换、逻辑处理等。

Zeta引擎工作原理

SeaTunnel Engine 由三个主要的服务组成：CoordinatorService、TaskExecutionService 和 SlotService。

CoordinatorService

CoordinatorService 是集群的 Master 服务，提供了每个作业从 LogicalDag 到 ExecutionDag，再到 PhysicalDag 的生成流程，并最终创建作业的 JobMaster 进行作业的调度执行和状态监控。CoordinatorService中 主要由 4 个大的功能模块组成：

  1. JobMaster，负责单个作业的 LogicalDag 到 ExecutionDag，再到 PhysicalDag 的生成流程，并由 PipelineBaseScheduler 进行调度运行。
  2. CheckpointCoordinator，负责作业的 Checkpoint 流程控制。
  3. ResourceManager，负责作业资源的申请和管理，目前支持 Standalone 模式，未来会支持 On Yarn 和 On K8s。
  4. Metrics Service，负责作业监控信息的统计和汇总。

客户端在提交任务时会找到master节点并将任务提交到CoordinatorService服务上，CoordinatorService会缓存任务信息并等待任务执行结束。当任务结束后再对任务进行归档处理。

TaskExecutionService

TaskExecutionService 是集群的 Worker 服务，提供了作业中每个 Task 的真正运行时环境，TaskExecutionService 使用了 Dynamic Thread Sharing 技术降低 CPU 使用。

TaskExecutionService 是一个执行任务的服务，将在每个节点上运行一个实例。它从 JobMaster 接收 TaskGroup 并在其中运行 Task。并维护TaskID->TaskContext，对Task的具体操作都封装在TaskContext中。而Task内部持有OperationService，也就是说Task可以通过OperationService远程调用其他Task或JobMaster进行通信。

SlotService


SlotService 在集群每个节点上都会运行，主要负责节点上资源的划分、申请和回收。SlotService用于管理集群的可用Slot资源。SlotService运行在所有节点上并定期向master上报资源信息。

  1. SeaTunnel 运行流程
    1. 第一步：jobconf转换为LogicDag
      通过job的配置文件定义job流程，因此 SeaTunnelClient 需要做的第一件事是解析job配置文件并生成action列表。action 类似于 Flink 中的 operator，是对 SeaTunnel API 的封装。一个action包含 SeaTunnelSource 或 SeaTunnelTransform 或 SeaTunnelSink 的实例。每个action都需要知道它自己的上游。
      这一块主要是 Action 接口来负责的。
      目前支持 SourceAction 、SinkAction 和 TransformAction 三种类型的action。如果只有一个 Source和一个Sink，和一个 Transform


如果有多个source或多个transform或多个sink，我们将依赖 source_table_name 和 result_table_name 来构建action pipeline。因此，在这种情况下，result_table_name对于source action是必需的，而所有result_table_name 和 source_table_name对于transform action都是必需的。最后，source_table_name 是 sink action必需的。

    1. 第二步：LogicPlan转换成PhysicalPlan

SeaTunnel引擎会收到客户端发送过来的逻辑计划，引擎需要将其转化为可以直接执行的物理计划。因此，需要对逻辑执行计划进行处理，通过转换生成物理计划。具体过程如下：

  • 逻辑计划

收到逻辑计划，我们需要去除多余的Actions，并验证Schema（Transform2和Transform 5应该是一样的）

  • 执行计划

转换为执行计划时：

（1）Transforms需要合并，合并的依据是Transform后数据是否会被拆分（如果没有shuffle则会将transform合并）。

（2）将shuffle action转换成队列。

（3）拆分多个pipeline。

  • 物理计划

将Pipeline按照并行度拆分成单独的可执行任务，并且同时需要添加SourceSplitEnumerator和SinkAggregatedCommitter任务，可以将任务发送到executionService。然后任务就可以正常运行了。

  1. 第三步：将taskGroup调度到指定node上等待运行

在master节点上将physicalPlan拆分成pipeline并将pipeline拆分成taskGroup分别调度到不同节点上进行执行。

  • physicalPlan：用户提交的job被解析成可以运行的执行计划。
  • pipeline：在pipeline中的任务只有pipeline的上游和下游算子，不同pipeline没有相关联的算子。
  • taskGroup：每一个执行计划顶点将会创建一个taskGroup,一个taskGroup包含一个或者多个task，每一个taskGroup需要一个单位的计算资源。taskGroup是任务分配和执行的最小单位。如下：

下图是 SeaTunnel 整体运行流程图

运行流程图

Zeta 引擎的优势与特点

SeaTunnel Zeta 引擎采用无中心化架构，为了在不依赖第三方服务组件(如 Zookeeper)的情况下实现集群的自治和作业的容错，SeaTunnel Zeta使用了 Hazelcast作为底层依赖。Hazelcast 提供了一个分布式内存网络，让用户可以像在本地操作普通 Java 集合一样来操作一个分布式的集合，SeaTunnel 将作业的状态信息保存在Hazelcast 的内存网格中，当 Master 节点切换后，可以基于 Hazelcast 内存网格中的数据进行作业状态的恢复。同时，我们还实现了 Hazelcast 内存网格数据的持久化，以WAL 的方式将作业状态信息持久化到存储中（JDBC 协议的数据库、HDFS、云存储）。这样，即使整个集群挂掉重启，也可以修复作业的运行时信息。

数据缓存

SeaTunnel Zeta Engine 与传统的Spark/Flink计算引擎不同，是专门用来做数据同步的引擎。SeaTunnel 引擎天然支持数据 Cache，当集群中有多个同步作业共用一个数据源时，SeaTunnel 引擎会自动启用数据 Cache，由一个作业的 Source 将数据读取后写入 Cache 中，其它所有作业不再从数据源读取数据，而是自动被优化为从 Cache 中读取数据。这样做的好处是可以降低数据源的读取压力，降低数据同步对数据源的影响。

速度控制

SeaTunnel Engine 支持数据同步时的速度限制，这在高并发读取数据源时非常有用，合理的速度限制既可以保证数据按时同步完成，又可以尽量减小对数据源造成的压力影响。

共享连接池，降低数据库压力

数据库连接对数据库来说是昂贵的资源，过多的数据库连接会对数据库造成极大的压力，导致数据库读写延迟稳定性降低，这对业务数据库来说是非常严重的事故。为了解决这个问题，SeaTunnel Engine 使用共享连接池的方式，保证多张表可以共用 JDBC 连接，从而降低数据库连接的使用。

断点续传（增量/全量），让用户无感知

Zeta Engine 支持离线同步下的断点续传。在数据量较大时，一次数据同步作业往往需要运行几十分钟或几个小时，如果中间作业挂了重跑，那意味着浪费时间。SeaTunnel Engine 会在离线同步的过程中不断地进行状态的保存（检查点），作业挂掉重跑时会从上一次的检查点继续运行，这有效解决了节点宕机等硬件问题可能导致的数据延迟。

Schema evolution 的路线

模式演化是一种允许用户轻松更改表的当前模式以适应随时间变化的数据的功能。最常见的是，在执行追加或覆盖操作时使用它，以自动调整模式以包括一个或多个新列。

更细粒度的容错设计

Flink 的设计是整个作业级别的容错和回滚，表现为如果某一个 task 失败，那整个作业都会进行回滚重启操作。SeaTunnel Engine 在设计时考虑到了在数据同步场景下，很多q情况下一个 task 的失败应该只需要和它有上下游关系的 task 需要关注容错。基于这一设计原则，SeaTunnel Engine 会先按用户配置的作业配置文件生成逻辑 DAG，再对逻辑DAG 进行优化，最终生成以 Pipeline（一个作业 DAG 中的一个连通子图）为粒度进行作业的调用和容错。

一个典型的使用场景是：
使用 CDC 连接器从 MySQL 的 binlog 中读取数据后写入另一个 MySQL，如果使用 Flink 或 Spark 引擎，一旦目标端 MySQL 无法写入，会导致 CDC 读取 binlog 的任务也会中止，如果 MySQL 被设置了 log 的过期时间，会出现目标端 MySQL 问题解决了，但源 MySQL 的日志被清除了，进而引发数据丢失等问题。
SeaTunnel Engine 会自动优化这一同步任务，自动添加源到目标端的 Cache，再进一步将这个作业优化成两个 Pipeline，pipeline#1 负责从 CDC 读取数据并写入 SeaTunnel Cache，pipeline#2 负责从 SeaTunnel Cache 读取数据并写入目标MySQL。如果目标端 MySQL 有问题导致无法写入，这个同步作业的 pipeline#2 会中止，pipeline#1 依然正常运行。这种设计从根本上解决了上述的问题，更符合数据同步引擎的处理逻辑。

动态共享线程，减少资源占用

SeaTunnel Engine 的 Task 设计使用了共享线程的技术，区别于 Flink/Spark，SeaTunnel Engine 不会简单的让一个 Task 占用一个线程，而是通过一种动态感知的方式——动态线程共享(Dynamic Thread Sharing)来判断一个 Task 应该和其它 Task 共享一个线程还是应该独占一个线程。
多线程并行计算和单线程串行计算相比有更好的性能优势，但如果每个 Task 都占使用一个独立线程来运行，当数据同步的表比较多，Task 数量大时，会在 Worker 节点上启动非常多的线程。在 CPU 核心数固定的情况下，线程数并不是越多越好，当线程数量过多时，CPU 需要花大量的时间进行线程的上下文切换，这反而会影响计算性能。
Flink/Spark 通常会限制每个节点上最大运行的 Task 的数量，通过这种方式来可避免起动太多的线程，而 SeaTunnel Engine 为了能在一个节点上运行更多的 Task，通过共享线程技术可以让那些数据量较少的 Task 共享线程，而数据量较大的 Task 独占线程，这种方式使 SeaTunnel Engine 在一个节点上运行几百上千张表同步任务成为了可能，以更少的资源占用，完成更多的表的同步。

相关文章：

流行的开源高性能数据同步工具 - Apache SeaTunnel 整体架构运行原理

概述 背景 数据集成在现代企业的数据治理和决策支持中扮演着至关重要的角色。随着数据源的多样化和数据量的迅速增长，企业需要具备强大的数据集成能力来高效地处理和分析数据。SeaTunnel通过其高度可扩展和灵活的架构，帮助企业快速实现多源数据的采集、…...

编程日记 2025/6/3 16:08:33

基于单片机的多功能蓝牙语音智能台灯（论文+源码）

1总体方案设计 通过需求分析，本设计多功能蓝牙语音智能台灯的系统框图如图2.1所示，系统架构包括主控制器STM32F103单片机、HC-06蓝牙通信模块、LU-ASR01语音识别模块、OLED液晶、LED灯、按键等器件，在使用时用户可以通过手机APP、语音识别、…...

编程日记 2025/6/3 16:06:57

leetcode刷题记录（七十二）——146. LRU 缓存

（一）问题描述 146. LRU 缓存 - 力扣（LeetCode）146. LRU 缓存 - 请你设计并实现一个满足 LRU (最近最少使用) 缓存 [https://baike.baidu.com/item/LRU] 约束的数据结构。实现 LRUCache 类： * LRUCache(int capacity)…...

编程日记 2025/6/3 16:07:29

力扣203题（3）

题目及之前的两种解法大家可以移步到这里： https://blog.csdn.net/suibiansa_/article/details/145242573?spm1001.2014.3001.5501 力扣203题—— 移除链表元素-CSDN博客 今天呢我们来写一下第三种解法： 虚拟创建一个头结点 ListNode firstnew Lis…...

编程日记 2025/6/2 18:37:00

网络安全：信息时代的守护者

随着互联网的快速发展，网络安全问题日益成为全球关注的焦点。无论是个人用户、企业组织还是政府部门，网络安全都已成为保障信息安全、保护隐私、确保社会秩序的基石。在这个数字化时代，如何应对复杂多变的网络安全威胁，成为了我们…...

编程日记 2025/6/4 6:49:37

【博客之星2024年度总评选】年度回望：我的博客之路与星光熠熠

【个人主页】Francek Chen 【人生格言】征途漫漫，惟有奋斗！ 【热门专栏】大数据技术基础 | 数据仓库与数据挖掘 | Python机器学习 文章目录 前言一、个人成长与盘点（一）机缘与开端（二）收获与分享 二、年度创…...

编程日记 2025/6/2 22:45:56

接口自动化测试

APITEST: 接口自动化测试 目录结构介绍： conf目录：用来存放项目运行环境、执行环境相关的配置参数 testsuite目录：测试用例在此目录编写，pytest默认约定test开头的文件和方法为测试用例，不满足条件的不会被执行&#x…...

编程日记 2025/6/2 3:44:11

题海拾贝：力扣 138.随机链表的复制

Hello大家好&#xff01;很高兴我们又见面啦&#xff01;给生活添点passion&#xff0c;开始今天的编程之路&#xff01; 我的博客&#xff1a;<但凡. 我的专栏&#xff1a;《编程之路》、《数据结构与算法之美》、《题海拾贝》 欢迎点赞&#xff0c;关注&#xff01; 1、题…...

编程日记 2025/6/1 5:37:53

第7章：Python TDD测试Franc对象乘法功能

写在前面 这本书是我们老板推荐过的&#xff0c;我在《价值心法》的推荐书单里也看到了它。用了一段时间 Cursor 软件后&#xff0c;我突然思考&#xff0c;对于测试开发工程师来说&#xff0c;什么才更有价值呢&#xff1f;如何让 AI 工具更好地辅助自己写代码&#xff0c;或许…...

编程日记 2025/6/1 11:32:48

PyTorch基本功能与实现代码

PyTorch是一个开源的深度学习框架&#xff0c;提供了丰富的函数和工具&#xff0c;以下为其主要功能的归纳&#xff1a; 核心数据结构&#xff1a; • 张量&#xff08;Tensor&#xff09;&#xff1a;类似于Numpy的ndarray&#xff0c;是PyTorch中基本的数据结构&#xff0c…...

编程日记 2025/6/3 18:50:14

【2024 CSDN博客之星】技术洞察类：从DeepSeek-V3的成功，看MoE混合专家网络对深度学习算法领域的影响（MoE代码级实战）

目录 一、引言 1.1 本篇文章侧重点 1.2 技术洞察—MoE&#xff08;Mixture-of-Experts&#xff0c;混合专家网络&#xff09; 二、MoE&#xff08;Mixture-of-Experts&#xff0c;混合专家网络&#xff09; 2.1 技术原理 2.2 技术优缺点 2.3 业务代码实践 2.3.1 业务场…...

编程日记 2025/6/1 20:08:45

Single-Model and Any-Modality for Video Object Tracking——2024——cvpr-阅读笔记

Single-Model and Any-Modality for Video Object Tracking 摘要相关工作创新处MethodShared embeddingModal promptingRGB Tracker based on TransformerOverall ExperiimentDatasetRGB-D samples are sourced from DepthTrackRGB-T samples are extracted from LasHeRRGB-E s…...

编程日记 2025/6/1 23:30:50

Java中的构造器

Java中的构造器详解 1. 什么是构造器 构造器&#xff08;Constructor&#xff09; 是一种特殊的方法&#xff0c;用于在创建对象时初始化对象的状态。构造器的名字必须与类名相同&#xff0c;且没有返回类型&#xff0c;连 void 也不能使用。 2. 构造器的特点 名称与类名相同…...

编程日记 2025/6/4 10:39:15

Restormer: Efficient Transformer for High-Resolution Image Restoration解读

论文地址&#xff1a;Restormer: Efficient Transformer for High-Resolution Image Restoration。 摘要 由于卷积神经网络&#xff08;CNN&#xff09;在从大规模数据中学习可推广的图像先验方面表现出色&#xff0c;这些模型已被广泛应用于图像复原及相关任务。近年来&…...

编程日记 2025/6/4 11:34:47

将 AzureBlob 的日志通过 Azure Event Hubs 发给 Elasticsearch（3.纯python的实惠版）

前情&#xff1a; 将 AzureBlob 的日志通过 Azure Event Hubs 发给 Elasticsearch&#xff08;1.标准版&#xff09;-CSDN博客 将 AzureBlob 的日志通过 Azure Event Hubs 发给 Elasticsearch&#xff08;2.换掉付费的Event Hubs&#xff09;-CSDN博客 python脚本实现 厉害的…...

编程日记 2025/5/31 10:59:59

成就与远见：2024年技术与思维的升华

个人主页&#xff1a;chian-ocean 前言: 2025年1月17日&#xff0c;2024年博客之星年度评选——创作影响力评审的入围名单公布。我很荣幸能够跻身Top 300&#xff0c;虽然与顶尖博主仍有一定差距&#xff0c;但这也为我提供了更加明确的发展方向与指引。展望崭新的2025年&…...

编程日记 2025/6/1 4:46:30

BGP分解实验·9——路由聚合与条件性通告（1）

路由聚合是有效控制缩减BGP路由表的方法之一&#xff0c;路由聚合的前提和IGP一样&#xff0c;需要有路由目标存在BGP表中&#xff0c;与IGP不同的是&#xff0c;BGP路由聚合可以定义按需抑制路由的能力。 实验拓扑如下所示&#xff1a; 现在开始把从R1的R5的基础配置先准备好…...

编程日记 2025/6/2 1:10:49

栈和队列（C语言）

目录 数据结构之栈 定义 实现方式 基本功能实现 1&#xff09;定义&#xff0c;初始化栈 2&#xff09;入栈 3&#xff09;出栈 4&#xff09;获得栈顶元素 5)获得栈中有效元素个数 6&#xff09;检测栈是否为空 7&#xff09;销毁栈 数据结构之队列 定义 实现方…...

编程日记 2025/6/2 6:19:03

Jenkins-获取build用户信息

需求&#xff1a; 代码发布后&#xff0c;将发布结果发送至相关运维同学邮箱&#xff0c;需要获取发布人的信息。jenkins默认是没有相关内置变量的。 需要通过插件的方式进行解决&#xff1a; 插件&#xff1a; user build vars plugin 部署后&#xff0c;可使用的变量&…...

编程日记 2025/6/4 4:58:45

大数据学习(37)- Flink运行时架构

&&大数据学习&& &#x1f525;系列专栏&#xff1a; &#x1f451;哲学语录: 承认自己的无知&#xff0c;乃是开启智慧的大门 &#x1f496;如果觉得博主的文章还不错的话&#xff0c;请点赞&#x1f44d;收藏⭐️留言&#x1f4dd;支持一下博主哦&#x1f91…...

编程日记 2025/6/4 4:58:14

opengrok_windows_多工程环境搭建

目录 多工程的目录 工程代码下载和log配置 工程的索引 工程部署 工程测试 参考列表 多工程的目录 工程代码下载和log配置 工程代码下载 在每个工程的src目录下&#xff0c;下载工程代码&#xff0c;以下载pulseaudio的代码为例。 git clone gitgithub.com…...

编程日记 2025/6/1 4:33:06

Python网络自动化运维---SSH模块

目录 SSH建立过程 实验环境准备 一.SSH模块 1.1.Paramiko模块 1.1.1实验代码 1.1.2代码分段讲解 1.1.3代码运行过程 1.2Netmiko模块 Netmiko模块对比paramiko模块的改进&#xff1a; 1.2.1实验代码 1.2.2代码分段讲解 1.2.3代码运行过程 二.Paramiko模块和Ne…...

编程日记 2025/6/4 4:57:42

Failed to restart nginx.service Unit nginx.service not found

当你遇到 Failed to restart nginx.service: Unit nginx.service not found 错误时&#xff0c;这意味着系统无法找到 Nginx 的服务单元文件。这通常是因为 Nginx 没有通过 systemd 管理&#xff0c;或者 Nginx 没有正确安装。 解决方法 1. 检查 Nginx 是否正确安装 首先&am…...

编程日记 2025/6/4 4:57:58

学习记录之原型，原型链

构造函数创建对象 Person和普通函数没有区别&#xff0c;之所以是构造函数在于它是通过new关键字调用的&#xff0c;p就是通过构造函数Person创建的实列对象 function Person(age, name) {this.age age;this.name name;}let p new Person(18, 张三);prototype prototype n…...

编程日记 2025/6/3 7:35:01

【Redis】5种基础数据结构介绍及应用

考察频率难度60%⭐⭐ 这个方向的问题也是非常基础的&#xff0c;所以一般不会直接被当做一个单独的问题。常见的形式是结合你简历上的项目或者场景题来提问&#xff0c;即实际应用场景、是否可以优化、如何选择等。 由于场景题和实际项目差异较大&#xff0c;所以本文就只做基…...

编程日记 2025/6/3 13:29:20

基于GRU实现股价多变量时间序列预测(PyTorch版)

前言 系列专栏:【深度学习：算法项目实战】✨︎ 涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域，讨论了各种复杂的深度神经网络思想，如卷积神经网络、循环神经网络、生成对抗网络、门控循环单元、长短期记…...

编程日记 2025/6/4 15:29:46

Java Web开发高级——Spring Boot与Docker容器化部署

随着云计算和微服务架构的快速发展&#xff0c;容器化已成为现代应用部署的重要手段。Docker作为最受欢迎的容器化技术之一&#xff0c;使得开发者能够将应用及其所有依赖打包到一个可移植的容器中&#xff0c;简化了开发、测试、部署和运维的流程。本篇文章将通过以下内容讲解…...

编程日记 2025/6/3 2:26:02

计算机网络——网络层

重点内容&#xff1a; (1) 虚拟互连网络的概念。 (2) IP 地址与物理地址的关系。 (3) 传统的分类的 IP 地址&#xff08;包括子网掩码&#xff09;和无分类域间路由选择 CIDR 。 (4) 路由选择协议的工作原理。 目录 重点内容&#xff1a; 一.网络层提供的两种服务 二…...

编程日记 2025/6/3 15:05:13

每打开一个chrome页面都会【自动打开F12开发者模式】，原因是 使用HBuilderX会影响谷歌浏览器的浏览模式

打开 HBuilderX&#xff0c;点击 运行 -> 运行到浏览器 -> 设置web服务器 -> 添加chrome浏览器安装路径 chrome谷歌浏览器插件 B站视频下载助手插件&#xff1a; 参考地址&#xff1a;Chrome插件 - B站下载助手&#xff08;轻松下载bilibili哔哩哔哩视频&#xff09…...

编程日记 2025/6/3 10:01:42

cesium绕点旋转

绕点旋转的原理可以理解为相机一直看向一个点&#xff0c;不断改变相机的位置 let position Cesium.Cartesian3.fromDegrees(longitude, latitude) let lookAtTimer setInterval(() > {let heading viewer.camera.heading;let pitch viewer.camera.pitch;if (heading &…...

编程日记 2025/6/3 15:06:00

JavaScript系列（36）--微服务架构详解

JavaScript微服务架构详解 &#x1f3d7;️ 今天&#xff0c;让我们深入了解JavaScript的微服务架构&#xff0c;这是构建大规模分布式系统的关键技术。 微服务基础概念 &#x1f31f; &#x1f4a1; 小知识&#xff1a;微服务架构是一种将应用程序构建为一组小型服务的方法&…...

编程日记 2025/6/3 15:06:51

神经网络基础 | 给定条件下推导对应的卷积层参数

神经网络基础 | 给定条件下推导对应的卷积层参数 按照 PyTorch 文档中 给定的设置&#xff1a; H o u t ⌊ H i n 2 padding [ 0 ] − dilation [ 0 ] ( kernel_size [ 0 ] − 1 ) − 1 stride [ 0 ] 1 ⌋ H_{out} \left\lfloor\frac{H_{in} 2 \times \text{padding}[0]…...

编程日记 2025/6/3 11:02:05

面向CTF的python_requests库的学习笔记

看师傅们写的各种脚本羡慕不已&#xff0c;自己却只会一点一点手搓&#xff0c;于是来做个笔记 requests库是干嘛的&#xff1f; 顾名思义&#xff0c;request就是请求&#xff0c;可以用来向服务器发送请求。它可以代替你在网站上发送请求报文&#xff0c;并接受回应报文。简…...

编程日记 2025/6/3 4:59:44

MIAOYUN信创云原生项目亮相西部“中试”生态对接活动

近日&#xff0c;以“构建‘中试’生态&#xff0c;赋能科技成果转化”为主题的“科创天府智汇蓉城”西部“中试”生态对接活动在成都高新区菁蓉汇隆重开幕。活动分为成果展览、“中试”生态主场以及成果路演洽谈对接三大板块。在成果展览环节&#xff0c;成都元来云志科技有限…...

编程日记 2025/6/3 0:44:50

Papers with Code：从代码索引到AI创新引擎

标题&#xff1a;Papers with Code&#xff1a;从代码索引到AI创新引擎 文章信息摘要&#xff1a; Papers with Code从解决机器学习论文代码复现的特定需求起步&#xff0c;通过建立全面的ML资源库和首个系统性leaderboard系统&#xff0c;快速积累了大量用户基础。被Meta收购…...

编程日记 2025/6/2 18:04:17

FastExcel 新一代的潮流 （EasyExcel）

目录 简介 FastExcel的特点 FastExcel使用方法详解 创建实体类和监听器 实现写入和读取功能 Excel转换为PDF 小结 FastExcel与EasyExcel的区别 结论 简介 FastExcel是由原EasyExcel作者在阿里巴巴宣布停止维护EasyExcel之后推出的升级版框架。它继承了EasyExcel的所有…...

编程日记 2025/6/2 5:45:36

Linux静态库与动态库的理解

Linux静态库与动态库的理解 一、静态库如何创建和使用静态库 二、动态库如何创建和使用动态库 三、静态库与动态库的关键区别四、总结 在 Linux 编程中&#xff0c;静态库和动态库是非常重要的概念 一、静态库 静态库是将多个目标文件&#xff08;.o 文件&#xff09;打包成一…...

编程日记 2025/6/3 16:09:49

mongoose 支持https踩坑纪实

简述 mongoose是C编写的嵌入式web服务&#xff0c;它能够支持https协议&#xff0c;可以简单的部署&#xff0c;但要做到完美部署&#xff0c;不是那么容易。 部署方法 本人使用的是最新的7.16版&#xff0c;以前版本似乎是要通过修改 头文件中的 MG_ENABLE_SSL 宏定义&…...

编程日记 2025/6/3 16:34:39

人工智能之数学基础:线性表达和线性组合

本文重点 线性表达和线性组合作为线性代数的核心概念，不仅深刻揭示了向量空间的基本性质，也为解决复杂问题提供了直观而有效的方法。 向量组 要想学习线性表达和线性组合，先来理解向量组。在线性代数中，向量组是指由若干个向量构成的集合。这些向量可以是二维的、三维的…...

编程日记 2025/6/3 16:09:28

uniapp——App 监听下载文件状态，打开文件（三）

5 实现下载文件并打开 这里演示&#xff0c;导出Excel 表格 文章目录 5 实现下载文件并打开DEMO监听下载进度效果图为什么 totalSize 一直为0&#xff1f; 相关Api&#xff1a; downloader DEMO 提示&#xff1a; 请求方式支持&#xff1a;GET、POST&#xff1b;POST 方式需要…...

编程日记 2025/6/4 17:31:27

Microsoft SQL Serve的下载与安装

1.访问Microsoft SQL Serve官网 SQL Server 下载 | Microsoft开始使用 Microsoft SQL Server 下载。选择最符合你的数据和工作负载需求的 SQL Server 试用版、版本、工具或连接器。[这里是图片001]https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.下载SQL…...

编程日记 2025/6/3 21:13:37

JMeter 测试Dubbo 接口

在使用 JMeter 进行 Dubbo 接口的测试时&#xff0c;JMeter 本身并没有直接支持 Dubbo 协议&#xff08;基于 RPC&#xff09;的插件。但是&#xff0c;我们可以通过以下几种方式来测试 Dubbo 接口&#xff1a; 1. 使用 JMeter 的 Java 请求&#xff08;JDBC 请求&#xff09;…...

编程日记 2025/6/4 6:09:15

Java 日志技术、Logback日志框架、日志级别

一. 日志 1. 日志&#xff1a;程序中的日志&#xff0c;通常就是一个文件&#xff0c;里面记录的是程序运行过程中的各种信息。 二. 日志技术 1. 日志技术&#xff1a;可以将系统执行的信息&#xff0c;方便的记录到指定的位置(控制台、文件中、数据库中) 2. 可以随时以开关的…...

编程日记 2025/6/3 4:54:39

美妆系列圣罗兰气垫粉色与黑色有什么区别？

在美妆界&#xff0c;圣罗兰的气垫一直备受青睐&#xff0c;而其中粉色款和黑色款更是有着各自的特点&#xff0c;存在不少区别呢。 从外观设计来看&#xff0c;粉色款整体给人一种温柔、甜美的感觉&#xff0c;外壳颜色清新&#xff0c;很容易击中少女心&#xff0c;携带在身边…...

编程日记 2025/6/4 3:39:30

HTML中的`＜!DOCTYPE html＞`是什么意思？

诸神缄默不语-个人CSDN博文目录 在学习HTML时&#xff0c;我们经常会看到HTML文档的开头出现<!DOCTYPE html>&#xff0c;它是HTML文件的第一行。很多初学者可能会疑惑&#xff0c;为什么需要这行代码&#xff1f;它到底有什么作用呢&#xff1f;在这篇文章中&#xff0…...

编程日记 2025/6/4 6:09:47

Sudo命令的配置及使用

概念 sudo 命令是 Linux 系统中一个非常重要的工具&#xff0c;它允许普通用户以超级用户&#xff08;通常是 root&#xff09;或其他用户的身份执行命令。从概念上来说&#xff0c;在普通用户在权限不够的时候&#xff0c;通过 sudo 命令 “摇人”&#xff0c;这个 “人” 就是…...

编程日记 2025/6/4 4:15:01

【HarmonyOS NEXT】鸿蒙三方应用跳转到系统浏览器

【HarmonyOS NEXT】鸿蒙三方应用跳转到系统浏览器 一、前言&#xff1a; 从三方应用跳转到系统浏览器是比较常见的功能。 拓展应用功能边界&#xff1a; 三方应用的功能通常相对聚焦和特定&#xff0c;无法涵盖用户可能需要的所有网络浏览需求。跳转到系统浏览器能让用户访问…...

编程日记 2025/6/4 4:14:43

电梯系统的UML文档06

系统传感器 系统值是用于控制系统的。在类图中系统传感器用一个箭头和系统控制对象连接。 类图中的系统传感器包括AtFloor、电梯呼叫器、关门、开门、门反转、楼层呼叫器和驱动&#xff08;AtFloor&#xff0c;CarCall&#xff0c;DoorClosed&#xff0c;DoorOpen&#xff0c;…...

编程日记 2025/6/2 2:59:39

指针之旅：从基础到进阶的全面讲解

大家好&#xff0c;这里是小编的博客频道 小编的博客&#xff1a;就爱学编程 很高兴在CSDN这个大家庭与大家相识&#xff0c;希望能在这里与大家共同进步&#xff0c;共同收获更好的自己&#xff01;&#xff01;&#xff01; 本文目录 引言正文&#xff08;1&#xff09;内置数…...

编程日记 2025/6/3 20:39:33

AT8870单通道直流电机驱动芯片

AT8870单通道直流电机驱动芯片 典型应用原理图 描述 AT8870是一款刷式直流电机驱动器&#xff0c;适用于打印机、电器、工业设备以及其他小型机器。两个逻辑输入控制H桥驱动器&#xff0c;该驱动器由四个N-MOS组成&#xff0c;能够以高达3.6A的峰值电流双向控制电机。利用电流…...

编程日记 2025/6/4 4:16:07