当前位置：首页 > news >正文

利用ETL工具进行数据挖掘

news 来源：原创 2025/5/8 23:13:14

ETL的基本概念

数据抽取（Extraction）：从不同源头系统中获取所需数据的步骤。比如从mysql中拿取数据就是一种简单的抽取动作，从API接口拿取数据也是。

数据转换（Transformation）：清洗、整合和转化原始数据以适应目标存储或分析系统的阶段。从mysql中拿到数据之后对数据进行处理，像对数据的一些修改，删除，新增都算是，学过编程的同学应该很容易理解。

数据加载（Loading）：将经过处理的数据载入到数据仓库或其他目标平台的过程。这个就更简单了，就是将数据加载到目标系统里去，这个系统可以是一个接口，可以是一个数据库，可以是一个平台。

ETL在数据挖掘中的作用

预处理与清洗：去除无关数据，填充缺失值，统一数据格式等。
结构化处理：通过ETL将非结构化或半结构化数据转化为便于挖掘的结构化数据。

其中非结构化或半结构化数据是指那些不符合传统关系数据库严格定义格式的数据类型。非结构化数据通常没有预定义的数据模型，如文本文件、电子邮件、社交媒体帖子、图片、音频和视频等，这些数据的内部结构各异，难以直接通过数据库表格进行管理和分析。而半结构化数据则具有某种层次性或自我描述性的结构，但不遵循固定模式，例如XML、JSON文件，它们包含标签或者键值对形式的数据，比非结构化数据更易于处理，但仍需要特殊的方法和技术来提取和解析其中的有效信息。

数据集成：跨多个源系统集成相关数据，为后续的数据挖掘提供全面信息。

ETL数据挖掘的具体实现方式

数据抽取阶段的数据挖掘准备

定义数据源及抽取策略：选择对数据挖掘有价值的数据源并制定合理的抽取规则
特征选取：在抽取过程中识别和提取关键业务指标作为挖掘特征

数据转换阶段的数据预处理与优化

数据质量评估与提升：实施数据去重、异常值检测与处理等操作
特征工程：构建衍生变量、进行特征编码、降维等技术以优化数据集用于挖掘任务

数据加载阶段的数据组织与利用

目标数据集市构建：基于挖掘目标设计数据模型并组织加载后的数据
数据索引与分区：提高大规模数据查询和挖掘效率

ETL工具选择

ETLCloud数据挖掘方式实操简单

从Excel和MySQL中抽取数据然后清洗转换、分离，分别输出到两个数据库里

先配置Excel文件读取，注意输入字段配置

库表输入组件，sql语句可以自定义，输入字段可以自行增多或减少

比如增加一个test字段，设定缺省值，后面节点就可以拿到该字段的值，新增的字段并不会修改数据库

双流合并基础配置，需注意关联条件配置，最后两个是对字段名的数量进行设置，选择想要的字段

其中路由线的设置，这个要注意一点，两条线都需要数据可选择全复制

数据过滤组件，选择过滤payment_method值为Credit Card的数据

字段映射组件，目标字段是我表里没有的，是一个新增字段

库表输出，输出字段从其他组件那边获取就行，选择自动建表，数据会直接入库

有分支的流程在结束节点要选择

2.流程成功运行率高

3.数据预览清晰

最后

在实际应用中，ETLCloud展现了其高效的数据抽取能力，无论是从关系型数据库如MySQL，还是非结构化数据源如Excel文件，都能轻松实现数据提取。其灵活的数据转换功能强大，支持诸如去重、异常值检测、特征构建等深度预处理操作，极大地优化了数据集的质量和挖掘效率。

相关文章：

利用ETL工具进行数据挖掘

ETL的基本概念数据抽取（Extraction）：从不同源头系统中获取所需数据的步骤。比如从mysql中拿取数据就是一种简单的抽取动作，从API接口拿取数据也是。数据转换（Transformation）：清洗、整合和转…...

编程日记 2025/5/8 23:13:14

02DevOps基础环境准备

准备两台Linux的操作系统，最简单的方式就是在本机上使用虚拟机搭建两个操作系统（实际生产环境是两台服务器，虚拟机的方式用于学习使用） 我搭建的两台服务器的ip分别是192.168.1.10、192.168.1.11 192.168.1.10服务器用于安装doc…...

编程日记 2025/5/6 17:49:26

Kafka 入门与实战

一、Kafka 基础 1.1 创建topic kafka-topics.bat --bootstrap-server localhost:9092 --topic test --create 1.2 查看消费者偏移量位置 kafka-consumer-groups.bat --bootstrap-server localhost:9092 --describe --group test 1.3 消息的生产与发送 #生产者 kafka-cons…...

编程日记 2025/5/9 13:57:01

VM虚拟机安装群晖系统

下载群晖系统 https://download.csdn.net/download/hmxm6/90351935 安装群晖连接软件 synology-assistant-6.2-24922(在上面的压缩包里面) 准备好VM虚拟机创建群晖虚拟机打开下载下来的虚拟机添加硬盘选择类型创建新的磁盘指定容量指定存储文件完成硬盘添加…...

编程日记 2025/5/9 15:10:38

关于ESP-IDF 5.4 中添加第三方组件esp32-camera找不到文件，编译错误解决办法（花了一天时间解决）

最近需要使用ESP32-S3-CAM 的OV2640摄像头采集图像，为了加速开发进度，于是选择了esp32-camera组件，该组件不是官方组件，需要自己git clone。但在为项目添加esp32-camera组件时，一直编译错误，找不到头文件&a…...

编程日记 2025/5/1 3:32:31

【C++】C++11

目录 C11简介统一的列表初始化 {}初始化 std::initializer_list 声明 auto decltype nullptr 范围for循环智能指针 STL中的一些变化右值引用和移动语义左值引用和右值引用右值引用的意义完美转发 lambda表达式新的类功能可变参数模版包装器 func…...

编程日记 2025/5/9 14:41:03

Intellij IDEA如何查看当前文件的类

快捷键：CtrlF12，我个人感觉记快捷键很麻烦，知道具体的位置更简单，如果忘了快捷键（KeyMap）看一下就记起来了，不需要再Google or Baidu or GPT啥的，位置：Navigate > Fi…...

编程日记 2025/5/9 14:34:39

CF 278A.Circle Line

题目分析输入n个数据作为路径，求从a到b的最短距离，需要将其相成一个圆圈，既可以从小往大走又可以从大往小走思路分析依然将数据存为数组，通过下标进行操作，既然说了有两种方式那就计算两种方式哪个更快就输出谁代…...

编程日记 2025/5/9 14:34:39

Naive UI去掉n-select下拉框边框，去掉n-input输入框边框

1、第一种通过js去掉 <template><div><div style"margin-top:10px;width: 100%;"><dade-descriptions><tr><dade-descriptions-item label"代理名称"><dade-input placeholder"代理名称"></dade-…...

编程日记 2025/5/9 14:48:05

(文末提供数据集下载)ML.NET库学习001：基于PCA的信用卡异常检查之样本处理与训练

文章目录 (文末提供数据集下载)ML.NET库学习001：基于PCA的信用卡异常检查之样本处理与训练目标项目概述代码结构概述1. **主要类和文件**2. **命名空间和使用指令**3. **数据类 (TransactionObservation)**4. **主程序入口 (Main 方法)**5. **数据预处理 (DataPrepr…...

编程日记 2025/5/1 3:33:03

疯狂SQL转换系列- SQL for Milvs2.4

鉴于Milvus仍在不停的迭代新版本，推出新功能，其SDK目前并不稳定。目前其2.4版本的SDK接口已与之前的2.2版本有了较大的差别，功能上也有了一定的调整。为此，我们重新提供了针对[Milvus2.4](https://github.com/colorknight/moql-tr…...

编程日记 2025/5/9 14:45:20

C++的 I/O 流

本文把复杂的基类和派生类的作用和关系捋出来，具体的接口请参考相关文档 C的 I/O 流相关的类，继承关系如下图所示 https://zh.cppreference.com/w/cpp/io I / O 的概念：内存和外设进行数据交互称为 I / O ，例如：把数…...

编程日记 2025/5/1 3:32:47

基于ansible部署elk集群

ansible部署 ELK部署 ELK常见架构 （1）ElasticsearchLogstashKibana：这种架构是最常见的一种，也是最简单的一种架构，这种架构通过Logstash收集日志，运用Elasticsearch分析日志，最后通过Kibana中…...

编程日记 2025/5/9 15:20:42

4.Python字符串和列表：字符串输入、字符串输出、下标和切片、字符串常见函数、列表(list)、列表的循环遍历、列表的增删改查、列表的嵌套、列表的切片

1. Python 字符串 1.1 字符串输入 input() 函数用于从用户获取字符串输入。它总是返回一个字符串类型的值。 # 从用户输入字符串 name input("请输入你的名字：") print(f"你好, {name}")1.2 字符串输出字符串的输出通常使用 print() 函数…...

编程日记 2025/5/9 15:02:37

51单片机之使用Keil uVision5创建工程以及使用stc-isp进行程序烧录步骤

一、Keil uVision5创建工程步骤 1.点击项目，新建 2.新建目录 3.选择目标机器，直接搜索at89c52选择，然后点击OK 4.是否添加起吊文件，一般选择否 5.再新建的项目工程中添加文件 6.选择C文件 7.在C文件中右键，添加…...

编程日记 2025/5/9 15:19:42

Redis - 全局ID生成器 RedisIdWorker

文章目录 Redis - 全局ID生成器 RedisIdWorker一、引言二、实现原理三、代码实现代码说明四、使用示例示例说明五、总结 Redis - 全局ID生成器 RedisIdWorker 一、引言在分布式系统中，生成全局唯一ID是一个常见的需求。传统的自增ID生成方式在分布式环境下容易出…...

编程日记 2025/5/9 15:01:48

Linux ftrace 内核跟踪入门

文章目录 ftrace介绍开启ftraceftrace使用ftrace跟踪指定内核函数ftrace跟踪指定pid ftrace原理ftrace与stracetrace-cmd 工具KernelShark参考 ftrace介绍 Ftrace is an internal tracer designed to help out developers and designers of systems to find what is going on i…...

编程日记 2025/5/9 14:30:04

Visual Studio（VS）没有显示垂直滚轮or垂直滚轮异常显示

前言： 前段时间，我换上了新电脑。满心欢喜地安装好 VS，准备大干一场时，却发现了一个小麻烦 —— 垂直滚轮显示异常（如图 1）。这种显示方式实在让我难以适应，每一次操作都觉得别扭。于是&#…...

编程日记 2025/5/9 10:18:07

大数据数仓实战项目（离线数仓+实时数仓）3

1.课程内容和课程目标 2.订单时间维度指标需求分析根据时间数据，生成一个时间维度表，我们后面还可以去复用这个时间维度表 3.使用kettle生成日期维度数据 Hive创建日期维度表使用Kettle构建以下组件结构图使用kettle生成日期维度数据插入到我们的hi…...

编程日记 2025/5/5 2:30:35

通过acme生成与续签ssl证书，并部署到nginx

通过acme生成与续签ssl证书，并部署到nginx 介绍官方介绍： acme.sh 实现了 acme 协议，可以从 ZeroSSL，Lets Encrypt 等 CA 生成免费的证书。安装 acme.sh 1. curl方式 curl https://get.acme.sh | sh -s emailmyexample.com…...

编程日记 2025/5/9 15:17:00

c语言对应汇编写法（以中微单片机举例）

芯片手册资料 1. 赋值语句 C语言： a 5; b a; 汇编： ; 立即数赋值 LDIA 05H ; ACC 5 LD R01,A ; R01 ACC（a5）; 寄存器间赋值 LD A,R01 ; ACC R01（读取a的值） LD R02,A ; R02 ACC&…...

编程日记 2025/5/6 14:01:57

React基础内容（面试一）

React大厂常见的面试题目涉及多个方面，包括React的基本概念、组件、状态管理、生命周期、性能优化等。以下是对这些面试题目的详细解析： 一、React基本概念解释React是什么以及它的主要特点 React是一个用于构建用户界面的JavaScript库，由F…...

编程日记 2025/5/9 14:39:20

2025年软件测试五大趋势：AI、API安全、云测试等前沿实践

随着软件开发的不断进步，测试方法也在演变。企业需要紧跟新兴趋势，以提升软件质量、提高测试效率，并确保安全性，在竞争激烈的技术环境中保持领先地位。本文将深入探讨2025年最值得关注的五大软件测试趋势。 Parasoft下载https://…...

编程日记 2025/5/9 15:09:40

常用工具类——Collections集合框架

常用工具类——Collections集合框架 Collections 是 JDK 提供的一个工具类，提供了一系列静态方法，分类来复习！ 1.排序操作 reverse(List list) :反转顺序shuffle(List list) ： 洗牌，将顺序打乱sort(List list) &…...

编程日记 2025/5/9 14:06:05

【大数据技术】搭建完全分布式高可用大数据集群（ZooKeeper）

搭建完全分布式高可用大数据集群（ZooKeeper） apache-zookeeper-3.8.4-bin.tar.gz注：请在阅读本篇文章前，将以上资源下载下来。写在前面本文主要介绍搭建完全分布式高可用集群 ZooKeeper 的详细步骤。注意：统一约定将软件安装包存放于虚拟机的/software目录下，软件…...

编程日记 2025/5/9 14:15:19

Docker Desktop安装kubernetes时一直在Starting:Kubernetes failed to start

原因：由于墙的问题，导致拉取国外的K8s镜像失败解决： 下载 k8s-for-docker-desktop 选中自己的kubernetes 版本下载zip包 PowerShell运行load_images.ps1文件重启docker kubernetes运行成功...

编程日记 2025/4/24 22:37:28

物流中的物联网：其含义、应用和优势

随着世界联系日益紧密，物流格局正经历重大变革。科技已成为供应链管理的支柱，推动物流公司迈入效率与连通性兼具的新时代。物联网（IoT）是一股变革性力量，重塑着物流与运输行业的架构。物联网在物流领域并非昙花一现的…...

编程日记 2025/5/9 10:22:57

Axure设计教程：动态排名图（中继器实现）

一、开篇在Axure原型设计中，动态图表是展示数据和交互效果的重要元素。今天，我们将学习如何使用中继器来创建一个动态的排名图，该图表不仅支持自动轮播，还可以手动切换，极大地增强了用户交互体验。此教程旨在提供一个…...

编程日记 2025/5/9 15:19:42

【人工智能】掌握图像风格迁移：使用Python实现艺术风格的自动化迁移

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界图像风格迁移（Image Style Transfer）是一种基于深度学习的计算机视觉技术，通过将一张图像的内容与另一张图像的艺术风格结合，生成一幅具…...

编程日记 2025/5/7 23:50:40

# C指针地址CUP寄存器访问IO内存映射

C指针地址&CUP寄存器访问&IO内存映射在裸机编程中，C语言可以像汇编语言一样直接操作芯片寄存器地址进行读取和写入，主要是由于以下几个原因： 1. 裸机环境下没有操作系统的干预裸机编程是指直接在硬件上运行程序，没有…...

编程日记 2025/5/6 7:18:53

UE5 蓝图学习计划 - Day 14：搭建基础游戏场景

在上一节中，我们确定了游戏类型，并完成了项目搭建、角色蓝图的基础设置（移动）。今天，我们将进一步完善游戏场景，搭建地形、墙壁、机关、触发器等基础元素，并添加角色跳跃功能，为…...

编程日记 2025/5/6 2:41:04

浅尝yolo11全程记录1-准备环境＋官网模型推理（个人备份）

准备工作（虚拟环境、导入项目） 安装Anaconda 主要是为了创建和管理虚拟环境，在pycharm里按照项目里的requirments.txt安装依赖的时候，使用虚拟环境会好很多（我记得不用Anaconda也可以直接在pycharm的terminal里头创建…...

编程日记 2025/5/1 1:23:17

用 Python 给 Excel 表格截图（20250207）

我搜索了网络上的方案，感觉把 Excel 表格转换为 HTML 再用 platwright 截图是比较顺畅的路径，因为有顺畅的工具链。如果使用的是 Windows 系统则不需要阅读此文，因为 win32com 库更方便。这篇文章中 Excel 转 HTML 的方案，主要弥补…...

编程日记 2025/5/9 14:58:55

Office/WPS接入DS等多个AI工具，开启办公新模式！

在现代职场中，Office办公套件已成为工作和学习的必备工具，其功能强大但复杂，熟练掌握需要系统的学习。为了简化操作，使每个人都能轻松使用各种功能，市场上涌现出各类办公插件。这些插件不仅提升了用户体验，…...

编程日记 2025/5/9 7:50:08

智能化转型2.0：从“工具应用”到“价值重构”

过去几年，“智能化”从一个模糊的概念逐渐成为企业发展的核心议题。2024年，随着生成式AI、大模型、智能体等技术的爆发式落地，中国企业正式迈入智能化转型的2.0时代。这一阶段的核心特征是从单一场景的“工具应用”转向全链条的“价值重构”&…...

编程日记 2025/5/9 14:58:55

深度整理总结MySQL——索引工作原理

B树索引数据结构前言什么样的索引数据结构是好的搜索速度要求支持范围查找寻求适合查找的算法寻求合适的数据结构二叉查找树自平衡二叉树B树B树数据结构B与B树比较总结前言相信你在面试时，通常会被问到“什么是索引？”而你一定要能脱口而出&#xf…...

编程日记 2025/5/9 15:00:50

基于asr的所见即可说方案

年前写的文章对所见即可说方案进一步调研-CSDN博客，针对rk3568定制版，进行了Accessibility实现所见即可说功能的验证与调研，结论是不可行。最终解决方案是：结合科大讯飞的AI大模型智能助手，使用rk3588板（…...

编程日记 2025/5/9 15:14:18

【截图】selenium自动通过浏览器截取指定元素div的图片

【截图】selenium自动通过浏览器截取指定元素div的图片思路截取完整网页截图通过元素的坐标截图到指定位置的图片前提是已经获取到 driver 了 # 定位目标divtarget_div driver.find_element(By.CLASS_NAME, headlines-right)# 获取div的位置和大小location target_div…...

编程日记 2025/5/9 15:14:18

CSS入门学习笔记（一）

学习视频：https://www.bilibili.com/video/BV1zN2UYoEEo/ 目录基本介绍语法引入方式内联样式（行内样式）内部样式外部样式选择器四种选择器全局选择器元素选择器类选择器id选择器合并选择器选择器的优先级字体属性colorfont-sizefont-weig…...

编程日记 2025/5/9 14:44:30

docker安装es及分词器ik

系统是macos，docker是docker-desktop 拉取镜像 docker pull bitnami/elasticsearch 启动docker镜像 docker create -e "discovery.typesingle-node" \ --name elasticsearch1 -p 9200:9200 -p 9300:9300 \ bitnami/elasticsearch:8.17.1 测试是否好…...

编程日记 2025/5/8 21:20:03

11. 9 构建生产级聊天对话记忆系统：从架构设计到性能优化的全链路指南

构建生产级聊天对话记忆系统：从架构设计到性能优化的全链路指南关键词：聊天对话记忆系统、多用户会话管理、LangChain生产部署、Redis记忆存储、高并发对话系统一、服务级聊天记忆系统核心需求多用户隔离：支持同时处理数千个独立对话持久化存储：对话历史不因服务重启丢…...

编程日记 2025/5/9 8:35:14

SpringBoot启动源码剖析：从入口到容器的诞生

文章目录 SpringBoot启动的核心入口SpringApplication的初始化SpringBoot的启动流程1. 准备环境（Environment）2. 创建应用上下文（ApplicationContext）3. 刷新应用上下文（Refresh Context）4. 调用Runner接口…...

编程日记 2025/5/9 14:13:28

Day38【AI思考】-彻底打通线性数据结构间的血脉联系

文章目录 **彻底打通线性数据结构间的血脉联系****数据结构家族谱系图****一、线性表（老祖宗的规矩）****核心特征** **二、嫡系血脉解析**1. **数组（规矩森严的长子）**2. **链表（灵活变通的次子）** **三、庶…...

编程日记 2025/5/9 2:47:33

虚拟鼠标MATVT：遥控器操控的安卓电视增强工具

虚拟鼠标MATVT：遥控器操控的安卓电视增强工具 matvt Virtual Mouse for Android TV that can be controlled via remote itself. 项目地址: https://gitcode.com/gh_mirrors/ma/matvt 项目基础介绍与编程语言虚拟鼠标MATVT（matvt）是…...

编程日记 2025/5/6 15:55:46

优惠券平台（一）：基于责任链模式创建优惠券模板

前景概要系统的主要实现是优惠券的相关业务，所以对于用户管理的实现我们简单用拦截器在触发接口前创建一个单一用户。 // 用户属于非核心功能，这里先通过模拟的形式代替。后续如果需要后管展示，会重构该代码 UserInfoDTO userInfoDTO new…...

编程日记 2025/5/8 15:33:12

从零开始：OpenCV 图像处理快速入门教程

文章大纲第1章 OpenCV 概述 1.1　OpenCV的模块与功能　 1.2 OpenCV的发展 1.3 OpenCV的应用第2章基本数据类型 2.1 cv::Vec类 2.2 cv：：Point类 2.3 cv：：Rng类 2.4 cv：：Size类 2.5 cv：&…...

编程日记 2025/5/8 1:57:49

计算机网络-SSH基本原理

最近年底都在忙，然后这两天好点抽空更新一下。前面基本把常见的VPN都学习了一遍，后面的内容应该又继续深入一点。一、SSH简介 SSH（Secure Shell，安全外壳协议）是一种用于在不安全网络上进行安全远程登录和实现其他安…...

编程日记 2025/5/6 10:28:10

数据库性能优化(sql优化)_统计信息_yxy

数据库性能优化_统计信息理解 1 什么是数据库统计信息？2 统计信息不准确3 统计信息分类3.1 表统计信息3.2 列统计信息3.3 索引统计信息4 统计方式4.1 频率直方图4.2 等高直方图5 总结1 什么是数据库统计信息？数据库中同一个sql有非常多种执行方式，每种执行方式的代价肯定不…...

编程日记 2025/5/8 6:01:34

QT通过setProperty设置不同QSS样式

如上切换效果就是通过setProperty来实现切换不同颜色的。实现以上效果第一步，需要在QSS中做属性处理。 QLabel{color:red;} QLabel[status"1"]{color:black;} QLabel[status"2"]{color:white;} QLabel[status"3"]{color:blue;} QLa…...

编程日记 2025/5/6 15:03:48

基础入门-算法解密散列对称非对称字典碰撞前后端逆向MD5AESDESRSA

知识点： 0、算法类型-单向散列&对称性&非对称性 1、算法识别加解密-MD5&AES&DES&RSA 2、解密条件寻找-逻辑特征&源码中&JS分析应用场景： 1、发送数据的时候自动将数据加密发送（只需加密即可） 安全…...

编程日记 2025/5/8 17:06:06