当前位置： 首页 > news >正文

使用 Auto-Keras 进行自动化机器学习

news 来源：原创 2025/7/30 8:06:05

使用 Auto-Keras 进行自动化机器学习

了解自动化机器学习以及如何使用 auto-keras 完成它。如今，机器学习并不是一个非常罕见的术语，因为像 DataCamp、Coursera、Udacity 等组织一直在努力提高他们的效率和灵活性，以便将机器学习的教育带给普通人。凭借他们平台的优势，如今几乎不需要先决条件即可开始该领域真的很容易。然而，自动化机器学习一词如今在流行的数据科学教育论坛上成为很多头条新闻。许多组织，如 Google、H2O.ai 等，都在这一领域开展工作，值得称赞。与机器学习相比，这不是一个非常常见的话题。因为机器学习处理的是自动化部分本身;因此，自然而然地，首先想到的问题是 - “机器学习也可以自动化吗？"

了解标准 Machine Learning 管道

当您以数据科学家的身份解决问题时，您的标准工作流程如下所示：

  1. 数据采集
  2. 数据预处理
  3. 初始化可能适合问题的机器学习模型
  4. 训练模型
  5. 测试模型
  6. 调整模型的参数
  7. 再次测试模型
  8. 传达结果

第二步，数据预处理，其上下文非常广泛，因为它本质上是上述管道中最耗时的任务之一，它包括许多子任务，例如数据清理、数据转换、特征选择等。从 3 到 7 的步骤仅适用于一个机器学习模型。一个好的从业者肯定不会只在一个模型之后就停下来。他将在不同的模型上尝试实验以比较它们的结果，并最终决定问题的最佳模型。那么，这是另一组非常耗时的任务 - 决定选择哪种模型？

机器学习管道如何实现自动化

您将继续本节，为问题确定最佳模型，以及可能性的数量和截止日期成反比的情况。在本教程的开头，您遇到了一个问题：“机器学习也可以自动化吗？这个问题一点也不愚蠢。甚至伟大的 Sebastian Raschka 在他的一次采访中也将自动化机器学习描述为“自动化的自动化”。

重新访问您刚刚研究的数据科学任务的标准工作流中的第 5 步 - 调整模型的超参数。假设您已经完成了后续步骤的数据准备，并且您刚刚启动了一个分类器 X X X。现在，假设 X X X 接受 5 个不同的超参数。因此，您将不得不尝试相同的分类器 X X X 但使用不同的超参数值集，这绝对不是一项容易的任务。现在是更令人不安的部分。在尝试了各种组合后，您发现结果不够好。因此，您决定再测试四个分类器（每个分类器有 6 个不同的超参数）。你能想象这有多耗时吗？即使在那之后，如果您没有得到好的结果怎么办？对此的调查将不过是另一个非常耗时的过程。

因此，自动化机器学习的理念就来自这个问题。"如果必须使用各种算法和许多不同的超参数配置构建大量机器学习模型，那么这种模型构建可以自动化，模型性能和准确性的比较也可以自动化。- KDNuggets

现在有理由解释为什么 Automated Machine Learning 这个术语最近在流行的数据科学教育论坛上成为很多头条新闻。现在，您将在下一节中了解有关自动化机器学习的更多信息

自动化机器学习简介

为不同的机器学习模型优化超参数的任务本质上也很可能非常耗时。在更特定于计算机科学的术语中，超参数的调整是一个搜索过程，在这种情况下，该过程可能非常详尽。那么，如果这个过程本身可以自动化呢？嗯，这就是自动化机器学习的基本作用。“自动化机器学习是解决数据科学家短缺问题的直接解决方案，因为它可以通过加快工作周期、提高模型准确性来大幅提高数据科学家的绩效和生产力，并最终甚至可能取代对数据科学家的需求。”-用于物联网的自动化机器学习

您现在已经具备了有关自动化机器学习的足够知识，并已准备好将其付诸实践。但首先，让我们看看一些广泛用于进行自动化机器学习的 Python 库是什么。

用于自动化机器学习的 Python 库

有许多 Python 库可用于执行自动化机器学习。它们都试图实现或多或少相同的目标，即自动化机器学习过程。以下是一些用于自动化机器学习的最广泛使用的 Python 库：

  • 自动 Sklearn
  • TPOT 系列
  • 自动 Keras
  • H2O.ai
  • Google 的 AutoML

这些库中的每一个都有自己的方法来处理 “自动化的自动化” 过程。但在本教程中，您将使用 Auto-Keras。那为什么还要等呢？让我们开始吧

Auto-keras 简介

“Auto-Keras 是一个用于自动化机器学习的开源软件库。”（来源）它由德克萨斯 A&M 大学的 DATA 实验室和社区贡献者开发。根据官方网站 - “这种自动化机器学习的最终目标是为数据科学或机器学习背景有限的领域专家提供易于访问的深度学习工具。Auto-Keras 提供自动搜索深度学习模型的架构和超参数的功能。auto-keras"

在这里插入图片描述

现在您已经成功安装了 Auto-Keras，是时候进行一些快速实施了。

使用 Auto-keras 的 AutoML 案例研究

在本案例研究中，您将使用非常流行的 MNIST 数据集。 内置了此数据集。因此，您无需单独下载。您将从加载 的模块开始。您还将从模块加载 MNIST 数据集。keras``ImageClassifier``auto-keras``keras

from keras.datasets import mnist
from autokeras import ImageClassifier

您从 module 加载了 MNIST 数据集，并且还从 中导入了 。现在，您将数据集分为 train 和 test split。keras.datasets``ImageClassifier``auto-keras

(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(x_train.shape + (1,)) # (1,) denotes the channles which is 1 in this case
x_test = x_test.reshape(x_test.shape + (1,)) # (1,) denotes the channles which is 1 in this case
Downloading data from https://s3.amazonaws.com/img-datasets/mnist.npz
11493376/11490434 [==============================] - 1s 0us/step

您已经分离了训练和测试拆分，现在您将使用 和 拟合 ImageClassifier。您将在 和 上测试其性能。x_train``y_train``x_test``y_test

# Instantiate the ImageClassifier class
clf = ImageClassifier(verbose=True, augment=False)
# Fit the train set to the image classifier
clf.fit(x_train, y_train, time_limit=12 * 60 * 60)
clf.final_fit(x_train, y_train, x_test, y_test, retrain=True)
# Summarize the results
y = clf.evaluate(x_test, y_test)
print(y * 100)

就这么简单。只需 4 到 5 行代码，您就可以完成快速实验。嗯，它并没有那么快。上面的代码需要相当长的时间才能执行。用于运行 Deep Learning 实验的体面配置无疑会对您有所帮助。Google Colab也是一个很好的起点。

现在，让我们详细了解您在上述代码中使用的参数。为此，您将参考 auto-keras 的文档，以下是文档的相关摘录：

  • 在 ImageClassifier（） 中：
    • verbose：是否将搜索进程打印到输出的布尔值。
    • augment：一个布尔值，指示数据是否需要扩充。如果未定义，则它将使用 Constant.DATA_AUGMENTATION 的值，默认情况下为 True。
  • 在 fit（） 方法中：
    • time_limit：搜索的时间限制（以秒为单位）。
  • final_fit（）：找到最佳架构后的最终训练。
    • retrain：是否重新初始化模型权重的布尔值。

Auto-keras 是一个不断发展的库，目前仍处于预发布版本。根据官网介绍，它支持以下主要模块：

  • supervised：所有监督任务的基类。
  • bayesian：用于贝叶斯优化的 GaussianProcessRegressor。
  • search：所有搜索器类的基类。每个搜索器类都可以覆盖其搜索函数来实现其策略。
  • graph：表示 Keras 模型的神经架构图的类。Graph 从 Keras 模型中提取神经架构图。图中的每个节点都是层之间的中间张量。每个层都是图形中的一条边。值得注意的是，多个边缘可能引用同一图层。（例如，Add layer 是将两个张量添加到一个张量中。所以它与两条边有关。
  • preprocessor：可以格式化数据的类。此类提供了将数据的分类标签转换为向量的方法。
  • model_trainer：用于训练模型的类。此类可以使用给定的数据加载器训练 Pytorch 模型。metric、loss_function 和 model 必须彼此兼容。请参阅 属性 中的详细信息。

结尾

你已经坚持到了最后。在本教程中，您大致研究了机器学习的过程，并了解了如何实现自动化。您快速浏览了可用于执行 AutoML 的库。您使用并了解了它提供的高级抽象类型以及它的易用性。auto-kerasauto-keras

本教程可能会给您一个负面的概念，即 AutoML 在完全证明时可以取代许多数据科学家。真？再想一想。AutoML 实际上使数据科学家摆脱了为问题选择最佳模型的迭代过程的负担。在该课程中，数据科学家可能会更关注更重要的数据本身。Randy Olson 的这次采访涵盖了有关这个主题的一些美丽的见解。确保你读了一遍，你会再次感到沮丧。如果您觉得自己不确定机器学习从业者所做的工作，请查看这篇文章。

相关文章：

使用 Auto-Keras 进行自动化机器学习

使用 Auto-Keras 进行自动化机器学习 了解自动化机器学习以及如何使用 auto-keras 完成它。如今，机器学习并不是一个非常罕见的术语，因为像 DataCamp、Coursera、Udacity 等组织一直在努力提高他们的效率和灵活性，以便将机器学习的教育带给普…...

编程日记 2025/7/30 8:06:05

算法刷题Day9 5.18:leetcode定长滑动窗口3道题，结束定长滑动窗口,用时1h

12. 1852.每个子数组的数字种类数 1852. 每个子数组的数字种类数 - 力扣&#xff08;LeetCode&#xff09; 思想 找到nums 所有 长度为 k 的子数组中 不同 元素的数量。 返回一个数组 ans&#xff0c;其中 ans[i] 是对于每个索引 0 < i < n - k&#xff0c;nums[i..(i …...

编程日记 2025/7/24 15:36:49

Protect Your Digital Privacy: Obfuscate, Don’t Hide

Protect Your Digital Privacy: Obfuscate, Don’t Hide In today’s digital world, hiding completely online is nearly impossible. But you can protect yourself by deliberately obfuscating your personal information — making it harder for others to track, pro…...

编程日记 2025/7/28 13:41:39

Spark 的运行模式(--master) 和 部署方式(--deploy-mode)

Spark 的 运行模式&#xff08;--master&#xff09; 和 部署方式&#xff08;--deploy-mode&#xff09;&#xff0c;两者的核心区别在于 资源调度范围 和 Driver 进程的位置。 一、核心概念对比 维度--master&#xff08;运行模式&#xff09;--deploy-mode&#xff08;部署…...

编程日记 2025/7/29 1:11:23

从零开始实现大语言模型（十五）：并行计算与分布式机器学习

1. 前言 并行计算与分布式机器学习是一种使用多机多卡加速大规模深度神经网络训练过程&#xff0c;以减少训练时间的方法。在工业界的训练大语言模型实践中&#xff0c;通常会使用并行计算与分布式机器学习方法来减少训练大语言模型所需的钟表时间。 本文介绍PyTorch中的一种…...

编程日记 2025/7/23 1:39:09

生产模式下react项目报错minified react error #130的问题

这天&#xff0c;线上突然出现了一个bug&#xff0c;某个页面打开空白&#xff0c;看控制台报错minified react error #130&#xff0c;在本地看却是正常的&#xff0c;百思不得其解。 后来发现是由于线上项目它的包更新过了&#xff0c;而我本地的包没有更新&#xff0c;所以我…...

编程日记 2025/7/29 13:50:31

本地无损放大软件-realesrgan-gui

—————【下 载 地 址】——————— 【​本章下载一】&#xff1a;https://drive.uc.cn/s/84516041df174 【​本章下载二】&#xff1a;https://pan.xunlei.com/s/VOQDybD4ruF0-m8UJrCF-HtLA1?pwdxz9e# 【百款黑科技】&#xff1a;https://ucnygalh6wle.feishu.cn/wiki/…...

编程日记 2025/7/26 17:37:04

Java面试深度解析：微服务与云原生技术应用场景详解

Java面试深度解析&#xff1a;微服务与云原生技术应用场景详解 面试场景 面试官&#xff1a;我们今天的面试会围绕微服务与云原生技术展开&#xff0c;结合一个在线教育平台的业务场景进行提问。希望你放松心态&#xff0c;正常发挥。 码农明哥&#xff1a;好的好的&#xf…...

编程日记 2025/7/23 17:30:28

短剧小程序系统开发源码上架，短剧项目市场分析

引言 随着短视频内容消费的爆发式增长&#xff0c;短剧小程序凭借其碎片化、强互动、低成本的特点&#xff0c;成为内容创业与资本布局的新风口。2024年以来&#xff0c;行业规模突破500亿元&#xff0c;预计2027年将超千亿17。本文将深度解析短剧小程序系统开发的技术优势、市…...

编程日记 2025/7/11 1:15:14

常见的请求头（Request Header）参数

1. Accept 作用&#xff1a;告知服务器客户端支持的响应数据格式&#xff08;如 JSON、XML、HTML&#xff09;。示例&#xff1a;Accept: application/json&#xff08;优先接收 JSON 格式数据&#xff09;。 2. Content-Type 作用&#xff1a;说明请求体的数据格式&#xff08…...

编程日记 2025/7/25 11:20:52

渗透测试核心技术：内网渗透与横向移动

内网渗透是红队行动的关键阶段，攻击者通过突破边界进入内网后，需快速定位域控、横向移动并维持权限。本节从内网环境搭建、信息收集、横向移动技巧到权限维持工具，系统讲解如何在内网中隐蔽行动并扩大战果。 1. 内网环境搭建与基础配置 目标： 模拟真实企业网络，构建包含…...

编程日记 2025/7/24 8:16:00

2025/5/18

继续研究一下大佬的RAG项目。开始我的碎碎念。 RAG可以分成两部分&#xff1a;一个是问答&#xff0c;一个是数据处理。 问答是人提问&#xff0c;然后查数据库&#xff0c;把查的东西用大模型组织成人话&#xff0c;回答人的提问。 数据处理是把当下知识库里的东西&#xf…...

编程日记 2025/7/18 17:00:54

使用国内源加速Qt在线安装

简介&#xff1a; 在线安装Qt时&#xff0c;会发现下载非常缓慢&#xff0c;可以用过使用国内镜像源来加速安装过程。 在线安装包的下载过程&#xff1a; 1&#xff0c;打开下载页面 https://www.qt.io/download-open-source 2&#xff0c;点击 Download the Qt online ins…...

编程日记 2025/7/27 6:43:21

【图像生成大模型】HunyuanVideo：大规模视频生成模型的系统性框架

HunyuanVideo&#xff1a;大规模视频生成模型的系统性框架 引言HunyuanVideo 项目概述核心技术1. 统一的图像和视频生成架构2. 多模态大语言模型&#xff08;MLLM&#xff09;文本编码器3. 3D VAE4. 提示重写&#xff08;Prompt Rewrite&#xff09; 项目运行方式与执行步骤1. …...

编程日记 2025/7/24 8:33:46

Java IO流（超详细！！！）

Java IO流 文章目录 Java IO流1.文件相关基础普及1.1 常用文件操作1.3 目录的操作和文件删除 2.IO流原理及流的分类2.1 字节流2.1.1 InputStream&#xff1a;字节输入流2.1.2 OutputStream 2.2 字符流2.2.1 Reader2.2.1 Writer 2.3 节点流和处理流2.3.1节点流2.3.2 处理流2.3.2…...

编程日记 2025/7/17 1:23:31

规则联动引擎GoRules初探

背景说明 嵌入式设备随着物联网在生活和生产中不断渗透而渐渐多起来&#xff0c;数据的采集、处理、分析在设备侧的自定义配置越来越重要。一个可通过图形化配置的数据处理过程&#xff0c;对于加速嵌入式设备的功能开发愈发重要。作为一个嵌入式软件从业者&#xff0c;笔者一…...

编程日记 2025/7/16 14:44:52

Android开发-翻页类视图

在Android应用中&#xff0c;翻页类视图&#xff08;Paging Views&#xff09; 是一种非常直观且用户友好的方式来展示内容。无论是用于展示图片轮播、引导页还是分页加载数据列表&#xff0c;翻页效果都能极大地提升用户体验。本文将介绍几种实现翻页效果的常见组件和方法&…...

编程日记 2025/7/26 7:22:13

高能数造闪耀 CIBF 2025，以创新技术引领新能源智造新征程

在全球新能源产业加速发展的关键节点&#xff0c;CIBF 2025 展会成为行业技术与成果交流的重要平台。高能数造&#xff08;西安&#xff09;技术有限公司深度参与此次盛会&#xff0c;凭借在新能源电池智能制造领域的深厚积累与创新突破&#xff0c;为行业发展注入强劲动力&…...

编程日记 2025/7/25 4:20:44

数据结构与算法——栈和队列

栈和队列 栈概念与结构栈的实现栈的初始化栈的销毁判断栈是否为空入栈出栈取栈顶元素栈中有效元素个数 队列概念与结构队列的实现队列结点结构队列结构初始化队列队列判空销毁队列入队列&#xff0c;队尾出队列&#xff0c;队头取队头数据取队尾数据队列有效数据个数 栈 概念与…...

编程日记 2025/7/25 4:46:52

新电脑软件配置三 pycharm

快捷键放大和缩小字体 按住ctrl鼠标滚轮向上 缩小同理...

编程日记 2025/7/7 3:14:11

浅入ES5、ES6（ES2015）、ES2023（ES14）版本对比，及使用建议---ES6就够用（个人觉得）

JavaScript&#xff08;ECMAScript&#xff09;的发展经历了多个版本&#xff0c;每个版本都引入了新特性和改进。以下仅是对三个常用版本&#xff08;ES5、ES6&#xff08;ES2015&#xff09; 和 ES2023&#xff09;的基本对比及使用建议&#xff1a; 目前常见项目中还是用ES6…...

编程日记 2025/7/26 21:13:10

【Odoo】Pycharm导入运行Odoo15

【Odoo】Pycharm导入运行Odoo15 前置准备1. Odoo-15项目下载解压2. PsrtgreSQL数据库 项目导入运行1. 项目导入2. 设置项目内虚拟环境3. 下载项目中依赖4. 修改配置文件odoo.conf 运行Pycharm快捷运行 前置准备 1. Odoo-15项目下载解压 将下载好的项目解压到开发目录下 2. …...

编程日记 2025/7/27 5:20:57

【运营商查询】批量手机号码归属地和手机运营商高速查询分类，按省份城市，按运营商移动联通电信快速分类导出Excel表格，基于WPF的实现方案

WPF手机号码归属地批量查询与分类导出方案 应用场景 ​​市场营销​​&#xff1a;企业根据手机号码归属地进行精准营销&#xff0c;按城市或省份分类制定针对性推广策略​​客户管理​​&#xff1a;快速对客户手机号码进行归属地分类&#xff0c;便于后续客户关系管理​​数…...

编程日记 2025/7/25 12:08:17

中级统计师-统计学基础知识-第四章 假设检验

一、假设检验的基本原理 1. 基本思想 反证法&#xff1a;假设原假设成立&#xff0c;通过样本矛盾性进行反驳小概率原理&#xff1a;设定显著性水平 α \alpha α&#xff08;通常取 0.05&#xff09;&#xff0c;若观测结果的概率 p ≤ α p \leq \alpha p≤α&#xff0c…...

编程日记 2025/7/26 8:20:15

等于和绝对等于的区别

1. &#xff08;等于&#xff09; 特点&#xff1a;比较时会自动进行类型转换&#xff08;隐式转换&#xff09;&#xff0c;尝试将两边的值转为相同类型后再比较。规则&#xff1a; 如果类型相同&#xff0c;直接比较值。如果类型不同&#xff0c;按以下规则转换&#xff1a; …...

编程日记 2025/7/22 2:27:13

家庭关系处理个人总结

首先要说到前面的是&#xff0c;每个家庭的成员背景环境经济状况不同&#xff0c;原生家庭差异&#xff0c;导致面临具体问题是不同的。就类似软件“没有银弹”的概念&#xff0c;没有一种方法可以解决每个人问题。 举个例子&#xff0c;面对婆媳矛盾 网上父辈的人 会说 百行孝…...

编程日记 2025/7/24 10:42:23

【Python训练营打卡】day29 @浙大疏锦行

DAY 29 复习日 知识点回顾 1. 类的装饰器 2. 装饰器思想的进一步理解&#xff1a;外部修改、动态 3. 类方法的定义&#xff1a;内部定义和外部定义 作业&#xff1a;复习类和函数的知识点&#xff0c;写下自己过去29天的学习心得&#xff0c;如对函数和类的理解&#xff0c;…...

编程日记 2025/7/29 8:19:26

React 19版本refs也支持清理函数了。

文章目录 前言一、refs 支持清理函数二、案例演示1.useEffect写法2.React 19改进 的ref写法 总结 前言 React 19版本发布了ref支持清理函数了&#xff0c;这样就可以达到useEffect一样的效果了。为啥需要清理函数呢&#xff0c;这是因为节约内存。 清理事件监听&#xff08;避…...

编程日记 2025/7/29 22:39:43

uniapp的适配方式

文章目录 前言✅ 一、核心适配方式对比&#x1f4cf; 二、rpx 单位&#xff1a;uni-app 的核心适配机制&#x1f9f1; 三、默认设计稿适配&#xff08;750宽&#xff09;&#x1f501; 四、字体 & 屏幕密度适配&#x1f6e0; 五、特殊平台适配&#xff08;底部安全区、刘海…...

编程日记 2025/7/26 10:08:14

Java面试场景：从音视频到AI应用的技术探讨

面试场景&#xff1a;音视频与AI应用技术的碰撞 在某互联网大厂的面试中&#xff0c;面试官王先生与求职者明哥展开了一场关于音视频技术与AI应用的对话。 第一轮提问&#xff1a;音视频场景 面试官&#xff1a;明哥&#xff0c;你能谈谈在音视频场景中&#xff0c;Spring B…...

编程日记 2025/7/24 14:05:39

es聚合-词条统计

es语句 ---普通结构----"tags":{"type": "keyword","index": true},GET /knowledge_test/_search {"size": 0,"aggs": {"tag_count": {"terms": {"field": "tags",&quo…...

编程日记 2025/7/29 11:42:37

【沉浸式求职学习day43】【Java面试题精选3】

沉浸式求职学习 1.Java中this和super的区别2.为什么返回类型不算方法重载3.方法重写时需要注意什么问题4.深克隆和浅克隆有什么区别5.如何实现深克隆6.什么是动态代理7.静态代理和动态代理的区别8.如何实现动态代理&#xff1f;9.JDK Proxy 和 CGLib 有什么区别&#xff1f;10.…...

编程日记 2025/7/27 13:17:50

OpenAI推出Codex — ChatGPT内置的软件工程Agents

OpenAI继续让ChatGPT对开发者更加实用。 几天前，他们增加了连接GitHub仓库的支持，可以"Deep Research"并根据你自己的代码提问。 今天，该公司在ChatGPT中推出了Codex的研究预览版，这是迄今为止最强大的AI编码Agent。 它可以编写代码、修复错误、运行测试，并在…...

编程日记 2025/7/27 4:17:29

Win 11开始菜单图标变成白色怎么办？

在使用windows 11的过程中&#xff0c;有时候开始菜单的某些程序图标变成白色的文件形式&#xff0c;但是程序可以正常打开&#xff0c;这个如何解决呢&#xff1f; 这通常是由于快捷方式出了问题&#xff0c;下面跟着操作步骤来解决吧。 1、右键有问题的软件&#xff0c;打开…...

编程日记 2025/7/29 20:57:01

中级统计师-统计学基础知识-第三章 参数估计

统计学基础知识 第三章 参数估计 第一节 统计量与抽样分布 1.1 总体参数与统计量 总体参数&#xff1a;描述总体特征的未知量&#xff08;如均值 μ \mu μ、方差 σ 2 \sigma^2 σ2、比例 π \pi π&#xff09;。统计量&#xff1a;由样本数据计算的量&#xff08;如样本…...

编程日记 2025/7/24 10:36:02

学习黑客HTTP 请求头

HTTP 请求头&#xff08;Request Headers&#xff09;是 HTTP 请求中非常重要的一部分&#xff0c;它们以键值对的形式向服务器传递关于请求的附加信息、客户端的能力或上下文。 理解请求头对于 Web 开发、API 交互、网络调试和安全都至关重要。下面我将常见的 HTTP 请求头字段…...

编程日记 2025/7/25 11:20:53

日志参数含义

一 学习率相关 base_lr&#xff1a;基础学习率&#xff0c;初始设定的学习率 -lr&#xff1a;当前实际使用的学习率&#xff0c;通常是 base_lr 经过学习率调整策略后的值&#xff0c;比如lrbase_lr*(1start_factor) 时间统计 time&#xff1a;每次迭代总时间&#xff0c;单位…...

编程日记 2025/7/28 20:53:15

[Linux]安装吧！我的软件包管理器！

一、常见安装方式 在 Linux 中&#xff0c;有 3 种常见的软件安装方式&#xff1a; &#xff08;1&#xff09;yam、apt &#xff08;2&#xff09;.rpm 安装包安装 &#xff08;3&#xff09;源码安装 二、什么是软件包 在 Linux 下安装软件&#xff0c;通常的办法是下载…...

编程日记 2025/7/29 8:19:20

Flink 作业提交流程

Apache Flink 的 作业提交流程&#xff08;Job Submission Process&#xff09; 是指从用户编写完 Flink 应用程序&#xff0c;到最终在 Flink 集群上运行并执行任务的整个过程。它涉及多个组件之间的交互&#xff0c;包括客户端、JobManager、TaskManager 和 ResourceManager。…...

编程日记 2025/7/30 7:33:39

牛客网NC276110题解：小红的数组重排

牛客网NC276110题解&#xff1a;小红的数组重排 题目解析 算法思路 对数组进行排序&#xff08;非降序&#xff09;检查特殊情况&#xff1a; 如果存在三个连续相等的元素&#xff0c;则无解如果前两个元素都是0&#xff0c;则无解 若不存在特殊情况&#xff0c;则排序后的数…...

编程日记 2025/7/23 20:41:17

从零启动 Elasticsearch

elastic 有弹力的 ElaticSearch &#xff08;ES&#xff09;是一个基于 Lucene 的分布式全文检索引擎。可以做到近乎实时地存储、检索数据&#xff0c;并且本身具有良好的扩展性&#xff0c;可以扩展到上百台服务器&#xff0c;处理PB级别&#xff08;1 Petabyte 1024TB&…...

编程日记 2025/7/24 9:20:30

nginx服务器实验

1.实验要求 1&#xff09;在Nginx服务器上搭建LNMP服务&#xff0c;并且能够对外提供Discuz论坛服务。 在Web1、Web2服务器上搭建Tomcat 服务。 2&#xff09;为nginx服务配置虚拟主机&#xff0c;新增两个域名 www.kgc.com 和 www.benet.com&#xff0c;使用http://www.kgc.…...

编程日记 2025/7/22 6:59:13

王树森推荐系统公开课 排序02：Multi-gate Mixture-of-Experts (MMoE)

专家模型 与上一节相同&#xff0c;模型的输入是一个向量&#xff0c;包含用户特征、物品特征、统计特征、场景特征&#xff0c;把向量输入三个神经网络&#xff0c;三个神经网络都是由很多全连接层组成&#xff0c;但是并不共享参数&#xff0c;三个神经网络各输出一个向量&a…...

编程日记 2025/7/26 4:46:23

【OpenCV基础 1】几何变换、形态学处理、阈值分割、区域提取和脱敏处理

目录 一、图像几何变化 1、对图片进行放大、缩小、水平放大和垂直放大 2、旋转、缩放、控制画布大小 二、图像形态学处理 1、梯度运算 2、闭运算 3、礼帽运算 4、黑帽运算 三、图像阈值分割 1、二值化处理 2、反二值化处理 3、截断阈值处理 4、超阈值零处理 5、低…...

编程日记 2025/7/28 17:47:13

代码随想录算法训练营 Day49 图论Ⅰ 深度优先与广度优先

图论 基础 图的概念 图的概念 概念清单有向图 (a)无向图 (b)有向/无向如图 a 所示每条边有指向如图 b 所示每条边没有箭头指向权值每条边的权值每条边的权值度-有几条边连到该节点 (eg V 2 V_2 V2​ 度为 3)入度/出度出度&#xff1a;从该节点出发的边个数入度&#xff1a;…...

编程日记 2025/7/29 1:38:18

LG P9844 [ICPC 2021 Nanjing R] Paimon Segment Tree Solution

Description 给定序列 a ( a 1 , a 2 , ⋯ , a n ) a(a_1,a_2,\cdots,a_n) a(a1​,a2​,⋯,an​)&#xff0c;有 m m m 次修改 ( l , r , v ) (l,r,v) (l,r,v)&#xff1a; 对每个 i ∈ [ l , r ] i\in[l,r] i∈[l,r]&#xff0c;令 a i ← a i v a_i\gets a_iv ai​←…...

编程日记 2025/7/29 8:04:31

PyTorch音频处理技术及应用研究：从特征提取到相似度分析

文章目录 音频处理技术及应用音频处理技术音视频摘要技术音频识别及应用 梅尔频率倒谱系数音频特征尔频率倒谱系数简介及参数提取过程音频处理快速傅里叶变换(FFT)能量谱处理离散余弦转换 练习案例&#xff1a;音频建模加载音频数据源波形变换的类型绘制波形频谱图波形Mu-Law 编…...

编程日记 2025/7/22 2:20:47

【IPMV】图像处理与机器视觉：Lec10 Edges and Lines

【IPMV】图像处理与机器视觉&#xff1a;Lec10 Edges and Lines 本系列为2025年同济大学自动化专业**图像处理与机器视觉**课程笔记 Lecturer: Rui Fan、Yanchao Dong Lec0 Course Description Lec3 Perspective Transformation Lec7 Image Filtering Lec8 Image Pyramid …...

编程日记 2025/7/25 9:28:33

Elasticsearch 初步认识

Elasticsearch 初步认识 1 索引&#xff08;index&#xff09; 索引是具有相同结构的文档集合。例如&#xff0c;可以有一个客户信息的索引&#xff0c;包括一个产品目录的索引&#xff0c;一个订单数据的索引。在系统上索引的名字全部小写&#xff0c;通过这个名字可以用来执…...

编程日记 2025/7/17 15:25:03

数据库DDL

数据库DDL&#xff08;数据定义语言&#xff09;全面解析 一、DDL定义 DDL&#xff08;Data Definition Language&#xff0c;数据定义语言&#xff09;是SQL语言的一个子集&#xff0c;专门用于定义和管理数据库结构。它允许数据库管理员和开发人员创建、修改和删除数据库对象…...

编程日记 2025/7/18 4:50:22