当前位置：首页 > news >正文

【机器学习】CNN与Transformer的表面区别与本质区别

news 来源：原创 2025/9/17 21:12:02

仅供参考

表面区别

1. 结构和原理：

CNN：主要通过卷积层来提取特征，这些层通过滑动窗口（卷积核）捕捉局部特征，并通过池化层（如最大池化）来降低特征的空间维度。CNN非常适合处理具有网格状拓扑结构的数据，如图像。
Transformer：基于自注意力（Self-Attention）机制，能够捕捉序列中任意两个位置之间的依赖关系，无论它们之间的距离有多远。Transformer最初是为处理序列数据（如文本）设计的，但后来也被应用于图像处理。

2. 参数共享：

CNN：在卷积层中，卷积核的参数在整个输入数据上是共享的。
Transformer：在自注意力层中，所有的参数（包括自注意力的权重）都是全局共享的。

3. 感受野：

CNN：随着网络深度的增加，感受野（即网络能够感知的输入区域大小）也随之增加。
Transformer：由于自注意力机制，Transformer的感受野理论上是全局的，即每个位置都可以直接与序列中的任何其他位置进行交互。

4. 并行处理能力：

CNN：由于卷积操作的局部性，CNN在并行处理上存在一定的限制。
Transformer：由于自注意力机制的全局性，Transformer可以更容易地进行并行处理，这使得在处理长序列时更加高效。

5. 应用领域：

CNN：最初是为图像识别和处理设计的，但也被广泛应用于视频、语音识别等领域。
Transformer：最初是为自然语言处理（NLP）任务设计的，如机器翻译、文本分类等，但后来也被扩展到图像处理领域，如Vision Transformer（ViT）。

6. 训练和泛化：

CNN：在图像领域，CNN通常需要大量的标注数据来训练。
Transformer：由于其自注意力机制，Transformer在处理长距离依赖和复杂关系时可能具有更好的泛化能力。

7. 计算复杂度：

CNN：计算复杂度通常较低，因为卷积操作相对简单。
Transformer：由于需要计算序列中所有位置之间的自注意力，计算复杂度较高，尤其是在序列长度较长时。

【机器学习】CNN与Transformer的表面区别与本质区别

仅供参考表面区别 1. 结构和原理： CNN：主要通过卷积层来提取特征，这些层通过滑动窗口（卷积核）捕捉局部特征，并通过池化层（如最大池化）来降低特征的空间维度。CNN非常适合处理具有网格状拓扑结构的数据，如图像。Transformer：基于自注意力（Self-Attention）机制，能…...

编程日记 2025/9/17 21:12:02

C++：pthread的使用

pthread 简介 pthread 是 POSIX 线程（POSIX Threads）的简称，它是 POSIX 标准中定义的线程接口规范。pthread 库提供了一系列函数，用于创建、销毁、同步和管理线程。在类 Unix 系统（如 Linux、macOS）中&…...

编程日记 2025/9/17 21:07:46

Docker 容器安装 Dify的两种方法

若 Windows 已安装 Docker，可借助 Docker 容器来安装 Dify： 一、方法一 1. 拉取 Dify 镜像打开 PowerShell 或命令提示符（CMD），运行以下命令从 Docker Hub 拉取 Dify 的镜像（Docker Hub中找到该命令行&…...

编程日记 2025/9/13 22:22:47

nodejs：express + js-mdict 作为后端，vue 3 + vite 作为前端，在线查询英汉词典

向 doubao.com/chat/ 提问： node.js js-mdict 作为后端，vue 3 vite 作为前端，编写在线查询英汉词典后端部分（express js-mdict ） 1. 项目结构首先，创建一个项目目录，结构如下&#xff1…...

编程日记 2025/9/17 21:07:41

mysql之事务深度解析与实战应用：保障数据一致性的基石

文章目录 MySQL 事务深度解析与实战应用：保障数据一致性的基石一、事务核心概念与原理1.1 事务的本质与意义1.2 事务的 ACID 特性1.2.1 原子性 (Atomicity)1.2.2 一致性 (Consistency)1.2.3 隔离性 (Isolation)1.2.4 持久性 (Durability) 1.3 事务隔离级别与并发问题…...

编程日记 2025/9/17 21:12:02

文章目录 1. einops2. code3. pytorch 1. einops einops 主要是通过爱因斯坦标记法来处理张量矩阵的库，让矩阵处理上非常简单。 conda : conda install conda-forge::einopspython: 2. code import torch import torch.nn as nn import torch.nn.functional as…...

编程日记 2025/9/17 21:07:41

华为云deepseek大模型平台：deepseek满血版

华为云硅基流动使用Chatbox接入DeepSeek-R1满血版671B 1、注册： 华为云deepseek大模型平台注册：https://cloud.siliconflow.cn/i/aDmz6aVN 说明：填写邀请码的话邀请和被邀请的账号都会获得2000 万 Tokens；2个帐号间不会与其他关联…...

编程日记 2025/9/17 21:09:47

Elasticsearch Open Inference API 增加了对 Jina AI 嵌入和 Rerank 模型的支持

作者：Hemant Malik 及 Joan Fontanals Martnez 探索如何使用 Elasticsearch Open Inference API 访问 Jina AI 模型。我们在 Jina AI 的朋友们将 Jina AI 的嵌入模型和重新排名产品的原生集成添加到 Elasticsearch 开放推理 API 中。这包括对行业领先的多语言文本嵌…...

编程日记 2025/9/17 21:07:46

在PHP Web开发中，实现异步处理有几种常见方式的优缺点，以及最佳实践推荐方法

1. 消息队列使用消息队列（如RabbitMQ、Beanstalkd、Redis）将任务放入队列，由后台进程异步处理。优点： 任务持久化，系统崩溃后任务不丢失。支持分布式处理，扩展性强。实现步骤： 安装消息…...

编程日记 2025/9/13 22:22:38

如何设计app测试用例

功能测试测试方法：等价类划分法、边界值法、场景法、因果图法。优先级设定：核心业务功能设为高优先级。需求覆盖正向场景、反向场景、关联接口串场景与后端开发确认测试用例是否全面覆盖后端逻辑。和产品确认用例是否覆盖本次需求，以及是否…...

编程日记 2025/9/13 1:44:12

《炒股养家心法.pdf》 kimi总结

《炒股养家心法.pdf》这篇文章详细阐述了一位超级游资炒股养家的心得与技巧，展示了其从40万到10亿的股市传奇。以下是文章中炒股技巧和心得的详细总结： 1.核心理念市场情绪的理解：炒股养家强调，股市的本质是群体博弈&#xff0c…...

编程日记 2025/9/13 22:22:34

DVWA 靶场

DVWA 靶场的通关刚建立和使用输入 http://dvwa:8898/setup.php //进入用户名密码 dvwa 你自己设计的想要进入数据库点击creat 用户名密码 admin passwordAttack type Sniper模式在Sniper模式下，Payload字典用于逐个替换请求中标记的位置。例如&#x…...

编程日记 2025/9/13 19:37:42

【C语言】（一）数据在计算机中的存储与表示

目录一、存储单位（比特/字节） 二、数制/进制（二/八/十/十六） 三、码制（原码/反码/补码/移码） 四、二进制表示小数 （一）定点数 （二）浮点数十进制转化…...

编程日记 2025/9/17 21:09:47

大语言模型微调的公开JSON数据

大语言模型微调的公开JSON数据以下是一些可用于大语言模型微调的公开JSON数据及地址： EmoLLM数据集介绍：EmoLLM是一系列能够支持理解用户、帮助用户心理健康辅导链路的心理健康大模型，其开源了数据集、微调方法、训练方法及脚本等。数据集按用处分为general和role-play两种…...

编程日记 2025/9/15 19:35:24

solidity之Foundry安装配置(一)

一门面向合约的高级编程语言，主要用来编写以太坊只能合约。 Solidity受C语言，Python和js影响，但为编译成为以太坊虚拟机字节码在EVM上执行，很多特性和限制都和EVM相关。 Solidity 是静态类型语言，支持继承、库、自定义…...

编程日记 2025/9/13 17:50:04

【个人开源】——从零开始在高通手机上部署sd（二）

代码：https://github.com/chenjun2hao/qualcomm.ai 推理耗时统计单位/ms 硬件qnncpu_clipqnncpu_unetqnncpu_vaehtp_cliphtp_unethtp_vae骁龙8 gen124716.994133440.39723.215411.097696.327 1. 下载依赖下载opencv_x64.tar,提取码: rrbp下载opencv_aarch64.t…...

编程日记 2025/9/14 1:10:54

【精调】LLaMA-Factory 快速开始4 自定义个一个sharegpt数据集并训练

数据格式说明 LLaMA Factory：微调LLaMA3模型实现角色扮演数据集参考开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B-LoRA微调-LLaMA-Factory-单机单卡-V100（一）大神给出的数据集的讲解：注册如...

编程日记 2025/9/13 22:22:24

【Java】单例模式

单例模式所谓类的单例设计模式，就是采取一定的方法保证在整个的软件系统中，对某个类只能存在一个对象实例，并且该类只提供一个取得其对象实例的方法。单例模式包含懒汉式和饿汉式，运行有且仅有一个实例化对象，只会…...

编程日记 2025/9/15 7:37:55

REACT--组件通信

组件之间如何进行通信？ 组件通信组件的通信主要借助props传递值分为整体接收、解构接收整体接收 import PropTypes from prop-types;//子组件 function Welcome(props){return (<div>hello Welcome,{props.count},{props.msg}</div>) }// 对 We…...

编程日记 2025/9/14 16:34:21

第16届蓝桥杯模拟赛3 python组个人题解

第16届蓝桥杯模拟赛3 python组思路和答案不保证正确 1.填空如果一个数 p 是个质数，同时又是整数 a 的约数，则 p 称为 a 的一个质因数。请问， 2024 的最大的质因数是多少？ 因为是填空题，所以直接枚举2023~2 &am…...

编程日记 2025/9/15 1:17:32

FFMPEG编码容错处理解决办法之途径----升级库文件

在qt开发环境下接收网络数据，调用ffmpeg解码播放视频，出现闪屏现象，具体现象可以使用操作系统自带的ffplay播放器播放原始视频流可复现；而使用操作系统自带的mpv播放器播放视频则不会出现闪屏；闪屏时会报Could not fin…...

编程日记 2025/9/13 22:22:18

kkFileView报错no office manager available

背景部署环境：虚机Linux系统发生问题的版本：4.1.0-SNAPSHOT 现象：有的docx文件可以预览，有的不可以。不可以的就怎么打开都不可以（不管你是躺着，站着，坐着，睡着，趴着都不行，哈哈）报错内容贴出主要的报错内容步骤： > no office manager available > tr…...

编程日记 2025/9/13 22:22:16

C++ 设计模式-模板方法模式

文件处理 #include <iostream>// 抽象基类：定义模板方法和抽象步骤 class DataProcessor { public:// 模板方法（固定流程）void Process() {OpenFile();ProcessData(); // 由子类实现CloseFile();}protected:virtual void ProcessData…...

编程日记 2025/9/13 18:12:24

MacOS下使用Ollama本地构建DeepSeek并使用本地Dify构建AI应用

目录 1 大白话说一下文章内容2 作者的电脑配置3 DeepSeek的本地部署3.1 Ollamal的下载和安装3.2 选择合适的deepseek模型3.3 安转deepseek 4 DifyDeepSeek构建Al应用4.1 Dify的安装4.1.1 前置条件4.1.2 拉取代码4.1.3 启动Dify 4.2 Dify控制页面4.3 使用Dify实现个“文章标题生…...

编程日记 2025/9/13 22:22:13

区块链相关方法-波士顿矩阵 (BCG Matrix)

波士顿矩阵（BCG Matrix），又称市场增长率 - 相对市场份额矩阵、波士顿咨询集团法、四象限分析法、产品系列结构管理法等，由美国著名的管理学家、波士顿咨询公司创始人布鲁斯・亨德森于 1970 年首创1。以下是关于波士顿矩阵的详细介…...

编程日记 2025/9/16 9:03:36

命令执行漏洞 Command Execute

命令执行漏洞（Command Injection）是一种安全漏洞，指的是攻击者能够在应用程序的命令行中注入并执行恶意命令。简单来说，就是攻击者可以利用这个漏洞让程序执行自己指定的命令，而不是程序原本应该执行的命令。举个例子…...

编程日记 2025/9/12 1:53:04

黑马点评_商品信息缓存模块

保证缓存不要有空档期删除后马上要写入中间不能插入任何阶段(如查询数据库) 对于单体系统1，将缓存与数据库操作放在同一个事务中（当前项目就是一个单体项目，所以选择这种方式） 对于分布式系统2，利用TCC（Tr…...

编程日记 2025/9/8 7:04:41

socket()函数的概念和使用案例

socket()函数的概念（C语言） 在C语言中，socket() 函数是用于创建一个新的套接字，它是网络编程的基础。套接字可以看作是不同计算机进程间通信的一个端点，允许数据在网络中的发送和接收。 socket() 函数的原型定义在 &l…...

编程日记 2025/9/10 20:16:02

【架构】事件驱动架构（Event - Driven Architecture，EDA）

一、事件驱动架构理论基础事件驱动架构（Event - Driven Architecture，EDA）是一种软件设计范式，事件驱动的体系结构由生成事件流、侦听这些事件的事件使用者以及将事件从生成者传输到使用者的事件通道组成。在事件驱动架构中，系统的行为由事件触发。事件可几乎实时发送，…...

编程日记 2025/9/13 16:53:34

三、linux字符驱动详解

在上一节完成NFS开发环境的搭建后，本节将探讨Linux字符设备驱动的开发。字符设备驱动作为Linux内核的重要组成部分，主要负责管理与字符设备（如串口、键盘等）的交互，并为用户空间程序提供统一的读写操作接口。驱动代码…...

编程日记 2025/9/13 20:23:09

14.9 Auto-GPT 提示工程深度解析：设计具备自主决策能力的智能体大脑

Auto-GPT 提示工程深度解析：设计具备自主决策能力的智能体大脑关键词：Auto-GPT 提示工程、结构化提示模板、工具调用触发、动态上下文管理、自主决策优化 1. 自主智能体提示设计的核心原则 Prompt 设计三维度模型： #mermaid-svg-jHMGjPZTQA8Op385 {font-family:"tre…...

编程日记 2025/9/13 22:22:09

【p-camera-h5】一款开箱即用的H5相机插件，支持拍照、录像、动态水印与样式高度定制化。

【开源推荐】p-camera-h5：一款轻量级H5相机插件开发实践一、插件背景在Web开发中，原生摄像头功能的集成往往面临以下痛点： 浏览器兼容性问题视频流与水印叠加实现复杂移动端适配困难功能定制成本高为此，p-camera-h5 —— 一…...

编程日记 2025/9/16 7:49:15

c++中sleep是什么意思（不是Sleep() )

sleep 函数在 C 语言中用于暂停程序执行指定的秒数，语法为 sleep(unsigned int seconds)。当 seconds 为 0 时，函数立即返回，否则函数将使进程暂停指定的秒数，并返回实际暂停的时间。 sleep 函数在 C 中的含义 sleep 函数是 C 标…...

编程日记 2025/9/14 20:49:43

优品指标树

目录大势型超买超卖型超势型能量型成交量型均线型路径型指南针经典指标神系经典指标庄家克星经典指标大智慧经典指标钱龙经典指标同花顺经典指标通达信经典指标操盘手经典指标期货特色指标股票特色推荐用户推荐共享指标名家经典战法指标…...

编程日记 2025/9/15 0:53:16

springboot多实例部署时，@Scheduled注释的方法重复执行

问题：springboot多实例部署时，Scheduled注释的方法重复执行在 Spring Boot 中要实现 Redis 的SET NX EX命令，可以借助 Spring Data Redis 来完成。SET NX EX命令用于在键不存在时设置键值对，并同时设置过期时间。 <dependen…...

编程日记 2025/9/13 22:22:02

智能自动化新纪元：AI与UiPath RPA的协同应用场景与技术实践

智能自动化新纪元：AI与UiPath RPA的协同应用场景与技术实践引言在数字化转型的浪潮中，企业对于自动化技术的需求已从简单的任务执行转向更复杂的智能决策。传统RPA（Robotic Process Automation）通过模拟人类操作处理重复性任务…...

编程日记 2025/9/13 19:46:13

[STM32 - 野火] - - - 固件库学习笔记 - - - 十六.在SRAM中调试代码

一、简介在RAM中调试代码是一种常见的嵌入式开发技术，尤其适用于STM32等微控制器。它的核心思想是将程序代码和数据加载到微控制器的内部RAM（SRAM）中运行，而不是运行在Flash存储器中。这种方法在开发过程中具有显著的优势&#…...

编程日记 2025/9/13 19:46:11

nginx 反向代理配置请求路由

nginx | 反向代理 | 配置请求路由 nginx简介 Nginx（发音为“Engine-X”）是一款高性能、开源的 Web 服务器和反向代理服务器，同时也支持邮件代理和负载均衡等功能。它由俄罗斯程序员伊戈尔西索夫（Igor Sysoev）于 2004…...

编程日记 2025/9/13 19:46:09

第二届粤港澳大湾区数字经济与人工智能国际学术会议(DEAI 2025)

重要信息 2025年3月28-30日 I 广东省东莞市(广东科技学院-松山湖校区） I www.icdeai.com 简介第二届粤港澳大湾区数字经济与人工智能(DEAI 2025)将在2025年3月28-30日在广东省东莞市隆重举行。来自国内外高等院校、科学研究所、企事业单位的专家、教授、学者、…...

编程日记 2025/9/13 19:46:07

使用GDI+、文件和目录和打印API，批量将图片按文件名分组打包成PDF

代码写了两个小时，速度太慢（包括学习文档的时间） #include <stdio.h> #include <Windows.h> #include <gdiplus.h> #include <string.h> using namespace Gdiplus; #pragma comment(lib, "Gdiplus.lib") …...

编程日记 2025/9/13 19:46:06

贪心算法

int a[1000], b5, c8; swap(b, c); // 交换操作 memset(a, 0, sizeof(a)); // 初始化为0或-1 引导问题为一个小老鼠准备了M磅的猫粮，准备去和看守仓库的猫做交易，因为仓库里有小老鼠喜欢吃的五香豆，第i个房间有J[i] 磅的五香豆&#xf…...

编程日记 2025/9/13 19:46:04

如何查询网站是否被百度蜘蛛收录？

一、使用site命令查询这是最直接的方法。在百度搜索框中输入“site:你的网站域名”，例如“site:example.com”（请将“example.com”替换为你实际的网站域名）。如果搜索结果显示了你的网站页面，并且显示了收录的页面数量&#xf…...

编程日记 2025/9/13 19:46:02

Hutool - Log：自动识别日志实现的日志门面

一、简介在 Java 开发中，日志记录是一项非常重要的功能，它可以帮助开发者在开发和生产环境中监控程序的运行状态、排查问题。然而，Java 生态系统中有多种日志实现框架，如 Log4j、Logback、JDK 自带的日志框架等。为了在不同的项…...

编程日记 2025/9/13 19:46:00

【GPU驱动】- 状态机

一、概述 Mesa 是一个开源的图形库，它提供了一个通用的图形抽象层，支持多种硬件和驱动程序。Mesa 的核心组件之一是 State Tracker，它在抽象图形 API（如 OpenGL ）与具体的图形驱动之间起到桥梁作用。State Tracker 通…...

编程日记 2025/9/15 20:08:39

rtcwake - Linux下定时唤醒计算机

rtcwake 是一个用于通过实时时钟（RTC）唤醒计算机的工具。它常用于在 Linux 系统中设置计算机在指定时间自动唤醒或关闭。以下是对命令 rtcwake -m off -s ${sleep_time} 的详细解析： 命令解析 bash复制 rtcwake -m off -s ${sleep_time} 1…...

编程日记 2025/9/17 20:30:20

MySQL 日志

MySQL 日志慢查询日志(Slow query log) 慢查询⽇志由执⾏时间超过系统变量 long_query_time 指定的秒数的SQL语句组成，并且检查的⾏数⼤于系统变量 min_examined_row_limit 指定值。被记录的慢查询需要进⾏优化， 可以使⽤mysqldumpslow客⼾端程序对慢…...

编程日记 2025/9/13 19:45:54

C++ 泛型编程之补充(class 和typename)

目录 1.class 和 typename 可互换 1.1 template 和 template 在模板参数列表中完全一样，可以互换使用。 2.什么时候 class 和 typename 不一样？ 2.1 嵌套依赖类型时必须用typename 重点说明： 2.2 普通作用域（不能互换&…...

编程日记 2025/9/15 8:35:55

[MDM 2024]Spatial-Temporal Large Language Model for Traffic Prediction

论文网址：[2401.10134] Spatial-Temporal Large Language Model for Traffic Prediction 论文代码：GitHub - ChenxiLiu-HNU/ST-LLM: Official implementation of the paper "Spatial-Temporal Large Language Model for Traffic Prediction" …...

编程日记 2025/9/13 19:45:51

跟着 Lua 5.1 官方参考文档学习 Lua (6)

文章目录 2.11 – Coroutines 2.11 – Coroutines Lua supports coroutines, also called collaborative multithreading. A coroutine in Lua represents an independent thread of execution. Unlike threads in multithread systems, however, a coroutine only suspends i…...

编程日记 2025/9/15 17:12:14

Spring Cloud — Hystrix 服务隔离、请求缓存及合并

Hystrix 的核心是提供服务容错保护，防止任何单一依赖耗尽整个容器的全部用户线程。使用舱壁隔离模式，对资源或失败单元进行隔离，避免一个服务的失效导致整个系统垮掉（雪崩效应）。 1 Hystrix监控 Hystrix 提供了对服务…...

编程日记 2025/9/13 19:45:47