当前位置：首页 > news >正文

LLM - Attention Is All You Need 的理解

news 来源：原创 2025/9/9 6:10:27

一：概述

当前主流的序列转换（sequence transduction）模型主要基于复杂的循环神经网络（Recurrent Neural Networks, RNNs）或卷积神经网络（Convolutional Neural Networks, CNNs），这些模型通常包含编码器（encoder）和解码器（decoder）。性能最优的模型通常通过“ 注意力机制（attention mechanism）”将编码器和解码器连接起来。

        我们提出了一种新的、简单的网络架构——Transformer，它完全基于注意力机制，完全摒弃了循环（recurrence）和卷积（convolution）。
        在两个机器翻译任务上的实验表明，这些模型在翻译质量上更优，同时具备更强的并行性，并且训练时间显著减少。在WMT 2014 英语-德语（English-to-German）翻译任务中，我们的模型取得了 28.4 BLEU 分数（BLEU是用于评估机器翻译质量的指标），相较于当时最好的结果（包括集成模型），提高了 2 BLEU 以上。
        在WMT 2014 英语-法语（English-to-French࿰

相关文章：

LLM - Attention Is All You Need 的理解

一：概述当前主流的序列转换（sequence transduction）模型主要基于复杂的循环神经网络（Recurrent Neural Networks, RNNs）或卷积神经网络（Convolutional Neural Networks, CNNs），这些模型通常包含编码器（encoder）和解码器（decoder）。性能最优的模型通常通过“ 注意…...

编程日记 2025/9/9 6:10:27

究竟什么是AI提示词？深入解析与实战应用

随着人工智能技术的飞速发展，AI提示词（AI Prompt）逐渐成为自然语言处理（NLP）领域的热门话题。无论是GPT-3、ChatGPT还是其他大型语言模型，提示词都扮演着至关重要的角色。那么，究竟什么是AI提示…...

编程日记 2025/9/6 21:09:29

deep-research开源框架 Agentic Reasoning

Agentic-Reasoning是由牛津大学团队开源的推理框架. 该框架在GPQA博士级科学题库上准确率提升35%，生物学问题得分从62%跃升至79%，显著优于DeepSeek-R1等闭源模型。特色：Agentic-Reasoning在定义和实现code agent上做的非常出色。可以借鉴。…...

编程日记 2025/9/9 6:09:35

解锁智能变革密码：浙江大学2025年DeepSeek行业应用案例集深度解析

引言：AI技术驱动的时代浪潮 2025年，人工智能技术已从实验室走向千行百业，成为推动社会经济发展的核心引擎。在这一背景下，浙江大学联合DeepSeek团队推出的《2025年DeepSeek行业应用案例集》（以下简称“案例集”&#…...

编程日记 2025/9/6 22:57:56

C# Unity 唐老狮 No.5 模拟面试题

本文章不作任何商业用途仅作学习与交流安利唐老狮与其他老师合作的网站,内有大量免费资源和优质付费资源,我入门就是看唐老师的课程打好坚实的基础非常非常重要: 全部 - 游习堂 - 唐老狮创立的游戏开发在线学习平台 - Powered By EduSoho 如果你发现了文章内特殊的字体格式,…...

编程日记 2025/9/5 4:40:42

《2025软件测试工程师面试》功能测试篇

什么是功能测试？功能测试是通过验证产品功能是否满足用户需求的过程，主要关注软件的功能是否符合需求规格说明，包括软件的各种功能、特性、性能、安全性和易用性等。功能测试的流程包括哪些步骤？需求分析：明确软件需求，确定测试范围。测试计划：制定详细的测试计划，…...

编程日记 2025/9/9 1:48:45

DeepSeek如何快速开发PDF转Word软件

一、引言如今，在线工具的普及让PDF转Word成为了一个常见需求，常见的PDF转Word工具有收费的WPS，免费的有PDFGear，以及在线工具SmallPDF、iLovePDF、24PDF等。然而，大多数免费在线转换工具存在严重隐私风险——文件需上…...

编程日记 2025/9/5 9:22:15

ROS环境搭建

ROS首次搭建环境注：以下内容都是在已经安装好ros的情况下如何搭建workplace 一、创建工作空间二、创建ROS包三、注意注：以下内容都是在已经安装好ros的情况下如何搭建workplace 如果没有安装好，建议鱼香ros一步到位:鱼香ROS 我也是装了好久…...

编程日记 2025/9/4 1:36:13

深入探索DeepSeek开源之旅：开源Week全程解析

摘要在农历新年刚刚结束之际，DeepSeek以卓越的开源精神，连续六天举办了开源Week活动。这一系列活动不仅展示了DeepSeek在技术领域的活跃度和影响力，还彰显了其对开源社区的贡献。通过这次活动，DeepSeek吸引了众多开发者和技术爱好…...

编程日记 2025/9/7 17:33:51

Redis是什么？如何使用Redis进行缓存操作？

Redis（Remote Dictionary Server）是一款高性能的内存键值存储系统，广泛用于缓存、消息队列、会话存储和实时数据处理等场景。它基于内存存储，支持多种数据结构，如字符串、列表、集合、有序集合和哈希表等，具…...

编程日记 2025/8/31 18:55:14

Unity学习笔记之——ugui的性能优化

在Unity中UI优化的核心问题就是重绘和批处理之间的平衡一、Canvas优化要点 1.优化原因： （1）Unity为了性能优化，会合并Canvas下的所有元素； （2）如果把所有面板放到一个Canvas下，会…...

编程日记 2025/9/9 0:05:01

【三.大模型实战应用篇】【2.智能学员辅导系统：与大模型的深度交互】

早上七点半，初三学生小林打开数学辅导APP，发现AI老师准确指出了他昨晚作业中三次跳步计算的坏习惯——这比他亲妈观察得还细致。这背后是一场发生在代码深处的"脑力风暴"，让我们潜入智能辅导系统与大模型深度交互的"暗室"，看看那些让教育产生化学反应的…...

编程日记 2025/9/8 0:31:24

【vue-echarts】——04.配置项---legend

文章目录一、配置项-legend图例二、显示结果一、配置项-legend图例图例组件展现了不同系列的标记，颜色和名字。可以通过点击图例控制哪些系列不显示。代码如下 Demo4View.vue <template><div class="about">...

编程日记 2025/8/16 10:31:22

面试题02.02.返回倒数第k个节点

实现一种算法，找出单向链表中倒数第 k 个节点。返回该节点的值。注意：本题相对原题稍作改动示例： 输入： 1->2->3->4->5 和 k 2 输出： 4 说明： 给定的 k 保证是有效的。题解&#xff…...

编程日记 2025/9/4 20:35:26

剑指 Offer II 041. 滑动窗口的平均值

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20041.%20%E6%BB%91%E5%8A%A8%E7%AA%97%E5%8F%A3%E7%9A%84%E5%B9%B3%E5%9D%87%E5%80%BC/README.md 剑指 Offer II 041. 滑动窗口的平均值题目描述给定一个整数…...

编程日记 2025/9/1 3:30:05

OCR PDF 文件是什么？它包含什么内容？

有些 PDF 文件是通过扫描纸质书页生成的，这类文件有其独特的特点。有时，原始书籍是唯一可用的版本，因此只能通过扫描的方式获取内容。如何识别 OCR PDF 文件？ 你通常可以从外观上辨别 OCR PDF 文件——页面上的文本看起来像“锯…...

编程日记 2025/8/31 9:28:39

什么是最终一致性，它对后端系统的意义是什么

最终一致性（Eventual Consistency）是分布式系统中的一种一致性模型。与传统的强一致性模型不同，最终一致性并不要求系统在任何时刻都保持一致，而是保证在足够的时间后，所有节点的数据最终会达到一致的状态。换句话说，系统允许短时间内出现数据的不一致性，但最终会通过某…...

编程日记 2025/9/6 1:38:33

CSS3中布局方式说明

CSS3 提供了多种灵活的布局方式，适用于不同的场景和需求。以下是主要的布局方式及其特点： 1. Flexbox 布局（弹性盒子） 用途：一维布局（水平或垂直方向排列元素）。特点： 通过 display…...

编程日记 2025/9/3 19:37:43

【开源-常用开源c/c++日志管理模块对比】

[TOC]（开源-常用开源c/c日志管理模块对比） 项目名称语言优点缺点适用场景开源代码链接spdlogC高性能，支持异步日志；丰富的格式化功能；跨平台；易于集成。依赖C11或更高版本；不适合嵌入式系统。高…...

编程日记 2025/9/4 13:46:29

基于log4j的自定义traceid实现

思路就是spring 做切面拦截请求，切面入口时生成traceId，然后放到MDC里面（就是threadLocal，MDC是log框架提供的工具类，能方便在配置文件里面引用插入的值）。切面结束时traceId。 import com.sing.monitor…...

编程日记 2025/9/1 21:00:41

如何在网页上显示3D CAD PMI

在现代制造业中，3D CAD模型已成为产品设计和制造的核心。为了更有效地传达设计意图和制造信息，产品和制造信息（PMI）被嵌入到3D模型中。然而，如何在网页上清晰、准确地显示这些3D CAD PMI，成为了一个重要的技…...

编程日记 2025/9/6 22:57:56

LLMR: Real-time Prompting of Interactive Worldsusing Large Language Models

LLMR-使用大型语言模型的交互式世界实时建模 ABSTRACT 我们提出了混合现实的大语言模型（LLMR），一个使用LLM实时创建和修改交互式混合现实体验的框架。LLMR利用新颖的策略来解决理想训练数据稀缺的困难情况，或者设计目标需要综合内…...

编程日记 2025/9/7 6:59:42

使用 OpenLIT 对 LLM 应用进行可观测

大规模语言模型（LLM）的可观测性随着大规模语言模型（LLM）在各个领域的广泛应用，确保这些模型的稳定性和性能变得至关重要。为了实现这一目标，可观测性（Observability）成为了一个关键…...

编程日记 2025/9/6 1:38:36

C与C++的区别

C 深度剖析：对比 C 语言的显著差异在编程的浩瀚宇宙中，C 和 C 堪称两颗耀眼的巨星，各自绽放出独一无二的光彩。C 语言作为经典的结构化编程语言，多年来在系统开发、嵌入式编程等领域始终占据着举足轻重的地位。而 C 作为 C 语言…...

编程日记 2025/9/8 10:54:49

【极客时间】浏览器工作原理与实践-2 宏观视角下的浏览器 (6讲) - 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？

https://time.geekbang.org/column/article/118826 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？ 2.5介绍了渲染流水线中的 DOM 生成、样式计算和布局三个阶段，2.6讲解渲染流水线后面的阶段…...

编程日记 2025/9/3 18:40:31

开放鸿蒙认证,OpenHarmony兼容性认证介绍

Ⅰ、OpenHarmony开放鸿蒙兼容性测试认证：使用官方测试套件，对照PCS自检表中的必测项，在本地搭建的环境中对伙伴设备进行预测，直至取得合格的兼容性测试报告。注：2025年01月01日起，不支持新产品基于老分支…...

编程日记 2025/9/4 9:56:43

磁盘空间不足|如何安全清理以释放磁盘空间（开源+节流）

背景： 最近往数据库里存的东西有点多，磁盘不够用查看磁盘使用情况 df -h /dev/sda5（根目录 /） 已使用 92% 咱们来开源节流目录背景： 一、开源二、节流 1.查找大于 500MB 的文件： 1. Snap 缓存…...

编程日记 2025/9/6 10:39:33

【2】好未来JAVA开发工程师部分笔试题解析

编程题 1.降序的子数组最大元素和给你一个正整数组成的数组nums，返回nums中一个降序子数组的最大可能元素和。子数组是数组中的一个连续数字序列。已知子数组[nums l, nums l1, … , nums r-1, nums r]，若对所有l (1<i<r)，nums …...

编程日记 2025/9/8 12:08:50

LeetCode 21. 合并两个有序链表(Python)

将两个升序链表合并为一个新的升序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。输入：l1 [1,2,4], l2 [1,3,4] 输出：[1,1,2,3,4,4] 示例 2： 输入：l1 [], l2 [] 输出：[] 示例 3： 输…...

编程日记 2025/8/16 10:32:02

Y3学习打卡

网络结构图 YOLOv5配置了4种不同大小的网络模型，分别是YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，其中 YOLOv5s 是网络深度和宽度最小但检测速度最快的模型，其他3种模型都是在YOLOv5s的基础上不断加深、加宽网络使得网络规模扩大，在增强…...

编程日记 2025/9/3 1:44:25

2025-3-3 二叉树的存储结构

一、二叉树的存储结构（ 顺序存储，链式存储） 1.顺序存数--（用数组） （完全二叉树）常考的基本操作： i 的左孩子 -----2i 右孩子-----2i1 i的父节点-----[i/2] 向下取整 i所在的层…...

编程日记 2025/9/6 14:57:33

RK3588V2--ES8388声卡适配记录

RK3588V2--ES8388声卡适配记录 1. ES8388声卡简单介绍2. 适配过程2.1 设备树配置 3. 问题分析与解决3.1 现声卡平台设备, 最终注册失败3.2 系统查看 I2C 设备3.3 怀疑是没有上拉电阻？ 4. 测试阶段4.1 耳机接口测试--OK4.2 MIC测试--无法使用 5. 分析总结 1. ES8388声…...

编程日记 2025/9/6 0:49:43

【http://noi.openjudge.cn/】4.3算法之图论——1538:Gopher II

[【http://noi.openjudge.cn/】4.3算法之图论——1538:Gopher II] 题目查看提交统计提问总时间限制: 2000ms 内存限制: 65536kB 描述 The gopher family, having averted the canine threat, must face a new predator. The are n gophers and m gopher holes, each at di…...

编程日记 2025/9/4 1:36:15

PySide(PyQT)的视图（QGraphicsView）范例（一）基本框架

最近学习了视图（QGraphicsView）的知识，总结一下，做一个demo以备忘。在demo中使用了场景（QGraphicsScene）、矩形框（QGraphicsRectItem）等构件，以及演示了常用的设置方法和…...

编程日记 2025/9/5 6:30:35

opencv 模板匹配方法汇总

在OpenCV中，模板匹配是一种在较大图像中查找特定模板图像位置的技术。OpenCV提供了多种模板匹配方法，通过cv2.matchTemplate函数实现，该函数支持的匹配方式主要有以下6种，下面详细介绍每种方法的原理、特点和适用场景。 1. cv2.T…...

编程日记 2025/9/3 17:25:48

_mm_shuffle_epi32解析

一概述 _mm_shuffle_epi32和_MMSHUFFLE是与SSE指令集相关的开发工具，主要用于SIMD向量操作。二 _mm_shuffle_epi32 函数功能：对128位整数向量(__m128i)中的四个32位整数进行重排序原型：__m128i _mm_shuffle_epi32 (__m128i a, int imm…...

编程日记 2025/9/2 17:40:07

Tauri+React+Ant Design跨平台开发环境搭建指南

TauriReactAnt Design跨平台开发环境搭建指南一、环境配置与工具链搭建 1.1 基础环境准备必备组件： Rust工具链（v1.77）： curl --proto https --tlsv1.2 -sSf https://sh.rustup.rs | sh Node.js LTS（v20.11.1&a…...

编程日记 2025/9/8 17:17:20

《基于Selenium的论坛系统自动化测试实战报告》

一、项目背景与技术选型项目简介目标系统：论坛系统核心功能：用户注册/登录、会话框发送信息、好友列表、信息发送技术栈：html Springboot MySQL数据库为什么选择Selenium 支持多浏览器兼容性测试（Chrome/Firefox/Edge&…...

编程日记 2025/9/8 9:54:35

洛谷 P11830 省选联考2025 幸运数字题解

题意小 X 有 n n n 个正整数二元组 ( a i , b i ) ( 1 ≤ i ≤ n ) (a_i, b_i) (1 \leq i \leq n) (ai,bi)(1≤i≤n)。他将会维护初始为空的可重集 S S S，并对其进行 n n n 轮操作。第 i ( 1 ≤ i ≤ n ) i (1 \leq i \leq n) i(1≤i≤n) 轮操作中&#…...

编程日记 2025/9/1 5:52:17

清华北大DeepSeek六册

「清华北大-Deepseek使用手册」链接：https://pan.quark.cn/s/98782f7d61dc 「清华大学Deepseek整理） 1－6版本链接：https://pan.quark.cn/s/72194e32428a AI学术工具公测链接:https://pan.baidu.com/s/104w_uBB2F42Da0qnk78_ew …...

编程日记 2025/9/8 16:03:09

ubuntu部署gitlab-ce及数据迁移

ubuntu部署gitlab-ce及数据迁移进行前梳理：在esxi7.0 Update 3 基础上使用 ubuntu22.04.5-server系统对 gitlab-ce 16.10进行部署，以及将gitlab-ee 16.9 数据进行迁移到gitlab-ce 16.10 进行后总结：起初安装了极狐17.8.3-jh 版本（不支持全局中文，就没用了） …...

编程日记 2025/9/8 0:39:39

什么是 MGX:MetaGPT

什么是 MGX:MetaGPT MetaGPT是由思码逸（OpenDILab）团队开发的一款专注于生成式AI驱动的软件开发框架，MGX可能是其衍生或升级的相关成果，它创新性地将大语言模型引入软件开发流程，模拟人类软件团队的协作方式，能让用户通过自然语言描述需求，即可自动生成完整的软件项目，…...

编程日记 2025/9/6 4:49:18

C++，leecode字符串常见API

在LeetCode上刷C题目时，熟练掌握字符串相关的常见API可以大大提高代码效率和可读性。以下是C标准库（<string>）中常用的字符串操作API： 1. 初始化和赋值 std::string s1 "hello"; // 直接初始化 std::string s2…...

编程日记 2025/9/3 8:04:34

Ubuntu 安装 stable-diffusion-webui-docker 常见问题处理方法

安装 Stable Diffusion WebUI Docker 工程地址 https://github.com/AbdBarho/stable-diffusion-webui-docker 第一步是 git clone 下来 Setup 阅读 README 中的 setup，进入页面 https://github.com/AbdBarho/stable-diffusion-webui-docker/wiki/Setup docker …...

编程日记 2025/9/7 21:59:01

长时间目标跟踪算法(3)-GlobalTrack：A Simple and Strong Baseline for Long-termTracking

GlobalTrack的原始论文和源码均已开源，下载地址。目录背景与概述 1.1 长期视觉跟踪的挑战 1.2 现有方法的局限性 1.3 GlobalTrack的核心思想算法原理与架构 2.1 全局实例搜索框架 2.2 Query-Guided RPN（QG-RPN） 2.3 Query-Guided RCNN&a…...

编程日记 2025/9/6 11:36:35

深入理解指针与回调函数：从基础到实践

引言在C语言中，指针和回调函数是两个非常重要的概念。指针为我们提供了直接操作内存的能力，而回调函数则为我们提供了一种灵活的编程方式，使得我们可以将函数作为参数传递给其他函数，从而实现更加模块化和可复用的代码。本文将深…...

编程日记 2025/9/4 1:36:17

算法学习新姿势：从0开始用hello-algo搭建自己的在线学习平台

文章目录前言1.关于hello-algo2.安装Docker和Docker compose3.本地部署hello-algo4. hello-algo本地访问5.cpolar内网穿透工具安装6.创建远程连接公网地址7.固定Uptime Kuma公网地址前言今天要给大家安利一款绝对不能错过的开源神器——Hello-Algo！无论你是刚踏…...

编程日记 2025/8/31 22:00:58

常用 nvm 命令指南

nvm（Node Version Manager） 是一个用于管理 Node.js 版本的工具，可以轻松安装、切换和卸载不同版本的 Node.js。本文将介绍常用的 nvm 命令，帮助你高效管理 Node.js 环境。 1. 列出系统中通过 nvm 安装的所有 Node.js 版本 nvm l…...

编程日记 2025/9/6 22:19:02

后端-Java虚拟机

Java虚拟机 Java虚拟机的组成 Java虚拟机的组成由类加载器ClassLoader、运行时数据区域（JVM管理的内存）和执行引擎（即时遍历器、解释器垃圾回收器） 类加载器加载class字节码文件中的内容到内存运行时数据区域负责管理jvm使用到…...

编程日记 2025/9/3 11:41:21

开源PDF解析工具olmOCR

olmOCR 是由 Allen Institute for Artificial Intelligence (AI2) 的 AllenNLP 团队开发的一款开源工具，旨在将PDF文件和其他文档高效地转换为纯文本，同时保留自然的阅读顺序。它支持表格、公式、手写内容等。 olmOCR 经过学术论文、技术文档和其他文档…...

编程日记 2025/9/2 13:57:54