当前位置： 首页 > news >正文

LLM论文笔记 19: On Limitations of the Transformer Architecture

news 来源：原创 2025/8/27 7:04:14
  • Arxiv日期：2024.2.26
  • 机构：Columbia University / Google

关键词

  • Transformer架构
  • 幻觉问题
  • 数学谜题

核心结论

1. Transformer 无法可靠地计算函数组合问题

2. Transformer 的计算能力受限于信息瓶颈

3. CoT 可以减少 Transformer 计算错误的概率，但无法根本性突破其计算能力的上限

4. CoT 需要生成指数级增长的 token。CoT 只能通过增加大量的 token 来弥补 Transformer 的计算瓶颈，而不能从根本上提升 Transformer 的计算能力。

主要方法

核心目标是分析 Transformer 在计算能力上的根本性限制，特别是在 函数组合（Function Composition）、数学推理、逻辑推理 等任务上的表现。

通过 通信复杂度（Communication Complexity） 和 计算复杂度（Computational Complexity） 的分析

参考：https://zhuanlan.zhihu.com/p/682254725

注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文

相关文章：

LLM论文笔记 19: On Limitations of the Transformer Architecture

Arxiv日期：2024.2.26机构：Columbia University / Google 关键词 Transformer架构幻觉问题数学谜题 核心结论 1. Transformer 无法可靠地计算函数组合问题 2. Transformer 的计算能力受限于信息瓶颈 3. CoT 可以减少 Transformer 计算错误的概率&#x…...

编程日记 2025/8/27 7:04:14

那年周五放学

2025年3月7日，周五，天气晴，脑子一瞬间闪过02-05年中学期间某个周五下午，17:00即将放学的场景，那种激动，那种说不上的欣喜感，放学后，先走一段316国道，再走一段襄渝铁路&am…...

编程日记 2025/8/26 16:26:13

002-SpringCloud-OpenFeign(远程调用)

SpringCloud-OpenFeign 1.引入依赖2.编写一个远程调用接口3.测试 1.引入依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-openfeign</artifactId> </dependency><dependencyManageme…...

编程日记 2025/8/27 7:03:05

SAP 顾问的五年职业规划

SAP 顾问的职业发展受到技术进步、企业需求变化和全球经济环境的影响&#xff0c;因此制定长远规划充满挑战。面对 SAP 产品路线图的不确定性&#xff0c;如向 S/4HANA 和 Business Technology Platform (BTP) 的转变&#xff0c;顾问必须具备灵活性&#xff0c;以保持竞争力和…...

编程日记 2025/8/27 0:41:51

Pandas使用stack和pivot实现数据透视

Pandas的stack和pivot实现数据透视 经过统计得到多维度指标数据非常常见的统计场景&#xff0c;指定多个维度&#xff0c;计算聚合后的指标 案例&#xff1a;统计得到“电影评分数据集”&#xff0c;每个月份的每个分数被评分多少次&#xff1a;&#xff08;月份&#xff0c;分…...

编程日记 2025/8/24 15:50:28

图像生成-ICCV2019-SinGAN: Learning a Generative Model from a Single Natural Image

图像生成-ICCV2019-SinGAN: Learning a Generative Model from a Single Natural Image 文章目录 图像生成-ICCV2019-SinGAN: Learning a Generative Model from a Single Natural Image主要创新点模型架构图生成器生成器源码 判别器判别器源码 损失函数需要源码讲解的私信我 S…...

编程日记 2025/8/22 21:40:49

c++ 操作符重载详解与示例

c 操作符重载详解与示例 操作符重载详解一、基本规则二、必须作为成员函数重载的运算符1. 赋值运算符 2. 下标运算符 []3. 函数调用运算符 ()4. 成员访问运算符 ->5. 转型运算符 三、通常作为非成员函数重载的运算符1. 算术运算符 2. 输入/输出运算符 << >> 四、…...

编程日记 2025/8/27 7:02:24

在Spring Boot项目中分层架构

常见的分层架构包括以下几层： 1. Domain 层（领域层） 作用：领域层是业务逻辑的核心，包含与业务相关的实体类、枚举、值对象等。它是对业务领域的抽象，通常与数据库表结构直接映射。 主要组件： 实体类（Entity）：与数据库表对应的Java类，通常使用JPA或MyBatis等ORM框架…...

编程日记 2025/8/25 4:46:04

upload-labs详解（1-12）文件上传分析

目录 uploa-labs-main upload-labs-main第一关 前端防御 绕过前端防御 禁用js Burpsuite抓包改包 upload-labs-main第二关 上传测试 错误类型 upload-labs-env upload-labs-env第三关 上传测试 查看源码 解决方法 重命名&#xff0c;上传 upload-labs-env第四关…...

编程日记 2025/8/22 13:31:30

无人机应用探索：玻纤增强复合材料的疲劳性能研究

随着无人机技术的快速发展&#xff0c;轻量化已成为其结构设计的核心需求。玻纤增强复合材料凭借高强度、低密度和优异的耐环境性能&#xff0c;成为无人机机身、旋翼支架等关键部件的理想选择。然而&#xff0c;无人机在服役过程中需应对复杂多变的环境&#xff1a;高空飞行时…...

编程日记 2025/8/22 4:52:32

计算机毕业设计Python+DeepSeek-R1大模型空气质量预测分析(源码+文档+PPT+讲解)

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 作者简介&#xff1a;Java领…...

编程日记 2025/8/24 21:58:58

【渗透测试】基于时间的盲注（Time-Based Blind SQL Injection）

发生ERROR日志告警 查看系统日志如下&#xff1a; java.lang.IllegalArgumentException: Illegal character in query at index 203: https://api.weixin.qq.com/sns/jscode2session?access_token90_Vap5zo5UTJS4jbuvneMkyS1LHwHAgrofaX8bnIfW8EHXA71IRZwsqzJam9bo1m3zRcSrb…...

编程日记 2025/8/26 11:22:02

学习threejs，Animation、Core、CustomBlendingEquation、Renderer常量汇总

&#x1f468;‍⚕️ 主页&#xff1a; gis分享者 &#x1f468;‍⚕️ 感谢各位大佬 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! &#x1f468;‍⚕️ 收录于专栏&#xff1a;threejs gis工程师 文章目录 一、&#x1f340;前言1.1 ☘️Animation常量汇总1.1.1 循…...

编程日记 2025/8/26 22:17:41

2、数据库的基础学习（中）：分组查询、连接查询 有小例子

二、分组函数 功能&#xff1a;用作统计使用&#xff0c;又称为聚合函数或者统计函数或组函数 1、分类&#xff1a; sum 求和、avg 平均值、max最大值、min 最小值、count 计算个数 2、参数支持哪些类型 ​ Sum\avg 一般处理数值型数据 ​ max、min 可以数值型也可以字符型…...

编程日记 2025/8/26 11:13:34

Ubuntu搭建最简单WEB服务器

安装apache2 sudo apt install apache2 检查状态 $ sudo systemctl status apache2 ● apache2.service - The Apache HTTP ServerLoaded: loaded (/lib/systemd/system/apache2.service; enabled; vendor prese>Active: active (running) since Thu 2025-03-06 09:51:10…...

编程日记 2025/8/27 6:36:21

如何学习编程？

如何学习编程&#xff1f; 笔记来源&#xff1a;How To Study Programming The Lazy Way 声明&#xff1a;该博客内容来自链接&#xff0c;仅作为学习参考 写在前面的话&#xff1a; 大多数人关注的是编程语言本身&#xff0c;而不是解决问题和逻辑思维。不要试图记住语言本身…...

编程日记 2025/8/26 19:06:31

OpenCV计算摄影学（14）实现对比度保留去色（Contrast Preserving Decolorization）的函数decolor()

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 将彩色图像转换为灰度图像。它是数字印刷、风格化的黑白照片渲染&#xff0c;以及许多单通道图像处理应用中的基本工具。 cv::decolor 是 OpenCV…...

编程日记 2025/8/27 7:02:23

K8s 1.27.1 实战系列（七）Deployment

一、Deployment介绍 Deployment负责创建和更新应用程序的实例，使Pod拥有多副本，自愈，扩缩容等能力。创建Deployment后，Kubernetes Master 将应用程序实例调度到集群中的各个节点上。如果托管实例的节点关闭或被删除，Deployment控制器会将该实例替换为群集中另一个节点上的…...

编程日记 2025/8/20 8:01:55

Python第十五课：机器学习入门 | 从猜想到预测

&#x1f3af; 本节目标 理解机器学习两大核心范式&#xff08;监督/无监督学习&#xff09;掌握特征工程的核心方法论实现经典算法&#xff1a;线性回归与K-Means聚类开发实战项目&#xff1a;房价预测模型理解模型评估与调优基础 一、机器学习核心概念&#xff08;学生与老师…...

编程日记 2025/8/27 7:02:23

python 程序一次启动有两个进程的问题（flask）

0. 背景 写了一个使用 flask 作为服务框架的程序&#xff0c;发现每次启动程序的时候&#xff0c;使用 ps 都能观察到两个 python 进程。 此外&#xff0c;这个程序占用了 GPU 资源&#xff0c;我发现有两个 python 进程&#xff0c;分别占用了完全相同的 GPU 显存 1. 原因 …...

编程日记 2025/8/21 23:43:24

使用jcodec库，访问网络视频提取封面图片上传至oss

注释部分为FFmpeg&#xff08;确实方便但依赖太大&#xff0c;不想用&#xff09; package com.zuodou.upload;import com.aliyun.oss.OSS; import com.aliyun.oss.model.ObjectMetadata; import com.aliyun.oss.model.PutObjectRequest; import com.zuodou.oss.OssProperties;…...

编程日记 2025/8/26 21:51:24

MyBatis-Plus 与 Spring Boot 的最佳实践

在现代 Java 开发中，MyBatis-Plus 和 Spring Boot 的结合已经成为了一种非常流行的技术栈。MyBatis-Plus 是 MyBatis 的增强工具，提供了许多便捷的功能，而 Spring Boot 则简化了 Spring 应用的开发流程。本文将探讨如何将 MyBatis-Plus 与 Spring Boot 进行整合，并分享一些…...

编程日记 2025/8/27 1:33:23

python-51-使用最广泛的数据验证库Pydantic

文章目录 1 Pydantic2 models2.1 基本模型应用2.1.1 实例化2.1.2 访问属性2.1.3 修改属性2.2 嵌套模型【Optional】3 Fields3.1 Field()函数3.2 带注释的模式Annotated3.3 默认值3.3.1 default参数3.3.2 default_factory3.4 字段别名3.5 数字约束3.6 字符串约束3.7 严格模式4 A…...

编程日记 2025/8/22 17:30:48

Linux - 网络基础（应用层，传输层）

一、应用层 1&#xff09;发送接收流程 1. 发送文件 write 函数发送数据到 TCP 套接字时&#xff0c;内容不一定会立即通过网络发送出去。这是因为网络通信涉及多个层次的缓冲和处理&#xff0c;TCP 是一个面向连接的协议&#xff0c;它需要进行一定的排队、确认和重传等处理…...

编程日记 2025/8/23 22:30:16

ADB、Appium 和 大模型融合开展移动端自动化测试

将 ADB、Appium 和 大模型（如 GPT、LLM） 结合，可以显著提升移动端自动化测试的智能化水平和效率。以下是具体的实现思路和应用场景： 1. 核心组件的作用 ADB（Android Debug Bridge）： 用于与 Android 设备通信，执行设备操作（如安装应用、获取日志、截图等）。Appium： 用…...

编程日记 2025/8/27 0:23:40

【Pandas】pandas Series unstack

Pandas2.2 Series Computations descriptive stats 方法描述Series.argsort([axis, kind, order, stable])用于返回 Series 中元素排序后的索引位置的方法Series.argmin([axis, skipna])用于返回 Series 中最小值索引位置的方法Series.argmax([axis, skipna])用于返回 Series…...

编程日记 2025/8/23 7:29:26

rv1126交叉编译opencv+ffmpeg+x264

文章目录 &#x1f315;交叉编译x264&#x1f319;创建build_x264.sh(放在下载的x264目录下)&#x1f319;编译过程&#x1f319;查看编译后的so文件是否是arm版的 &#x1f315;下载编译ffmpeg&#x1f319;下载ffmpeg&#x1f319;创建编译脚本&#x1f319;创建ffmpeg编译路…...

编程日记 2025/8/23 20:40:07

【C++】ImGui：VSCode下的无依赖轻量GUI开发

本教程将手把手带您用纯原生方式构建ImGui应用&#xff0c;无需CMake/第三方库。您将全程明了自己每个操作的意义&#xff0c;特别适合首次接触GUI开发的新手。 环境配置 安装VSCode 作用&#xff1a;轻量级代码编辑器&#xff0c;提供智能提示操作&#xff1a; 官网下载安装…...

编程日记 2025/8/20 10:34:02

BUU44 [BJDCTF2020]ZJCTF，不过如此1 [php://filter][正则表达式get输入数据][捕获组反向引用][php中单双引号]

题目&#xff1a; 我仿佛见到了一位故人。。。也难怪&#xff0c;题目就是ZJCTF 按要求提交/?textdata://,I have a dream&filenext.php后&#xff1a; ......不太行&#xff0c;好像得用filephp://filter/convert.base64-encode/resourcenext.php 耶&#xff1f;那 f…...

编程日记 2025/8/26 0:05:52

Jetpack Compose — 入门实践

一、项目中使用 Jetpack Compose 从此节开始，为方便起见，如无特殊说明，Compose 均指代 Jetpack Compose。 开发工具： Android Studio 1.1 创建支持 Compose 新应用 新版 Android Studio 默认创建新项目即为 Compose 项目。 注意:在 Language 下拉菜单中，Kotlin 是唯一可…...

编程日记 2025/8/24 14:39:39

通过着装人体剪影预测关键点，以获取人体的二维尺寸数据。复现过程包括获取或生成3D人体数据集、生成轮廓图像、训练模型等步骤

根据文献《1_Clothes Size Prediction from Dressed-Human Silhouettes》复现方法&#xff0c;主要通过着装人体剪影预测关键点&#xff0c;以获取人体的二维尺寸数据。复现过程包括获取或生成3D人体数据集、生成轮廓图像、训练模型等步骤。 以下是进行复现的大致步骤&#xf…...

编程日记 2025/8/25 22:29:10

力扣HOT100之哈希：49. 字母异位词分组

这道题自己先想了一遍&#xff0c;定义了一个比较字符串的函数&#xff0c;用二重循环和一个数组来实现字符串的比较&#xff0c;若两个字符串是异位词&#xff0c;那么就返回true&#xff0c;否则返回false&#xff0c;在主函数中&#xff0c;同样用一个二重循环来遍历向量中的…...

编程日记 2025/8/21 20:59:46

基于单片机的智慧音乐播放系统研究

标题:基于单片机的智慧音乐播放系统研究 内容:1.摘要 随着科技的飞速发展&#xff0c;人们对音乐播放系统的智能化和个性化需求日益增长。本研究的目的是设计并实现一个基于单片机的智慧音乐播放系统。采用单片机作为核心控制单元&#xff0c;结合音频解码模块、存储模块和人机…...

编程日记 2025/8/21 1:33:49

pytest框架 核心知识的系统复习

1. pytest 介绍 是什么&#xff1a;Python 最流行的单元测试框架之一&#xff0c;支持复杂的功能测试和插件扩展。 优点&#xff1a; 语法简洁&#xff08;用 assert 替代 self.assertEqual&#xff09;。 自动发现测试用例。 丰富的插件生态&#xff08;如失败重试、并发执…...

编程日记 2025/8/16 12:54:52

nginx 代理 redis

kubernetes 发布的redis服务端口为 31250 通过命令查询 [miniecs-88500735 /]$ minikube service redis --url http://192.168.49.2:31250[rootecs-88500735 /]# vi /etc/nginx/nginx.conf配置nginx.conf stream {upstream redis {server 192.168.49.2:31250;}server {liste…...

编程日记 2025/8/24 6:25:51

什么是：分布式贝叶斯推断

什么是：分布式贝叶斯推断 分布式贝叶斯推断（Distributed Bayesian Inference）是一种在分布式计算环境下进行贝叶斯统计推断的方法，旨在利用多节点或多设备的并行计算能力，高效处理大规模数据或复杂模型。其核心思想是将数据、模型或计算过程分解到多个节点上，通过协作完…...

编程日记 2025/8/24 5:27:39

C# 命名空间(Namespace)详解

在C#中&#xff0c;命名空间&#xff08;Namespace&#xff09;是一种封装和组织代码的方式&#xff0c;它允许将相关的类、接口、结构体和枚举等类型组织在一起&#xff0c;以避免命名冲突&#xff0c;并提供了一种逻辑上的分组方式。命名空间的使用有助于提高代码的可读性、可…...

编程日记 2025/8/23 8:19:25

ASP.NET Core JWT认证与授权

1.JWT结构 JSON Web Token&#xff08;JWT&#xff09;是一种用于在网络应用之间安全传输声明的开放标准&#xff08;RFC 7519&#xff09;。它通常由三部分组成&#xff0c;以紧凑的字符串形式表示&#xff0c;在身份验证、信息交换等场景中广泛应用。 2.JWT权限认证 2.1添…...

编程日记 2025/8/24 21:38:15

Docker参数，以及仓库搭建

一。Docker的构建参数 注释&#xff1a; 1.对于CMD&#xff0c;如果不想显示&#xff0c;而是使用交互界面&#xff1a;docker run -ti --rm --name test2 busybox:v5 sh 2.对于CMD&#xff0c;一个交互界面只可以使用一个&#xff0c;如果想多次使用CMD&#xff0c;则用ENTR…...

编程日记 2025/8/20 21:11:44

hooks useModule自定义hooks (二次封装AgGridReact ag-table)自定义表头，自定义表头搜索

场景业务&#xff1a; 多次运用AgGridReact的table 列表 思路&#xff1a; 运用自定义hooks进行二次封装&#xff1a; 通用配置例如&#xff1a;传参的参数&#xff0c;传参的url&#xff0c;需要缓存的key这些键值类 定制化配置例如&#xff1a;需要对table 的一些定制化传…...

编程日记 2025/8/27 6:38:20

机试准备第11天

第一题是浮点数加法&#xff0c;目前写过最长的代码。 #include <stdio.h> #include <string> #include <iostream> #include <vector> using namespace std; int main() {string str1;string str2;while (getline(cin, str1) && getline(cin…...

编程日记 2025/8/25 8:29:53

正则表达式详解

这里写目录标题 一、基本概念1.基本语法2.修饰符3.方括号4.元字符5.量词 二、结构1.匹配模式2.字符组3.量词4.贪婪匹配和惰性匹配5.多选分支6.匹配模式关键词 三、位置1.位置锚点2.分组与引用1.分组与编号2.不保存子组3.括号嵌套4.命名捕获组5.引用捕获组 3.回溯匹配 四、对象方…...

编程日记 2025/8/16 10:13:40

动态扩缩容引发的JVM堆内存震荡：从原理到实践的GC调优指南

目录 一、典型案例&#xff1a;系统发布后的GC雪崩事件 &#xff08;一&#xff09;故障现象 1. 刚刚启动时 GC 次数较多 2. 堆内存锯齿状波动 3. GC日志特征&#xff1a;Allocation Failure &#xff08;二&#xff09;问题定位 二、原理深度解析&#xff1a;JVM内存弹…...

编程日记 2025/8/24 4:35:44

本地运行Manus的替代方案：OpenManus的技术解析与实践指南

无需邀请码&#xff0c;三小时构建的开源智能体革命 一、背景&#xff1a;从Manus到OpenManus的技术突围 近期&#xff0c;AI智能体领域因Manus的发布引发热议。这款号称“全球首个通用型AI智能体”的产品&#xff0c;通过整合浏览器操作&#xff08;Browser Use&#xff09;…...

编程日记 2025/8/24 22:34:16

红果短剧安卓+IOS双端源码,专业短剧开发公司

给大家拆解一下红果短剧/河马短剧&#xff0c;这种看光解锁视频&#xff0c;可以挣金币的短剧APP。给大家分享一个相似的短剧APP源码&#xff0c;这个系统已接入穿山甲广告、百度广告、快手广告、腾讯广告等&#xff0c;类似红果短剧的玩法&#xff0c;可以看剧赚钱&#xff0c…...

编程日记 2025/8/23 18:17:30

ubuntu22.04本地部署OpenWebUI

一、简介 Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台&#xff0c;旨在完全离线运行。它支持各种 LLM 运行器&#xff0c;如 Ollama 和 OpenAI 兼容的 API&#xff0c;并内置了 RAG 推理引擎&#xff0c;使其成为强大的 AI 部署解决方案。 二、安装 方法 …...

编程日记 2025/8/26 5:20:41

不同开发语言之for循环的用法、区别总结

一、Objective-C &#xff08;1&#xff09;标准的c风格 for (int i 0; i < 5; i) {NSLog("i %d", i); } &#xff08;2&#xff09;for in循环。 NSArray *array ["apple", "banana", "orange"]; for (NSString *fruit in …...

编程日记 2025/8/20 5:24:13

国产编辑器EverEdit - 宏功能介绍

1 宏 1.1 应用场景 宏是一种重复执行简单工作的利器&#xff0c;可以让用户愉快的从繁琐的工作中解放出来&#xff0c;其本质是对键盘和菜单的操作序列的录制&#xff0c;并不会识别文件的内容&#xff0c;属于无差别无脑执行。 特别是对一些有规律的重复按键动作&#xff0c;…...

编程日记 2025/8/24 12:08:21

【Linux跬步积累】—— 网络基础

&#x1f30f;博客主页&#xff1a;PH_modest的博客主页 &#x1f6a9;当前专栏&#xff1a;Linux跬步积累 &#x1f48c;其他专栏&#xff1a; &#x1f534; 每日一题 &#x1f7e1; C跬步积累 &#x1f7e2; C语言跬步积累 &#x1f308;座右铭&#xff1a;广积粮&#xff0…...

编程日记 2025/8/26 15:54:14

【银河麒麟高级服务器操作系统实例】虚拟机桥接网络问题分析及处理

更多银河麒麟操作系统产品及技术讨论&#xff0c;欢迎加入银河麒麟操作系统官方论坛 https://forum.kylinos.cn 了解更多银河麒麟操作系统全新产品&#xff0c;请点击访问 麒麟软件产品专区&#xff1a;https://product.kylinos.cn 开发者专区&#xff1a;https://developer…...

编程日记 2025/8/25 7:20:34