当前位置：首页 > news >正文

论文阅读：KAM-CoT: Knowledge Augmented Multimodal Chain-of-Thoughts Reasoning

news 来源：原创 2025/8/29 3:37:03

论文来源：AAAI 2024

论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/29844

Abstract

LLM通过利用能够逐步思考的思维链在NLP任务中取得了很好的性能，但是为LLM扩展多模态能力时计算成本高，且需要大量的硬件资源。为了解决上述问题，本文提出了KAM-CoT框架，集成了CoT推理、知识图谱和多种模态，以全面理解多模态任务。

KAM-CoT采用两阶段式训练过程，连接知识图谱以生成有效的推理和答案，通过在推理过程中整合来自KG的外部知识，使模型获得更很层次的上下文理解，以缓解幻觉，并提高答案的质量。

这种知识增强的CoT推理能够使模型处理需要外部上下文的问题，提供更高质量的答案。

Introduction

对于CoT推理，KGs可以补充逐步推理过程，通过整合来自KGs的信息，LM可以更连贯地进行推理吗，并利用实体和属性之间的上下文关系。

本文利用KGs来增加多种模态以帮助模型充分挖掘CoT能力来解决复杂问题。LAM-CoT包括一个LM获取文本上下文，一个视觉编码器来编码视觉特征和一个图神经网络（GNN）以基于KGs进行推理。推理过程包括两个阶段，第一阶段生成合理的推理，第二阶段将生成的推理作为额外的输入并提供答案。KAM-CoT将文本、视觉和图特征拼接在一起，是模型能够连贯地思考和推理。

主要贡献：

1. 图提取，基于给定的上下文从ConceptNet中提取三元组；

2. 融合KG，将文本和图像模态与KG融合；

3. KAM-CoT，分阶段联合处理视觉、文本和KG，并逐步推理以生成合理的推理和答案。

Method

论文的核心思想与论文《Multimodal Chain-of-Thought Reasoning in Language Models》类似，第一步是训练模型生成推理，第二步是将第一步生成的推理作为额外的输入，使模型生成正确的答案，不同点在于MM-CoT只处理图像和文本模态，本文对该方法进行了扩展，将KG作为一种额外的模态，从而将生成过程建立在事实知识的基础上。

为了获得用于推理生成的文本输入，论文只是简单的将不同的文本部分进行拼接， $X_{lang}^{rat}=[q,c;[a_1,a_2,...,a_k]]$ ，对于答案选择预测，则增加推理 $X_{lang}^{rat}=[q,c;[a_1,a_2,...,a_k];r]$ 。

然后为每个样本提取一个子图 $X_{kg}$ ，通过训练模型 $F_{rat}\left ( \cdot \right )$ 来生成推理 $r$ ：

$r=F_{rat}\left ( X_{lang}^{rat},X_{img},X_{kg} \right )$

与上述过程类似，为了生成正确的答案，训练模型 $F_{ans}\left ( \cdot \right )$

$a=F_{ans}\left ( X_{lang}^{ans},X_{img},X_{kg} \right )$

最后，通过计算生成文本的概率类获得推理或答案：

$P\left ( Y|X_{lang},X_{img},X_{kg} \right )=\prod_{i=1}^{N}p_\theta (Y_i|X_{lang},X_{img},X_{kg} ,Y_{<i})$

整过的推理过程如下：

编码不同模态的输入

文本编码：使用基于Transformer的语言编码器对 $X_{lang}$ 进行编码，获得 $H_{lang}\in \mathbb{R}^{n\times d}$ 。

图像编码：使用基于Transformer的语言编码器对 $X_{img}$ 进行编码，获得 $H_{img}\in \mathbb{R}^{m\times d}$ 。

子图选择：

对于每个样本，从ConceptNet中选择一个子图。具体来说，将ConceptNet中的关系划分为17中不同的类型，这些可以可以是正向的或反向的，总共34中可能得边类型，三元组被转换为句子，并存储为响应的句子模式，用于从问题、上下文和答案选择中提取结点。

为了获取初始化节点嵌入，使用与文本编码相同的预训练检查点对语言编码器进行训练（确保语言和结点嵌入在相同的嵌入空间），并在该节点的跨度内取嵌入的平均值。

图编码：利用图神经网络获取子图编码 $H_{kg}\in\mathbb{R}^{p\times d}$

模态间的交互

使用交叉注意力来实现文本、图像和子图表示之间的交互，如图2所示，第一个注意力模块实现语言和图像嵌入之间的交互，另一个注意力模块实现语言和结点之间的交互。

特征融合

解码

使用一个Transformer解码器获得自回归生成的文本：

实验

论文阅读：KAM-CoT: Knowledge Augmented Multimodal Chain-of-Thoughts Reasoning

论文来源：AAAI 2024 论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/29844 Abstract LLM通过利用能够逐步思考的思维链在NLP任务中取得了很好的性能，但是为LLM扩展多模态能力时计算成本高，且需要大量的硬件资源。…...

编程日记 2025/8/29 3:37:03

linux内存页块划分及位图存储机制

page_alloc.c - mm/page_alloc.c - Linux source code v5.4.285 - Bootlin Elixir Cross Referencer 一. 什么是页块（Pageblock）？ 定义：页块是物理内存中的一个连续区域，由 2^pageblock_order 个物理页（Pag…...

编程日记 2025/8/28 14:46:40

一台云工作站是否能通过共享云桌面让10人流畅进行三维设计

云工作站，作为一种基于云计算技术的远程工作站解决方案，它将高性能的计算资源集中在云端服务器上，用户通过网络访问这些资源，实现高效、灵活的办公和创作环境。而三维设计，尤其是涉及复杂模型、高精度渲染等领域&#…...

编程日记 2025/8/29 3:36:28

安卓应用之服务

服务服务也是四大组件之一，用于执行长时间运行操作的组件，它与用户界面（UI）是分开的，因此即使用户切换到其他应用，服务依然可以继续运行。主要用于处理一些不需要用户交互的任务。例如，播放音…...

编程日记 2025/8/29 3:35:31

【Vue CLI脚手架开发】——6.scoped样式

文章目录一、scoped是什么二、应用案例1.使用代码2.原理3父组件App未添加scoped影响一、scoped是什么我们知道vue为了防止css样式污染，在每个组件中提供了 scoped属性进行限定css作用域；当<style>标签有 scoped 属性时，它的 CSS 只…...

编程日记 2025/8/29 3:36:25

JVM参数调整

一、内存相关参数 1. 堆内存控制 -Xmx：最大堆内存（如 -Xmx4g，默认物理内存1/4）。-Xms：初始堆内存（建议与-Xmx相等，避免动态扩容带来的性能波动）。-Xmn：新生代大小&…...

编程日记 2025/8/28 4:44:17

NodeJS学习笔记

NodeJS软件安装 node环境安装： https://nodejs.org 安装好后的node通常在C:\Program Files\nodejs验证安装是否成功 node -v npm -v 进入REPL模式命令行模式 nodeNodeJS在REPL模式和编辑器使用 windos在dos下常用命令 windos命令： 1、cmd dos系统2、…...

编程日记 2025/8/29 3:35:33

缺陷管理工具-禅道

目录一、禅道的介绍二、禅道的特点三、禅道使用流程 1.管理缺陷 2.管理用例黑马测试视频学习记录一、禅道的介绍二、禅道的特点三、禅道使用流程 1.管理缺陷 2.管理用例...

编程日记 2025/8/16 12:38:46

C++ 单词识别_牛客题霸_牛客网

点击链接即可查看题目: 单词识别_牛客题霸_牛客网一、题目描述输入一个英文句子，把句子中的单词(不区分大小写)按出现次数按从多到少把单词和次数在屏幕上输出来，次数一样的按照单词小写的字典序排序输出，要求能识别英文单词和句号。输入…...

编程日记 2025/8/23 1:54:19

qt open3dAlpha重建

qt open3dAlpha重建效果展示二、流程三、代码效果展示二、流程创建动作，链接到槽函数，并把动作放置菜单栏参照前文三、代码 1、槽函数实现 void on_actionAlpha_triggered();//alpha重建 void MainWindow::...

编程日记 2025/8/16 10:24:27

PS内发光、外发光

内外发光（图层样式–》内发光、外发光）：（滤色效果最好） 内发光–》结构：内发光的外形内发光–》图素：渐变发光细节的调整内发光–》品质：增加质感内发光–》图素–》阻塞&#x…...

编程日记 2025/8/28 21:50:50

C++之thread_local变量

C之thread_local变量_c threadlocal-CSDN博客 thread_local简介 thread_local 是 C11 为线程安全引进的变量声明符。表示对象的生命周期属于线程存储期。线程局部存储(Thread Local Storage，TLS)是一种存储期(storage duration)，对象的存储是在…...

编程日记 2025/8/29 1:00:15

鸿蒙开发中，数据持久化之Transaction(事务)的概念及应用

SQLite 数据库具备事务处理能力。事务本质上是一组操作的集合，它具有原子性，意味着这一系列操作要么全部成功执行，要么全部失败，不存在部分操作成功而部分失败的中间状态。以常见的转账功能为例，A 账户向 B 账户转账…...

编程日记 2025/8/23 13:33:35

软考高项笔记 1.1.1 信息

1.1.1 信息 📚 信息(Information) 是物质、能量及其属性的标示的集合，是确定性的增加。它以物质介质为载体，传递和反映世界各种事物存在方式、运动状态等的表征。信息不是物质，也不是能力，它以一种普遍形式&#xff0c…...

编程日记 2025/8/27 20:58:01

【TCP/IP协议栈】计算机网络知识补充

参考资料： 前言【计算机网络知识】总结 IP 在互联网中MAC 在局域网中 1. IP地址 IP地址有两个版本，IPv4和IPv6。IPv6现在并没有普及使用，所以现在使用的地址大部分依然是IPv4。 IP地址是在IP协议中，用来标识网络中不同主机的…...

编程日记 2025/8/29 3:35:32

【C++进阶学习】第一讲——继承（下）---深入挖掘继承的奥秘

目录 1.隐藏 1.1隐藏的概念 1.2隐藏的两种方式 2.继承与友元 3、继承与静态成员 4.单继承和多继承 4.1单继承 4.2多继承 5.菱形继承问题1：冗余性问题2：二义性 6.虚拟继承 7.总结 1.隐藏 1.1隐藏的概念在 C 中，继承是一种机制…...

编程日记 2025/8/28 10:59:15

IDEA Generate POJOs.groovy 踩坑小计 | 生成实体 |groovy报错

一、无法生成注释或生成的注释是null 问题可能的原因： 1.没有从表里提取注释信息，修改def calcFields(table)方法即可 def calcFields(table) {DasUtil.getColumns(table).reduce([]) { fields, col ->def spec Case.LOWER.apply(col.getDataType().…...

编程日记 2025/8/23 3:17:15

数据结构与算法计算机组成八股

文章目录数据结构与算法数组与链表的区别堆的操作红黑树定义及其原理计算机组成int和uint的表示原码反码补码移码的定义？为什么用补码？ 数据结构与算法数组与链表的区别堆的操作红黑树定义及其原理计算机组成 int和uint的表示原码反码补码移…...

编程日记 2025/8/24 11:30:21

【奇点时刻】通义千问开源QwQ-32B技术洞察报告（扫盲帖）

以下报告将基于今天各大社区对 Qwen/QwQ-32B（下文简称「QwQ-32B」）模型的讨论、测评与实测体验进行综合性分析与洞察。本报告将从模型背景与定位、核心技术、性能表现与对比、部署与使用方式，以及未来潜力与可能的影响五个维度，帮…...

编程日记 2025/8/27 7:32:13

以下是公式一推导出公式二的过程。表达式一 ∂ E ∂ w j k − 2 ( t k − o k ) ⋅ sigmoid ( ∑ j w j k ⋅ o j ) ⋅ ( 1 − sigmoid ( ∑ j w j k ⋅ o j ) ) ⋅ ∂ ∂ w j k ( ∑ j w j k ⋅ o j ) \frac{\partial E}{\partial w_{jk}} -2(t_k - o_k) \cdot \text{sigm…...

编程日记 2025/8/25 9:15:06

IDEA 2024.1.7 Java EE 无框架配置servlet

1、创建一个目录（文件夹）lib来放置我们的库 2、将tomcat目录下的lib文件夹中的servlet-api.jar文件复制到刚创建的lib文件夹下。 3、把刚才复制到lib下的servlet-api.jar添加为库 4、在src下新建一个package：com.demo，然后创…...

编程日记 2025/8/26 4:40:07

Three.js 快速入门教程【十四】使用Stats.js监控渲染帧率和性能优化

系列文章目录 Three.js 快速入门教程【一】开启你的 3D Web 开发之旅 Three.js 快速入门教程【二】透视投影相机 Three.js 快速入门教程【三】渲染器 Three.js 快速入门教程【四】三维坐标系 Three.js 快速入门教程【五】动画渲染循环 Three.js 快速入门教程【六】相机控件 Or…...

编程日记 2025/8/28 17:13:53

基于RapidOCR与DeepSeek的智能表格转换技术实践

基于RapidOCR与DeepSeek的智能表格转换技术实践一、技术背景与需求场景在金融分析、数据报表处理等领域，存在大量图片格式的表格数据需要结构化处理。本文介绍基于开源RapidOCR表格识别与DeepSeek大模型的智能转换方案，实现以下典型场景： …...

编程日记 2025/8/27 18:40:34

简单多状态 dp 问题（典型算法思想）—— OJ例题算法解析思路

目录一、面试题 17.16. 按摩师 - 力扣（LeetCode） 算法代码： 代码思路解析： 问题分析： 动态规划定义： 状态转移方程： 初始化： 填表： 返回值： 优化空…...

编程日记 2025/8/26 0:37:59

【电路笔记 TMS320C6***DSP】外部存储器接口 A EMIFA向FPGA(作为异步存储器)写入数据的示例

目录 DSP和FPGA的连接DSP端：传输数据给FPGAFPGA端：接收数据 EMIFA（External Memory Interface A）的“异步存储器”（Asynchronous Memory）指的是那些不与系统时钟同步进行读写操作的外部存储设备。这类存储器…...

编程日记 2025/8/20 10:34:03

pgsql 查看数据库、表、索引大小等

查询数据库大小 -- 查询单个数据库大小 select pg_size_pretty(pg_database_size(postgres)) as size;-- 查询所有数据库大小 select datname, pg_size_pretty (pg_database_size(datname)) AS size from pg_database; 查询表大小 -- 查询单个表大小 select pg_size_pretty(p…...

编程日记 2025/8/22 15:22:27

物联网感知层采集的数据经过etl 后，输送给ai 训练模型和模型本身调优

在物联网（IoT）系统中，感知层采集的数据经过 ETL（Extract, Transform, Load）处理后，可以作为 AI 模型的训练数据，用于模型训练和调优。以下是实现这一过程的详细步骤和技术方案：一、数据流程概述数据采集：通过传感器和物联网设备采集原始数据。ETL 处理：对原始数据…...

编程日记 2025/8/28 1:48:13

C语言基础

一、基础 C语言文件后缀 .c为源文件 .h为头文件以 Visual studio 为例右键点击源文件点击添加，新建项 .c为C语言文件，.cpp为C文件后缀不同编译器会按照不同的编译语法进行编译 .cpp以C语法第一个程序 #include <stdio.h> //包含 st…...

编程日记 2025/8/28 8:50:01

pinginfoview网络诊断工具中文版

介绍 pinginfoview中文版本是一款实用的网络诊断工具，它专为中文用户设计，提供了方便易用的界面，使得在Windows环境下进行ping测试变得更加简单。该工具是由NirSoft开发的一款免费的桌面应用程序，尽管官方可能并未正式发布中文版…...

编程日记 2025/8/26 18:18:59

Anyting LLM LLM温度设置范围

在Anything LLM中，LLM（Language Model）的温度设置是一个关键参数，它影响着模型生成文本时的随机性和确定性。关于Anything LLM的LLM温度设置范围，虽然没有官方的明确数值范围说明，但通常温度参数的设置遵循…...

编程日记 2025/8/24 14:32:26

鸿蒙Android4个脚有脚线

效果 min:number122max:number150Row(){Stack(){// 底Text().border({width:2,color:$r(app.color.yellow)}).height(this.max).aspectRatio(1)// 长Text().backgroundColor($r(app.color.white)).height(this.max).width(this.min)// 宽Text().backgroundColor($r(app.color.w…...

编程日记 2025/8/28 13:48:54