当前位置：首页 > news >正文

【AI论文】Visual Instruction Tuning

news 来源：原创 2025/5/18 6:10:53

文献核心目标

作者的目标是通过多模态指令微调(Visual Instruction Tuning)来训练一个通用的视觉助手，使其能够理解用户的语言指令并与视觉内容结合完成任务。例如，用户可以上传图片并提出问题，模型根据图片内容作出回答。

1. 引言

什么是多模态交互？为什么重要？

人类的多模态交互

人类通过多种感知渠道（如视觉、语言）来理解和互动世界。
不同的感知渠道各有优势：
- 视觉：擅长处理图像和视觉信息。
- 语言：擅长表达抽象概念。
将这些感知渠道结合起来，可以帮助我们更全面地理解世界。

人工智能的目标

人工智能的核心目标之一是开发多模态通用助手。
这种助手需要能够理解并执行视觉和语言结合的指令，完成各种现实任务。

当前问题：现有方法的局限性

现有视觉模型的局限

当前许多视觉模型（如分类、检测、分割、生成等任务）性能强大，但存在以下问题：
- 单任务导向：这些模型通常为单一任务而设计，缺乏通用性。
- 交互性不足：模型只能根据固定的任务设计工作，无法灵活适应用户的复杂指令。
- 语言的局限：语言仅用于描述图像内容，而不是灵活地表达任务指令。

语言模型的启发

大型语言模型（LLM），如 ChatGPT 和 GPT-4，展示了语言作为通用接口的潜力：
- 明确任务指令：通过语言可以清晰表达任务需求。
- 灵活性强：可以根据用户输入动态切换任务。
但目前的语言模型主要基于纯文本，缺乏处理视觉信息的能力。

新研究的目标：视觉指令调优

研究目标

视觉指令调优：将“指令调优”（Instruction Tuning）的方法从文本领域扩展到“视觉-语言多模态”领域。
目标是开发一个能够理解图像和语言组合指令的通用视觉助手，以完成多模态任务。

研究贡献

1. 多模态指令数据的构建

挑战：缺乏足够的视觉-语言指令数据。
解决方案：
- 利用 ChatGPT 和 GPT-4，将现有的图像-文本对转换为“指令-响应”格式。
- 例如，将“图像+描述”转化为“问题+答案”形式，使模型更好地理解任务。

2. 开发大型多模态模型

模型架构：
- 使用 CLIP（一个视觉编码器）和 Vicuna（一种开源语言模型）相结合，构建新的多模态模型。
- 使用生成的多模态指令数据进行端到端训练，使模型能够理解复杂的视觉-语言指令。
实验结果：
- 实验证明，这种方法显著提升了模型的指令执行能力。
- 当与 GPT-4 结合使用时，该模型在 Science QA 数据集上达到了最新的最高准确率。

3. 多模态评估基准

提出了新的评估基准（LLaVA-Bench），包括两个具有挑战性的多模态任务：
- 配对的图像和指令。
- 详细的任务标注。

4. 开源资源

研究团队公开了以下资源，促进社区研究：
- 生成的多模态指令数据。
- 模型代码和训练好的模型。
- 一个视觉聊天的演示工具。

2 相关工作

多模态指令执行模型

什么是多模态指令执行模型？

多模态指令执行模型是一类能够同时理解视觉信息（如图像）和语言信息（如文字）的AI模型。
它们可以根据人类提供的视觉和语言指令，完成各种任务。
例如：
- 根据文字指令对图片进行修改。
- 在视觉环境中根据指令完成导航任务。

现有方法的分类

现有的多模态指令执行模型大致可以分为以下两类：

端到端训练的模型
- 定义：这些模型是专门为某一特定任务设计的，能够从输入到输出完成整个任务。
- 示例：
  - 视觉-语言导航任务：例如在 Habitat [47] 平台上，AI根据自然语言指令（如“走到房间右侧的桌子旁”）在虚拟环境中导航。
  - 图像编辑任务：例如 InstructPix2Pix [6]，它根据文字描述（如“将天空改为夜晚”）修改输入图像。
基于系统协调多个模型
- 定义：这种方法通过一个“协调者”（通常是语言模型），将多个专用模型整合起来完成任务。
- 示例：
  - Visual ChatGPT [53]：

【AI论文】Visual Instruction Tuning

文献核心目标作者的目标是通过多模态指令微调(Visual Instruction Tuning)来训练一个通用的视觉助手，使其能够理解用户的语言指令并与视觉内容结合完成任务。例如，用户可以上传图片并提出问题，模型根据图片内容作出回答。 1. 引言什么是多模态交互？为什么重要？人类…...

编程日记 2025/5/18 6:10:53

产品详情页中品牌官网详情对应后端的字段是 detail

文章目录 1、在这个Vue代码中，品牌官网详情对应后端的字段是 detail2、品牌官网详情功能相关的代码片段3、export const productSave (data: any) >4、ProductController5、ProductDto 类6、ProductApiService 1、在这个Vue代码中，品牌官网详情对…...

编程日记 2025/5/14 4:35:58

vue知识点2

1.methods和mounted的区别 methods是定义方法，不涉及到调用 mounted涉及到操作所以methods后面是：，mounted后面是（） 2.介绍一下emit的用法如果子控件要调用父页面的方法，在父页面的子控件引用处&…...

编程日记 2025/5/13 23:44:01

使用 mkcert 本地部署启动了 TLS/SSL 加密通讯的 MongoDB 副本集和分片集群

MongoDB 是支持客户端与 MongoDB 服务器之间启用 TLS/SSL 进行加密通讯的, 对于 MongoDB 副本集和分片集群内部的通讯, 也可以开启 TLS/SSL 认证. 本文会使用 mkcert 创建 TLS/SSL 证书, 基于创建的证书, 介绍 MongoDB 副本集、分片集群中启动 TLS/SSL 通讯的方法. 我们将会在…...

编程日记 2025/5/14 11:57:23

荣耀手机Magic3系列、Magic4系列、Magic5系列、Magic6系列、Magic7系列详情对比以及最新二手价格预测

目录荣耀Magic系列手机详细对比最新二手价格预测性价比分析总结以下是荣耀Magic系列手机的详细对比以及最新二手价格预测： 荣耀Magic系列手机详细对比特性荣耀Magic3系列荣耀Magic4系列荣耀Magic5系列荣耀Magic6系列荣耀Magic7系列处理器骁龙888&#x…...

编程日记 2025/5/14 2:01:28

利用HTML和css技术编写学校官网页面

目录一，图例展示二，代码说明 1，html部分： 【第一张图片】【第二张图片】【第三张图片】 2，css部分： 【第一张图片】【第二张图片】【第三张图片】三，程序代码一，…...

编程日记 2025/5/15 8:50:47

易语言Easy Programming Language

E易语言 EF 易语言.飞场 EPL EF 我心易飞扬! Elogo 易乐谷我的程序我来写！ Easy Programming Language Elogo 未来的小程序员！易语言运行时环境检验报告自有编辑器、自带数据库、本土化支持易语言系统全部自行设计开发。自有编译器。所编译目的程序运…...

编程日记 2025/5/16 3:35:18

支付宝安全发全套解决方案

产品价值 ● 通过支付宝的资金能力，让服务商机构通过信息流驱动资金流，在不碰触客户企业资金的同时，为客户企业完成转账。账目清晰，无合规和资质风险。 ● 为服务商提供全链路的资金流动明细信息，服务商可以将这些信息…...

编程日记 2025/5/17 20:16:13

如何通过腾讯 ima.copilot 训练自己的知识库

如何通过腾讯 ima.copilot 训练自己的知识库在信息爆炸的时代，拥有一个专属的知识库，能让我们在学习、工作中快速获取所需信息，极大地提升效率。腾讯推出的 AI 智能工作台 ima.copilot，为我们打造个人知识库提供了便利。今天&am…...

编程日记 2025/5/16 20:48:41

本地部署DeepSeek-R1（Mac版）

本地部署DeepSeek-R1（Mac版） 前言：过年这段时间，DeepSeek火遍全球，但遭受黑客攻击，10次对话基本9次都是服务器繁忙，请稍后重试。那么，本地部署整起来总体来说，本地部署…...

编程日记 2025/5/16 12:11:23

uniapp 编译生成鸿蒙正式app步骤

1，在最新版本DevEco-Studio工具新建一个空项目并生成p12和csr文件（构建-生成私钥和证书请求文件） 2，华为开发者平台根据上面生成的csr文件新增cer和p7b文件，分发布和测试 3，在最新版本DevEco-Studio工具文…...

编程日记 2025/5/12 7:29:31

C++STL与内存管理总结

1：内存管理方面：涉及分配（请求）与释放，主要分为静态内存，自动存储期（栈内存）、动态内存分配（堆内存）以及智能指针系列，之所以重要，因…...

编程日记 2025/5/17 15:29:34

【文本处理】如何在批量WORD和txt文本提取手机号码，固话号码，提取邮箱，删除中文，删除英文，提取车牌号等等一些文本提取固定格式的操作，基于WPF的解决方案

企业的应用场景数据清洗：在进行数据导入或分析之前，往往需要对大量文本数据进行预处理，比如去除文本中的无关字符（中文、英文），只保留需要的联系信息（手机号码、固话号码、邮箱）。…...

编程日记 2025/5/18 0:10:40

算法跟练第十弹——栈与队列

文章目录 part01 逆波兰表达式求值part02 滑动窗口最大值part03 前 K 个高频元素归纳：将字符串转转换成整数：LinkedListMap遍历优先级队列的比较器跟着代码随想录刷题的第十天。代码随想录链接：代码随想录 part01 逆波兰表达式求值题目链接…...

编程日记 2025/5/14 17:30:57

计算机毕业设计——Springboot的校园新闻网站

🎉**欢迎来到琛哥的技术世界！**🎉 📘 博主小档案： 琛哥，一名来自世界500强的资深程序猿，毕业于国内知名985高校。 🔧 技术专长： 琛哥在深度学习任务中展现出卓越的能力&a…...

编程日记 2025/5/17 10:51:52

在CT107D单片机综合训练平台上实现外部中断控制LED闪烁

引言在单片机开发中，外部中断是一个非常重要的功能，它可以让单片机在检测到外部信号变化时立即做出响应。本文将详细介绍如何在CT107D单片机综合训练平台上使用外部中断来控制LED灯的闪烁。我们将使用两种不同的方式来实现这一功能：一种是在…...

编程日记 2025/5/17 11:22:02

C# ASP.NET 介绍

.NET学习资料 .NET学习资料 .NET学习资料一、概述 ASP.NET是由微软创建的一个开源 Web 框架，用于使用.NET 构建现代化的 Web 应用程序和服务。它为开发者提供了一套丰富的工具、库和编程模型，使得创建功能强大、高效且安全的 Web 应用变得更加容易。…...

编程日记 2025/5/12 17:24:12

Django中select_related 的作用

Django中这句代码Dynamic.objects.select_related(song)是什么意思？ 在 Django 中，这句代码： Dynamic.objects.select_related(song) 的作用是在查询 Dynamic 模型的同时，预加载 song 关联的外键对象，从而减少数据…...

编程日记 2025/5/16 10:38:24

MyBatis常见知识点

#{} 和 ${} 的区别是什么？ 答： ${}是 Properties 文件中的变量占位符，它可以用于标签属性值和 sql 内部，属于原样文本替换，可以替换任意内容，比如${driver}会被原样替换为com.mysql.jdbc. Driver。一个…...

编程日记 2025/5/16 1:46:05

CentOS 安装 Docker

一、使用官方安装脚本自动安装安装命令如下： curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 也可以使用国内 daocloud 一键安装命令： curl -sSL https://get.daocloud.io/docker | sh 二、手动安装卸载旧版本较旧的 Do…...

编程日记 2025/5/9 17:07:34

【sqlite】python操作sqlite3（含测试）

个人小项目或者小团队，sqllite很适用，数据库封装操作如下 #!/usr/bin/env python # -*- coding: utf-8 -*- # Time : 2025-02-08 13:57 # Author : duxiaowei # File : connect_sqllite.py # Software: PyCharm """ sqllite操作, …...

编程日记 2025/5/16 17:24:21

PTC Windchill介绍

以下内容摘自PTC的Windchill介绍材料，确有其用，摘录一些： 存储和搜索产品信息所有产品信息的中央存储库。同样的，对于产品相关内容，例如 CAD 模型、文档、技术插图、嵌入式软件、计算和要求规范，都有一个…...

编程日记 2025/5/17 5:25:37

3.矩阵分解技术在推荐系统中的应用

接下来我们将深入探讨矩阵分解技术在推荐系统中的应用。矩阵分解是一种强大的技术，可以有效地处理数据稀疏性问题，并提高推荐系统的性能。在这一课中，我们将介绍以下内容： 矩阵分解的基本概念奇异值分解（SVD&#xff…...

编程日记 2025/5/14 17:33:29

visual studio 在kylin v10上跨平台编译时c++标准库提示缺少无法打开的问题解决

情况1：提示无法打开源文件 "string"之类导致无法编译情况2:能编译，但无法打开这些库文件或标准库使用提示下划红色问题解决方案： 一、通过工具->选项->跨平台里，在“远程标头IntelliSense管理器”更新下载一下…...

编程日记 2025/5/15 21:15:43

TextWebSocketHandler 和 @ServerEndpoint 各自实现 WebSocket 服务器

TextWebSocketHandler 和 ServerEndpoint 都可以用于实现 WebSocket 服务器，但它们属于不同的技术栈，使用方式和功能有一些区别。以下是它们的对比： 1. 技术栈对比特性TextWebSocketHandler (Spring)ServerEndpoint (Java EE/JSR-356)所属框…...

编程日记 2025/5/12 8:48:48

一种非完全图下的TSP求解算法

序旅行商问题（Traveling Salesman Problem，简称TSP）是组合优化中的一个经典问题，就是给定一组城市和城市之间的距离，找到一条最短路径使得每个城市只被访问一次后返回到起点。一些传统的解法都是基于完全图的，我在网上也很少找到非完全图的解法，非完全图应该在实际应…...

编程日记 2025/5/17 20:49:44

文件操作(1.文件资源上传到MinIO 2.文件资源保存在数据库中)

目录本文提供文件操作接口的实现(上传下载) 附件资源表实体类具体代码实现上传到MinIO服务器 pom依赖 yml配置 MinIO配置服务实现类保存到数据库本文提供文件操作接口的实现(上传下载) 附件资源表实体类 Data AllArgsConstructor NoArgsConstructor EqualsAndHa…...

编程日记 2025/5/1 1:01:12

deepseek模型技术优势研究

1.1 混合专家模型（MoE）架构 DeepSeek 模型采用了混合专家模型（Mixture-of-Experts，MoE）架构，这一架构在大规模预训练与下游应用中展现了显著的计算资源利用效率优势。MoE 架构的基本思想是在传统 Transfor…...

编程日记 2025/5/17 9:54:58

项目6：基于大数据校园一卡通数据分析和可视化

1、项目简介本项目是基于大数据的清华校园卡数据分析系统，通过Hadoop，spark等技术处理校园卡交易、卡号和商户信息数据。系统实现消费类别、男女消费差异、学院消费排行和年级对比等分析，并通过Web后端和可视化前端展示结果。项目运行便捷&…...

编程日记 2025/5/16 15:30:22

零、资源准备虚拟机相关： VMware workstation 16：虚拟机/vmware_16.zip（建议选择vmware_17版本）CentOS Stream 9：虚拟机/CentOS-Stream-9-latest-x86_64-boot.iso（安装包小，安装时需要联网下载）/ 虚拟机/CentOS-Stream-9-latest-x86_64-dvd1.iso(安装包大)JDK jdk1.8：…...

编程日记 2025/5/18 0:41:12

leetcode 2466. 统计构造好字符串的方案数

题目如下数据范围本题就是加了马甲的跳格子问题即一次能选择跳zero格或者one格(注意这两个不是定值，不是翻译成0和1它们只是代表能跳几格)我们令f(i)为从第0格跳到i格的路径数(也就是好串有几个)显然如果存在的话： f(i) f(i - zero) f(i - one)。…...

编程日记 2025/5/15 11:43:56

Jupyter Notebook自动保存失败等问题的解决

一、未生成配置文件需要在命令行中，执行下面的命令自动生成配置文件 jupyter notebook --generate-config 执行后会在 C:\Users\用户名\.jupyter目录中生成文件 jupyter_notebook_config.py 二、在网页端打开Jupyter Notebook后文件保存失败；运行代码…...

编程日记 2025/5/11 22:50:20

局域网内别的电脑怎么连接到对方的mysql数据库

要让局域网内的其他电脑连接到一台主机上的 MySQL 数据库，你需要进行一些配置，包括 MySQL 服务器的设置、权限调整，以及客户端连接的步骤。以下是详细的步骤说明： 1. 确保 MySQL 服务器允许远程连接默认情况下，MySQL 服务器可能只允许本地连接（localhost）。你需要修改…...

编程日记 2025/5/2 4:10:26

flask和django的对比

Flask 和 Django 都是流行的 Python Web 框架，尽管它们都用于构建 Web 应用，但它们的设计理念和使用场景有所不同。以下是它们之间的一些对比： 1. 框架类型 Flask：微框架（Micro-framework），意…...

编程日记 2025/5/17 9:09:37

基于 GEE 批量下载陆地植被净初级生产力 NPP 产品

目录 1 陆地植被净初级生产力（NPP） 2 完整代码 3 运行结果 1 陆地植被净初级生产力（NPP） 陆地植被净初级生产力（NPP）是指植物在单位时间单位面积上由光合作用产生的有机物质总量中扣除自养呼吸后的剩余…...

编程日记 2025/5/15 21:52:05

使用Deepseek ，怎么很好的与Deepseek 进行精准问答

与 DeepSeek 进行高效问答的关键在于清晰表达需求、合理使用功能、灵活调整提问方式。以下是一些实用建议： 一、基础原则明确问题 ✅ 清晰描述背景、目标和具体需求。 ❌ 避免模糊提问：“帮我写点东西”→ ✅“我需要一篇关于AI在医疗领域应用的500字…...

编程日记 2025/5/17 23:41:33

cefsharp131升级132测试（WinForms.NETCore）

一、升级（Nuget）版本说明（readme）:最低.NET Core3.1 (NET5.0+) + Visual C++ 2019 Redist 二、试运行、兼容性测试...

编程日记 2025/4/26 9:26:29

docker部署及操作

目录一、Docker的简介二、基础环境配置以及部署 1. Linux基础配置 2. 开启Linux内核的流量转发功能一、Docker的简介 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows …...

编程日记 2025/5/17 7:59:37

Jmeter对图片验证码的处理

Jmeter对图片验证码的处理在web端的登录接口经常会有图片验证码的输入，而且每次登录时图片验证码都是随机的；当通过jmeter做接口登录的时候要对图片验证码进行识别出图片中的字段，然后再登录接口中使用； 通过jmeter对图片验证码…...

编程日记 2025/5/12 17:54:33

DeepSeek本地部署_cherry studio知识库搭建

1.下载并安装：ollama Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/download 安装是否成功确认，管理员权限运行PowerShell： ollama -h 2.下载安装deepseek 管理员方式运行PowerShell，运行命令&#x…...

编程日记 2025/5/15 21:00:54

CSS 实现下拉菜单效果实例解析

1. 引言在 Web 开发过程中，下拉菜单是一种常见且十分实用的交互组件。很多前端教程都提供过简单的下拉菜单示例，本文将以一个简洁的实例为出发点，从 HTML 结构、CSS 样式以及整体交互逻辑三个层面进行详细解析，帮助大家理解纯 C…...

编程日记 2025/5/12 17:54:29

项目场景拷打

补偿事务解决超卖通过补偿事务避免超卖问题，可以通过以下几种方式实现： 1. 使用数据库事务与锁机制事务管理：将库存扣减和订单生成操作放在同一个数据库事务中，确保操作的原子性。如果事务中任何一个步骤失败，则整…...

编程日记 2025/5/17 7:12:22

C语言之扫雷

C语言之扫雷 game.hgame.ctest.c 参考 https://blog.csdn.net/m0_62391199/article/details/124694375 game.h #pragma once #include <stdio.h> #include <time.h> #include <stdlib.h>#define ROW 9 #define COL 9#define ROWS ROW2 #define COLS COL2#de…...

编程日记 2025/5/18 5:52:59

android手机本地部署deepseek1.5B

手机本地部署大模型需要一个开源软件 Release Release v1.6.7 a-ghorbani/pocketpal-ai GitHub 下载release版本apk 它也支持ios，并且是开源的，你可以编译修改它安装完后是这样的可以下载推荐的模型，也可以在pc上下载好，然后copy到手机里点 + 号加载本地模型...

编程日记 2025/5/13 11:42:55

用C语言实现斐波那契数列：从基础代码到深入理解

在编程的世界里，斐波那契数列是一个经典且有趣的概念，今天我们就通过一段C语言代码来深入探索如何生成斐波那契数列。代码初览这段代码实现了输入一个整数 n ，然后输出斐波那契数列的第 n 项。代码逐行解析变量声明： - int …...

编程日记 2025/5/14 3:13:36

vue3 怎么自动全局注册某个目录下的所有 vue 和 tsx 组件

在开发 vue3 项目时，我们会有这样的诉求，怎么自动全局注册某个目录下的所有 vue 和 tsx 组件？ 虽然已经有非常强大的 unplugin-vue-components 支持，但是在某些动态场景下，unplugin-vue-components 也选择了不支持。 …...

编程日记 2025/5/12 12:20:50

Android 消息总站设计思路

项目是组件化模式，这里记录下项目消息总站设计思路目录 1、接口模式 2、Viewmodel 模式 3、LiveDataBus 模式 3、EventBus 模式 1、接口模式消息总站：MessageCenter 单利模式 public class MessageCenter {private static MessageCenter instanc…...

编程日记 2025/5/16 8:52:27