当前位置：首页 > news >正文

多模态大模型常见问题

news 来源：原创 2025/8/4 0:37:01

1.视觉编码器和 LLM 连接时，使用 BLIP2中 Q-Former那种复杂的 Adaptor 好还是 LLaVA中简单的 MLP 好，说说各自的优缺点？

Q-Former（BLIP2）：

优点：Q-Former 通过查询机制有效融合了视觉和语言特征，使得模型能够更好地处理视觉-语言任务，尤其是在多模态推理任务中表现优秀。
缺点：Q-Former 结构较为复杂，计算开销较大。

MLP（LLaVA）：

优点：MLP 比较简单，计算量小，易于实现，适用于一些较为简单的任务。
缺点：相较于 Q-Former，MLP 在处理复杂的视觉-语言融合任务时效果较差，尤其是在推理任务中。

2.代码:实现多头自注意力

多头注意力代码实现如下：

import torch
import torch.nn.functional as Fclass MultiHeadAttention(torch.nn.Module):   def __init__(self, embed_size, heads):        super(MultiHeadAttention, self).__init__()        self.embed_size = embed_size        self.heads = heads        self.head_dim = embed_size // heads               assert self.head_dim * heads == embed_size, "Embedding size must be divisible by heads"                self.values = torch.nn.Linear(embed_size, embed_size)       self.keys = torch.nn.Linear(embed_size, embed_size)        self.queries = torch.nn.Linear(embed_size, embed_size)        self.fc_out = torch.nn.Linear(embed_size, embed_size)        def forward(self, values, keys, query, mask):        N = query.shape[0]                value_len, key_len, query_len = values.shape[1], keys.shape[1], query.shape[1]                    values = values.reshape(N, value_len, self.heads, self.head_dim)        keys = keys.reshape(N, key_len, self.heads, self.head_dim)        query = query.reshape(N, query_len, self.heads, self.head_dim)                values = values.permute(2, 0, 1, 3)        keys = keys.permute(2, 0, 1, 3)        query = query.permute(2, 0, 1, 3)                energy = torch.matmul(query, keys.permute(0, 1, 3, 2))                if mask is not None:            energy = energy.masked_fill(mask == 0, float('-1e20'))                        attention = torch.nn.functional.softmax(energy / (self.head_dim ** (1 / 2)), dim=-1)                out = torch.matmul(attention, values)                out = out.permute(1, 2, 0, 3).contiguous().reshape(N, query_len, self.heads * self.head_dim)                out = self.fc_out(out)               return out

3、Qwen-VL的三个训练流程分别是什么，有什么作用

Qwen-VL 是一款基于视觉和语言的预训练大模型，其训练流程分为以下三个阶段：

a.视觉-语言联合训练：使用大量的图像-文本对进行联合训练，以学习图像和文本之间的对齐。

b.图像生成与理解训练：模型被训练以生成描述图像的文本，并理解不同的视觉任务。

c.增强推理能力训练：进一步训练模型以增强其处理复杂推理任务（如图像中的逻辑推理）的能力。

4.了解哪些多模态大模型，简要介绍几个

常见的多模态大模型包括：

CLIP：已经介绍过，处理图像和文本之间的关系。
VisualBERT：将图像和文本的信息结合到同一个模型中，使用 BERT 作为编码器。
FLIP（Fused Latent Image-Text Pretraining）：通过融合图像和文本特征来进行多模态预训练。
DALL-E：图像生成模型，通过文本描述生成图像。

目前多模态大模型的挑战在于：

模型规模庞大，计算资源需求高。
多模态数据处理的复杂性，如何有效地融合来自不同模态的信息。
数据偏差问题，尤其是文本和图像之间的语义不一致。

多模态大模型常见问题

1.视觉编码器和 LLM 连接时，使用 BLIP2中 Q-Former那种复杂的 Adaptor 好还是 LLaVA中简单的 MLP 好，说说各自的优缺点？ Q-Former（BLIP2）： 优点：Q-Former 通过查询机制有效融合了视觉和语言特征…...

编程日记 2025/8/4 0:37:01

2025 年大模型排行分析：中美竞争与未来展望

具体排名数据见文章结尾在人工智能领域，大模型的性能成为衡量机构技术实力的重要标志。以下是根据最新排名的一些主要发现，尤其关注中国模型的发展现状和优势。全球领先的模型在本次排名中，美国 OpenAI 的多个版本占据榜首位置。具体而…...

编程日记 2025/7/5 4:26:53

为什么后端路由需要携带 /api 作为前缀？前端如何设置基础路径 /api？

一、为什么后端路由需要携带 /api 作为前缀？ 1. 区分 API 端点与其他路由在 Web 应用程序中，后端不仅需要处理 API 请求，还可能需要处理静态资源（如 HTML、CSS、JS 文件）或其他服务（如 WebSocket&#x…...

编程日记 2025/7/29 4:29:07

Mac：Ant 下载+安装+环境配置（详细讲解）

📌 下载 Ant 下载地址：https://ant.apache.org/bindownload.cgi 📌 无需安装 Apache官网下载 Ant 压缩包，无需安装，下载解压后放到自己指定目录下即可。按我自己的习惯，我会在用户 jane 目录下新建了个…...

编程日记 2025/7/28 14:57:12

web客户端存储，IndexDB相关讲解

IndexDB详细讲解 IndexedDB 是浏览器提供的一种底层 API，用于在客户端存储大量结构化数据。相比 Web Storage（localStorage/sessionStorage），它支持更复杂的数据结构、事务处理、索引查询等高级功能。以下是一个系统化的讲解：一、核心概念 1、数据库（Database）每…...

编程日记 2025/8/4 0:36:58

使用DeepSeek翻译英文科技论文，以MarkDown格式输出，使用Writage 3.3.1插件转换为Word文件

一、使用DeepSeek翻译英文科技论文，以MarkDown格式输出以科技论文“Electrical Power System Sizing within the Numerical Propulsion System Simulation”为例。需要Writage 3.3.1 license key注册码的小伙伴，可发送邮件至邮箱pyengine163.com. 首先…...

编程日记 2025/7/7 16:55:23

Linux 文件操作-文件IO函数2- write向文件写入数据、read从文件读取数据、lseek重定位文件描述符的偏移量的验证

目录 1.write 向文件描述符中写入数据 1.1 向标准输出STDOUT_FILENO (终端屏幕)写入数据 1.2 向文件写入数据 2.read 从文件描述符中读取数据 2.1从标准输入STDIN_FILENO（键盘）读取数据 2.2从文件读取数据 3.lseek重定位偏移量 1.write 向文件描述…...

编程日记 2025/7/31 22:21:27

`chromadb` 是什么

chromadb 是什么 chromadb 是一个开源的向量数据库，它专门用于存储、索引和查询向量数据。在处理自然语言处理（NLP）、计算机视觉等领域的任务时，通常会将文本、图像等数据转换为向量表示，而 chromadb 可以高效地管理这些向量，帮助开发者快速找到与查询向量最相似的向量数…...

编程日记 2025/8/1 8:35:03

Python 爬虫（4）HTTP协议

文章目录一、HTTP协议1、HTTP特点2、HTTP工作原理3、HTTP与HTTPS的区别前言： HTTP（HyperText Transfer Protocol，超文本传输协议）是互联网上应用最为广泛的一种网络协议，用于在客户端和服务器之间传输超文本&#xf…...

编程日记 2025/7/28 1:20:48

Redis 事件机制详解

Redis 事件机制详解 Redis 的事件机制是其高性能和高并发能力的关键之一，它采用Reactor 模型，基于文件事件驱动机制实现高效的 I/O 处理。Redis 的事件机制主要分为以下几类： 文件事件（File Event） —— 处理网络 I/…...

编程日记 2025/7/30 20:34:15

JMeter对API接口进行压力测试使用教程

1.启动工具：以管理员身份运行启动成功会有两个窗口，都保留别关闭 2.创建线程组 3.创建http请求配置 4.添加监听，查看请求结果 5.运行成功截图 6.接口压力测试，修改线程组参数 7.2000请求，2秒完成...

编程日记 2025/6/30 10:20:45

Vue 3 项目实现国际化指南 i18n

引言在开发现代 Web 应用时，国际化（Internationalization，简称 i18n）已经成为一个不可或缺的功能。无论是面向全球用户的商业网站，还是需要支持多语言的企业应用，良好的国际化支持都能显著提升用户体验。本…...

编程日记 2025/7/29 16:11:58

使用Trae 生成的React版的贪吃蛇

使用Trae 生成的React版的贪吃蛇首先你想用这个贪吃蛇，你需要先安装Trae Trae 官方地址他有两种模式 chat builder 我使用的是builder模式,虽然是Alpha.还是可以用。接下来就是按着需求傻瓜式的操作生成代码他生成的代码不完全正确，比如没有引入…...

编程日记 2025/8/3 8:50:34

HAL库定时器配置

定时器的开启需要手动开启，例如在driver_capature.c开启，该文件主要写了具体的函数实现，与driver_can.c一样，同时还有回调函数等一些高级的自定义函数。这段代码是 STM32 HAL 库中用于初始化定时器 2 (TIM2) 的函数 MX_TIM2_In…...

编程日记 2025/7/31 16:15:47

快速部署Linux + Ollama + AnythingLLM + Deepseek

简介部署的系统：Ubuntu20.04 这里选择AnythingLLM的原因，是因为它自身支持了知识库的功能，其他的还有chatbox、dify等可以选择。部署流程（请务必使用魔法） 一、Ollama安装 1、访问ollama官网：https:/…...

编程日记 2025/7/30 1:17:44

人脸表情识别系统分享（基于深度学习+OpenCV+PyQt5）

最近终于把毕业大论文忙完了，众所周知硕士大论文需要有三个工作点，表情识别领域的第三个工作点一般是做一个表情识别系统出来，如下图所示。这里分享一下这个表情识别系统： 采用深度学习OpenCVPyQt5 构建，主要功能包…...

编程日记 2025/8/1 8:35:12

Qt 导入TagLib库

文章目录 0. 前言和环境介绍1. 下载TagLib2. 下载zlib3. 修改.pro文件4. 测试代码 0. 前言和环境介绍最近在使用Qt写一个播放器，需要解析mp3文件，于是研究了一下如何导入TagLib库 Qt构建套件:Desktop Qt6.8.2 MinGW64-bit Qt Creator安装目录: D:\bit…...

编程日记 2025/7/31 12:54:36

LiteratureReading:[2023] GPT-4: Technical Report

文章目录一、文献简明（zero）二、快速预览（first）1、标题分析2、作者介绍3、引用数4、摘要分析（1）翻译（2）分析 5、总结分析（1）翻译（2）…...

编程日记 2025/7/29 4:35:56

Elasticsearch8.17 生产集群使用优化

一、通用优化建议避免返回大量文档结果集 Elasticsearch 作为搜索引擎，擅长返回与查询匹配的顶级文档。对于需要检索所有匹配文档的数据库类型操作，建议使用滚动 API（Scroll API）或 **搜索后游标（Search After Cursor）**，以避免内存和性能问题。避免大型文档默…...

编程日记 2025/7/31 13:55:32

Linux系统管理与编程09：任务驱动综合应用

兰生幽谷，不为莫服而不芳； 君子行义，不为莫知而止休。 [环境] windows11、centos9.9.2207、zabbix6、MobaXterm、Internet环境 [要求] zabbix6.0安装环境：Lamp（linux httpd mysql8.0 php） [步骤] 5 …...

编程日记 2025/7/29 20:17:03

C++：背包问题习题

1. 货币系统 1371. 货币系统 - AcWing题库给定 V 种货币（单位：元），每种货币使用的次数不限。不同种类的货币，面值可能是相同的。现在，要你用这 V 种货币凑出 N 元钱，请问共有多少种不同的…...

编程日记 2025/8/2 16:53:16

1.检测flutter运行环境 flutter doctor 2.升级flutter flutter upgrade 3.查看flutter 版本 flutter --version 4.查看连接的设备 flutter devices 5.运行flutter项目 flutter run 或者在vscode中按FnF5 6.打包 flutter build apk //默认打release包 7.开…...

编程日记 2025/7/30 17:48:27

数学爱好者写的编程系列文章

作为一个数学爱好者，我大学读的专业却不是数学专业，而是跟计算机有关的专业。原本我对编程一窍不通，平时上课也是在看数学文献，作业基本靠同学，考试及格就行。不过后来因为毕业的压力，我还是拥抱编程了&…...

编程日记 2025/8/1 8:39:08

QT笔记---JSON

QT笔记---JSON JSON1、JSON基本概念1.1、判断.json文件工具 2、生成.json数据3、解析.json数据 JSON 在现代软件开发中，数据的交换和存储格式至关重要。JSON（JavaScript Object Notation）作为一种轻量级的数据交换格式，以其简洁易…...

编程日记 2025/7/29 22:04:08

C站算法技能题-题解(javascript)

切面条 const 切面条 (n10)>{return 2 ** n 1; } 切面条(0) 2 切面条(1) 3 切面条(2) 5 切面条(10) 1025大衍数列 const 大衍数列 (n100) > {let ans []for(let i1;i<n;i){if(i%2 0){ans.push((i ** 2 ) / 2)}else{ans.push((i ** 2 - 1) / 2)}}return ans…...

编程日记 2025/7/31 7:24:07

专利信息管理知识产权基于Spring Boot SSM

目录一、需求分析 1.1系统用户角色与权限 1.2 专利信息管理功能二、数据分析与报表生成三、系统性能与安全性四用户体验与界面设计五扩展性与可维护性六、法律法规与合规性七. 技术选型与实现 ‌7.1技术选型‌： ‌7.2实现方式‌： 随…...

编程日记 2025/8/3 1:54:04

掌握新编程语言的秘诀：利用 AI 快速上手 Python、Go、Java 和 Rust

网罗开发 （小红书、快手、视频号同名） 大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等…...

编程日记 2025/8/2 19:38:00

KiLog2MaximumIncrement的由来和KiMaximumIncrementReciprocal的由来

第一部分：KiLog2MaximumIncrement的由来 i 1; j KeMaximumIncrement; while ((1UI64<<i) < KeMaximumIncrement) { i; } KiLog2MaximumIncrement i; 2^17131072 2^18262144 i18KiLog2MaximumIncrement 中…...

编程日记 2025/7/28 23:57:55

工具层handle_excel

该工具类利用openpyxl的load_workbook加载Excel，通过iter_rows按行迭代数据，将表头和用例数据用zipdict组合成字典，通过list.append将字典(单条测试用例)追加到列表中，从而封装Excel数据解析工具。模块/类方法/属性使用场景描述o…...

编程日记 2025/7/30 18:11:49

解释 RESTful API，以及如何使用它构建 web 应用程序

RESTful API 是一种符合 REST 架构风格的 API 设计，它基于 HTTP 协议来进行通信，通过对资源进行标识、定义各种操作，并使用 HTTP 请求方法来进行操作（比如 GET、POST、PUT、DELETE 等），实现客户端与服务器之…...

编程日记 2025/7/29 15:13:29

区块链赋能项目包装融资：开启融资新范式

在当今充满挑战与机遇的商业环境中，项目融资对于企业的发展壮大起着关键作用。而项目包装作为吸引投资者、展示项目价值的重要手段，其方式正随着科技的发展不断革新。区块链技术的兴起，为项目包装融资带来了全新的思路与变革，深刻…...

编程日记 2025/7/29 14:39:24

【Linux】应用层自定义协议 + 序列化和反序列化

应用层自定义协议序列化和反序列化一.应用层1.再谈 "协议"2.序列化和反序列化二. Jsoncpp1.序列化2.反序列化三. Tcp全双工面向字节流四.自定义协议保证报文的完整性1.Makefile2.Mutex.hpp3.Cond.hpp4.Log.hpp5.Thread.hpp6.ThreadPool.hpp7.Common.hpp8.…...

编程日记 2025/7/31 16:55:50

框架的CVE漏洞利用 php类 java类手工操作和自动化操作蓝队分析漏洞利用的流量特征

前言 php重要框架和基本的识别特征 php的主要是 tp框架和 laravel 当然还有 yii等 tp的主要特征 1\报错信息： 2、图标 3、请求头 Laravel特征 1、报错信息 2、请求头 php框架CVE利用 lavarvel 工具 https://github.com/zhzyker/CVE-2021-3129 https://git…...

编程日记 2025/7/29 1:18:14

使用 .github/realse.yml 自动生成 release change log

🚀 发现 gone-io/gone：一个优雅的 Go 依赖注入框架！💻 它让您的代码更简洁、更易测试。🔍 框架轻量却功能强大，完美平衡了灵活性与易用性。⭐ 如果您喜欢这个项目，请给我们点个星！🌟 您的支持是我们前进的动力！🤝 欢迎贡献代码或提出建议，一起让 gone 变得更好…...

编程日记 2025/7/31 8:26:14

python学习笔记--实现简单的爬虫(一)

任务：爬取豆瓣最受欢迎的250个电影的资料链接：豆瓣电影 Top 250 用浏览器打开后，使用F12或鼠标右键--检查，查看网页的源代码，分析网页结构，如下图所示： 分析后得知： 1.电影名位于…...

编程日记 2025/8/1 20:44:38

[学习笔记] 部署Docker搭建靶场

前言我们需要部署Docker来搭建靶场题目，他可以提供一个隔离的环境，方便在不同的机器上部署，接下来，我会记录我的操作过程，简单的部署一道题目 Docker安装不推荐在物理机上部署，可能会遇到一些问题&…...

编程日记 2025/7/30 21:15:59

二分查找-在排序数组中查找元素的第一个和最后一个位置

34.在排序数组中查找元素的第一个和最后一个位置给你一个按照非递减顺序排列的整数数组 nums，和一个目标值 target。请你找出给定目标值在数组中的开始位置和结束位置。如果数组中不存在目标值 target，返回 [-1, -1]。你必须设计并实现时间复杂度为 O(…...

编程日记 2025/7/25 6:07:28

蓝桥杯真题 2109.统计子矩阵

原题地址:1.统计子矩阵 - 蓝桥云课问题描述给定一个 NMNM 的矩阵 AA, 请你统计有多少个子矩阵 (最小 1111, 最大 NM)NM) 满足子矩阵中所有数的和不超过给定的整数 KK ? 输入格式第一行包含三个整数 N,MN,M 和 KK. 之后 NN 行每行包含 MM 个整数, 代表矩阵 AA. 输出格…...

编程日记 2025/7/28 11:36:04

学术型ppt制作经验分享 - 如何美化科研ppt?

WordinPPT / 持续为双一流高校、科研院所、企业等提供PPT制作系统服务。 - 院士增选、国家科技奖、杰青、长江学者特聘教授、校企联聘教授、重点研发、优青、青长、青拔... / 学术型ppt制作经验分享部分页面内容 / PPT全文共101页 - 科学技术奖ppt：自然科学奖…...

编程日记 2025/7/26 1:20:56

Python数据可视化实战：从基础图表到高级分析

Python数据可视化实战：从基础图表到高级分析数据可视化是数据分析的重要环节，通过直观的图表可以快速洞察数据规律。本文将通过5个实际案例，手把手教你使用Python的Matplotlib库完成各类数据可视化任务，涵盖条形图、堆积面积图、…...

编程日记 2025/7/29 12:57:47

稳定运行的以Oracle NoSQL数据库为数据源和目标的ETL性能变差时提高性能方法和步骤

提高基于Oracle NoSQL数据库的ETL（提取、转换、加载）性能时，主要从多个角度进行优化。提高基于Oracle NoSQL数据库的ETL性能需要综合考虑多个方面，关键是减少不必要的I/O操作、优化数据转换和加载过程、合理配置Oracle NoSQL数据…...

编程日记 2025/8/2 22:18:40

ORACLE 19.8版本数据库环境EXPDP导数据的报错处理

近期用户在做EXPDP导出时，报错异常termination终止;EXPDP本身是简单的功能并且这个环境也是经常做导出的，到底是什么原因导致了这个问题呢？ 导出脚本报错： 分析导出日志，当时系统资源充足但是进程启动失败，…...

编程日记 2025/8/3 20:20:20

GPT-5 将免费向所有用户开放？

GPT-5 将免费向所有用户开放？ 硅谷知名分析师 Ben Thompson 最近与 OpenAI CEO Sam Altman 进行了一场深度对谈，其中Sam Altman透漏GPT-5将免费向大家发放。 OpenAI 这波操作可不是一时冲动，而是被逼出来的。DeepSeek 这个新秀横空出世&am…...

编程日记 2025/7/30 6:44:18

【AI模型】深度解析：DeepSeek的联网搜索的实现原理与认知误区

一、大模型的“联网魔法”：原来你是这样上网的！ 在人工智能这个舞台上，大模型们可是妥妥的明星。像DeepSeek、QWen这些大模型，个个都是知识渊博的“学霸”，推理、生成文本那叫一个厉害。不过，要是论起上网…...

编程日记 2025/7/23 9:40:52

学习笔记--基于Sa-Token 实现Java项目单点登录+同端互斥检测

目录同端互斥登录单点登录SSO 架构选型模式二: URL重定向传播前后端分离整体流程准备工作搭建客户端搭建认证中心SSO Server 环境配置开放认证接口启动类跨域处理同端互斥登录同端互斥登陆模块同端互斥登录指：同一类型设备上只允许单地…...

编程日记 2025/8/2 19:14:28

Can通信流程

下面给出一个更详细的 CAN 发送报文的程序流程说明，结合 HAL 库的使用及代码示例，帮助你了解每一步的具体操作和内部原理。一、系统与外设初始化 1.1 HAL 库初始化在 main() 函数开头，首先调用 HAL 库初始化函数： HAL_Init()…...

编程日记 2025/7/22 17:41:03

基于BClinux8部署Ceph 19.2(squid)集群

#作者：闫乾苓文章目录 1.版本选择Ceph版本发布历史目前官方在维护的版本 2.部署方法3.服务器规划4.前置配置4.1系统更新4.2配置hosts cat >> /etc/hosts << EOFssh-keygenssh-copy-id ceph01ssh-copy-id ceph02ssh-copy-id ceph034.5 Python34.6 Syst…...

编程日记 2025/8/1 23:38:16

Workerman5.0如何实现一对一聊天

文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons：JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram，自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 ？ 5 IDEA必装的插件&…...

编程日记 2025/7/31 8:09:06

c#难点整理2

1.对象池的使用就是先定义一系列的对象，用一个，调一个。 public class ObjectPool<T> where T : new(){private Queue<T> pool; // 用于存储对象的队列private int maxSize; // 对象池的最大容量// 构造函数public ObjectPool(int maxSi…...

编程日记 2025/7/31 20:19:32

STM32基础教程——定时器

前言 TIM定时器（Timer）:STM32的TIM定时器是一种功能强大的外设模块，通过时基单元（包含预分频器、计数器和自动重载寄存器）实现精准定时和计数功能。其核心原理是：内部时钟（CK_INT）或…...

编程日记 2025/7/27 16:22:08

相关文章：