LLM: 探索LLM视觉缺陷
文章目录
- 前言
- 一、Constructing MMVP Benchmarks
- 1、CLIP-blind pair
- 二、MMVP-VLM bench
- 1、Model size influence
- 2、correlation between CLIP MLLMs
- 三、Mixture of Features
- 1、Additive MoF Experiment
- 2、Interleaved MoF Experiment
- 总结
前言
在使用多模态大模型时候是否会发现大模型对图像的细节理解很差，比如让他数数，让他识别理解复杂图像，VLLM给出的答案往往有些不尽人意。其实本质来讲还是幻觉问题！！！
paper：https://arxiv.org/abs/2401.06209
一、Constructing MMVP Benchmarks
1、CLIP-blind pair
CLIP相似度大于等于0.95， DiNOv2相似度小于等于0.6 认为是一个CLIP-blind 对，这表明这两张图在语义级别上相似，在像素级别上差距较大。
选出pair对后，人为标出两张图的差异。
使用大模型对其进行区分，结果如下：
二、MMVP-VLM bench
研究人员辨识出CLIP无法识别的图像对（CLIP-blind pairs）之后，他们梳理了一些系统性的视觉模式，这些模式往往会让CLIP视觉编码器产生误解。
他们参考了MMVP基准测试中的问题和选项。通过这些问题，把图像中难以捉摸的视觉模式转换成了更加清晰、易于归类的基于语言的描述。
研究人员总结出的9种视觉模式如下：
1、Model size influence
通过测试模型在这些类别上的效果，有以下几个结论：
1）文章表示，扩大model size可以提升3、9两个大类
2）更大图像的分辨率展现了较小的提升
3）当对网络进行成倍缩放时，提升较小
2、correlation between CLIP MLLMs
作者同样在测试了CLIP在MMVP-VLM上的相关性，结论如下：
如果CLIP在在MMVP-VLM表现的比较差，MLLM也是
三、Mixture of Features
针对上述实验，作者提出混合视觉特征来提升MLLM的视觉感知，提出以下两个方法
1）Additive MoF
2）Interleaved MoF
1、Additive MoF Experiment
实验参数设置如下：
结果如下：
2、Interleaved MoF Experiment
interleaved方式将两个特征向量交叉拼接。结论如下：
1）I-MoF在其它指标上有很小的改变
2）在MMVP上有显著的增长
总结
总体来说，本文还是给MLLM的视觉端提出了一些新思考，不过仍有些点需要注意，如下：
相关文章：
LLM: 探索LLM视觉缺陷
文章目录 前言一、Constructing MMVP Benchmarks1、CLIP-blind pair 二、MMVP-VLM bench1、Model size influence2、correlation between CLIP MLLMs 三、Mixture of Features1、Additive MoF Experiment2、Interleaved MoF Experiment 总结 前言 在使用多模态大模型时候是否会…...
常用的 SQL 语句分类整理
以下是常用的 SQL 语句分类整理，覆盖数据查询、操作、表管理和高级功能，适用于大多数关系型数据库（如 MySQL、PostgreSQL、SQL Server）： 目录 一、数据查询（DQL） 1. 基础查…...
Go之defer关键字：优雅的资源管理与执行控制
在Go语言中，defer关键字是处理资源释放、错误恢复和代码逻辑清理的利器。它看似简单，却隐藏着许多设计哲学和底层机制。本文将深入剖析defer的执行原理、使用场景和常见陷阱，助你掌握这一关键特性。 一、defer基础：延迟执行的本质…...
T1结构像+RS-fMRI影像处理完整过程记录（数据下载+Matlab工具箱+数据处理）
最近需要仿真研究T1结构像RS-fMRI影像融合处理输出目标坐标的可行性。就此机会记录下来。 为了完成处理，首先需要有数据，然后需要准备对应的处理平台和工具箱。那么正文开始~ （1）下载满足要求的开源数据 去OpenNEURO https://open…...
Flowable进阶-网关、事件和服务
网关 并行网关 并行网关允许将流程拆分为多个分支，也可以将多个分支汇集到一起。并行网关的功能是基于流入流出的顺序流。fork分支：用于任务的开始。并行后所有外出的顺序流，为每个顺序流都创建一个并发分支。 join汇聚：用于任务…...
【三维重建与生成】GenFusion：SVD统一重建和生成
标题:《GenFusion: Closing the Loop between Reconstruction and Generation via Videos》 来源：西湖大学；慕尼黑工业大学；上海科技大学；香港大学；图宾根大学 项目主页：https://genfusion.sibowu.com 文章…...
常见的爬虫算法
1.base64加密 base64是什么 Base64编码，是由64个字符组成编码集：26个大写字母AZ，26个小写字母az，10个数字0~9，符号“”与符号“/”。Base64编码的基本思路是将原始数据的三个字节拆分转化为四个字节，然后…...
有序二叉树各种操作实现（数据结构C语言多文件编写）
1.先创建tree.h声明文件( Linux 命令：touch tree.h)。编写函数声明如下(打开文件 Linux 操作命令：vim tree.h): //树的头文件位置 #ifndef __TREE_H__ #define __TREE_H__ //节点 typedef struct node{int data;//数据struct node* left;//记录左侧子节…...
Nacos-Controller 2.0：使用 Nacos 高效管理你的 K8s 配置
作者：濯光、翼严 Kubernetes 配置管理的局限 目前，在 Kubernetes 集群中，配置管理主要通过 ConfigMap 和 Secret 来实现。这两种资源允许用户将配置信息通过环境变量或者文件等方式，注入到 Pod 中。尽管 Kubernetes 提供了这些强…...
特殊文件以及日志——特殊文件
一、特殊文件 必要性：可以用于存储多个用户的：用户名、密码。这些有关系的数据都可以用特殊文件来存储，然后作为信息进行传输。 1. 属性文件.properties（键值对） （1）特点： 都只能…...
Spark-SQL核心编程语言
利用IDEA开发spark-SQL 创建spark-SQL测试代码 自定义函数UDF 自定义聚合函数UDAF 强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数， 如 count()， countDistinct()，avg()，max()，min()。除此之外&…...
jdk 安装
oracle官网 : Java Archive | Oracle 中国 export JAVA_HOME/Users/xxxxx/app/services/x86jdk/jdk1.8.0_431.jdk/Contents/Home export PATH$JAVA_HOME/bin:$PATH 华为镜像网站：Index of java-local/jdk...
Missashe考研日记-day21
Missashe考研日记-day21 1 专业课408 学习时间：4h学习内容： 今天先把昨天学的内容的课后习题做了，整整75道啊，然后学了OS第二章关于CPU调度部分的内容，这第二章太重要了，以至于每一小节的内容都比较多&am…...
双重路由引入的环路,选路次优的产生以及解决方法
描述 在R2,R3上双向引入ospf,以及rip,R5修改静态的优先级为180,在ospf中引入该静态路由 路由分析 选路次优问题 R5引入了静态路由,优先级是150 R2->R5->100.1.1.0,优先级是150 R3->R4->100.1.1.0,优先级是150 R3->R4->R5->100.1.1.0,优先级是150 R2-…...
环境变量概念以及获取环境变量（linux下解析）
目录 1 基本概念 2 常见的环境变量 3 查看环境变量方法 4 和环境变量相关的命令 5 环境变量的组织方式 6 通过代码如何获取环境变量 6.1 命令行参数 6.2 环境变量 7 通过系统调用获取或设置环境变量 1 基本概念 环境变量(environmentvariables)⼀般是指在操作系统中用来指…...
删除win11电脑上的阿尔巴尼亚输入法SQI
删除电脑自带的阿尔巴尼亚输入法 这个输入法在系统中并不显示，但是有时候会出现在右下角显示，删除这个输入法的流程如下，暂时没发现反复！ 第一步：打开注册表： winR打开运行，输入 regedit 第二…...
目标检测与分割：深度学习在视觉中的应用
🔍 PART 1：目标检测（Object Detection） 1️⃣ 什么是目标检测？ 目标检测是计算机视觉中的一个任务，目标是让模型“在图像中找到物体”，并且判断： 它是什么类别（classif…...
npm和npx的作用和区别
npx 和 npm 是 Node.js 生态系统中两个常用的工具，它们有不同的作用和使用场景。 1. npm（Node Package Manager） 作用： npm 是 Node.js 的包管理工具，主要用于： 安装、卸载、更新项目依赖（包&a…...
)
OpenCV 图形API（36）图像滤波-----形态学操作函数morphologyEx()
操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 执行高级形态学变换。 该函数可以使用腐蚀和膨胀作为基本操作来执行高级形态学变换。 任何操作都可以原地进行。在处理多通道图像时，…...
Python入门到精通6：CSS网页美化入门1
CSS（层叠样式表）是网页设计的核心语言之一，它让我们的网页从单调的结构变得生动美观。今天，我将带大家快速了解CSS的基础知识，包括基本概念、引入方式、选择器、字体与文本样式以及调试工具的使用。 1. CSS基本概念 …...
【深入C++多态：基于消息解析器的设计、实现与剖析】
深入C多态：基于消息解析器的设计、实现与剖析 前言多态代码示例代码结构C多态的核心知识点多态的底层机制深入剖析多态的设计模式总结 前言 在C面向对象编程中，多态（Polymorphism）是实现灵活性和扩展性的核心特性，允许…...
Dockerfile 文件常见命令及其作用
Dockerfile 文件包含一系列命令语句，用于定义 Docker 镜像的内容、配置和构建过程。以下是一些常见的命令及其作用： FROM：指定基础镜像，后续的操作都将基于该镜像进行。例如，FROM python:3.9-slim-buster 表示使用 Pyt…...
Redis--持久化
一、持久化 Redis支持RDB和AOF两种持久化机制持久化功能有效地避免因进程退出造成数据丢失问题， 当下次重启时利用之前持久化的文件即可实现数据恢复。 二、RDB RDB 持久化是把当前进程数据⽣成快照保存到硬盘的过程，触发 RDB 持久化过程分为手动触发和…...
Markdown学习
Typora下载 Typora教程 标题 井号加空格——回车即可形成标题，几级标题几个井号。 字体 斜体——前后各一个*，回车 粗体——前后各两个*，回车 既斜体又粗体——前后各三个*，回车 删除线——前后各两个~（波浪号…...
Vulhub-DarkHole靶机通关攻略
下载链接：https://www.vulnhub.com/entry/darkhole-1,724/ 扫描ip arp-scan -l扫描端口 nmap 192.168.112.144 -p-扫描目录 dirsearch -u http://192.168.112.144/有一个登录页面，还有一个upload目录，但是还没有找到上传点 先注册一个用…...
UniRig ,清华联合 VAST 开源的通用自动骨骼绑定框架
UniRig是清华大学计算机系与VAST联合开发的前沿自动骨骼绑定框架，专为处理复杂且多样化的3D模型而设计。基于强大的自回归模型和骨骼点交叉注意力机制，UniRig能够生成高质量的骨骼结构和精确的蒙皮权重，大幅提升动画制作的效率和质量。 UniR…...
深入解析 sklearn 中的 LabelEncoder：功能、使用场景与注意事项
标题：深入解析 sklearn 中的 LabelEncoder：功能、使用场景与注意事项 摘要： LabelEncoder 是 sklearn 中用于类别标签编码的重要工具，能够将离散的类别型标签转换为模型可识别的数值格式。本文详细解析 LabelEncoder 的核心功能…...
红帽Linux网页访问问题
配置网络，手动配置 搭建yum仓库红帽Linux网页访问问题 下载httpd 网页访问问题：首先看httpd的状态---selinux的工作模式（强制）---上下文类型(semanage-fcontext)---selinux端口有没有放行semanage port ---防火墙有没有active---…...
Muduo库代码剖析 : EventLoop
本文初发于 “天目中云的小站”，同步转载于此 EventLoop 详解 EventLoop类似于Reactor模型中的反应堆(Reactor)和事件分发器(Demultiplex)的合并, 其目的在于高效的接收事件, 并正确分配给对应的事件处理器. EventLoop中有两类关键的子控件 : Channel 和 Poller. C…...
Python网络爬虫设计（一）
目录 一、网络爬虫 1、基本的爬虫 2、获取URL 3、查找网页源码关键字 4、代码实现 二、requests库 1、requests的优势和劣势 2、获取网页的其他库 （1）selenium库 （2）pyppeteer库 三、pyppeteer库 1、pyppeteer库的来历…...
GEO供应商盈达科技发布:AI信源占位白皮书
副标题：生成式AI时代的企业认知主权争夺战 发布日期：2025年4月15日 一、范式重构：从流量入口到认知主权的战略迁移 生成式AI的规则革命 73%的用户决策直接依赖AI生成内容，但68%的引…...
L1-4 拯救外星人
题目 你的外星人朋友不认得地球上的加减乘除符号，但是会算阶乘 —— 正整数 N 的阶乘记为 “N!”，是从 1 到 N 的连乘积。所以当他不知道“57”等于多少时，如果你告诉他等于“12!”，他就写出了“479001600”这个答案。 本题就请你…...
业务摆渡解锁信息孤岛，重塑数字医疗未来
某三甲医院的急诊科突然亮起红灯，一名车祸患者被紧急送入，主治医师需要调取其三个月前在科研专网存储的增强CT影像。若在两年前，这需要两位管理员手动导出、杀毒、跨网传输，耗时40分钟；而现在，系统自动触发…...
OpenCV中的轮廓近似方法详解
文章目录 引言一、什么是轮廓近似？二、OpenCV中的轮廓近似方法2.1Douglas-Peucker算法原理2.2函数原型 三、代码示例3.1. 基本使用 四、参数选择技巧五、与其他轮廓方法的比较六、总结 引言 在计算机视觉和图像处理中，轮廓是物体边界的重要表示形式。Op…...
4种方法将文件映射到内存提升读写速度
背景 考虑到以下应用需求，常将文件映射到内容，以提升读写效果。 高效文件读写：大文件操作时，避免多次read/write系统调用的开销。进程间通信（共享内存）：多个进程映射同一文件，实现…...
367. 有效的完全平方数
给你一个正整数 num 。如果 num 是一个完全平方数，则返回 true ，否则返回 false 。 完全平方数 是一个可以写成某个整数的平方的整数。换句话说，它可以写成某个整数和自身的乘积。 不能使用任何内置的库函数，如 sqrt 。 示例 1…...
Ubuntu2404装机指南
因为原来的2204升级到2404后直接嘎了，于是要重新装一下Ubuntu2404 Ubuntu系统下载 | Ubuntuhttps://cn.ubuntu.com/download我使用的是balenaEtcher将iso文件烧录进U盘后，使用u盘安装，默认选的英文版本， 安装后，安装…...
爬虫框架 - Coocan
安装 pip install coocan 演示...
S06-Kep的跨通道传输
每次分享一小点，进步都是实实在在。小编今天又来分享了！之前我们讲到的KepServer软件，是一个具备强大通讯能力的软件，但是当你的上位软件不够灵活的时候，又有多个通道的数据交互的需求，Kep的跨通道传输就为…...
Zookeeper单机三节点集群部署（docker-compose方式）
前提： 服务器需要有docker镜像zookeeper:3.9.3 或能连网拉取镜像 服务器上面新建文件夹： mkdir -p /data/zk-cluster/{data,zoo-cfg} 创建三个zookeeper配置文件zoo1.cfg、zoo2.cfg、zoo3.cfg，配置文件里面内容如下（三个文件内容一样）： tickTime=2000 initLimit=10 …...
C++| 深入剖析std::list底层实现：链表结构与内存管理机制
引言 std::list的底层实现基于双向链表，其设计哲学与std::vector截然不同。本文将深入探讨其节点结构、内存分配策略及迭代器实现原理，揭示链表的性能优势和潜在代价。 1. 底层数据结构：双向链表 每个std::list节点包含： 数据域…...
mysql数据库的线程连接数、状态 、最大并发数、缓存等参数配置
mysql数据库的线程连接数、状态 、最大并发数、缓存等参数配置 https://www.modb.pro/db/1784385883449397248 mysql数据库的线程连接数、状态 、最大并发数、缓存等参数配置 SQL命令行临时设置操作 #查看mysql数据库的线程连接数： mysql> show global statu…...
HarmonyOS-ArkUI V2状态-PersistenceV2:持久化存储UI状态
PersistenceV2类是一个与AppStorageV2类用法非常相似的类。因为它俩是子类和父类的关系。如果不了解AppStorageV2，可以先跳转至了解一下这个类。 HarmonyOS-ArkUI V2工具类：AppStorageV2:应用全局UI状态存储-CSDN博客 PersistenceV2相比于其父类AppStorageV2而言，它存储的…...
App测试小工具
前言 最近app测试比较多，每次都得手动输入日志tag，手动安装，测完又去卸载，太麻烦。就搞了小工具使用。 效果预览 每次测试完成，点击退出本次测试，就直接卸载了，usb插下一个手机又可以继续测了…...
ZEP: 一种用于智能体记忆的时序知识图谱架构
摘要 我们介绍了Zep，一种新型的智能体记忆层服务，在深度记忆检索（DMR）基准测试中，超越了现有的最先进系统MemGPT。此外，Zep在比DMR更全面、更具挑战性的评估中表现优异，这些评估更好地反映了现实世界企业应用的需求。尽管现有的基于大语言模型（LLM）的检索增强生成（R…...
800 中值定理
文章目录 前言365366367368369370371372373总结 前言 中值定理貌似是压轴题，但是也没什么难的，我一定可以拿下。 background music : 《还是分开》张叶蕾 365 构造出罗尔定理需要的 F(x) 我现在没啥问题，然后就是要找出两个相等的点&…...
安装fvm可以让电脑同时管理多个版本的flutter、flutter常用命令、vscode连接模拟器
打开 PowerShellfvm安装 dart pub global activate fvm安装完成后，如果显示FVM无法识别，那么需要去添加环境变量path添加这个：C:\Users\Administrator\AppData\Local\Pub\Cache\bin 常用命令 fvm releases 查看用户可以装的flutter版本fvm l…...
多线程、JUC——面试问题自我总结
1、创建线程有几种方式 答：1、通过继承Thread类，但需要注意的是一个类继承Thread就不能继承其他的类了 2、实现Runnable接口 3、实现Callable接口，重写Call方法 4、线程池 2、线程状态是怎么转换 3、实现线程的方式Callable与Runnable区别 …...
LivePortrait 使用指南：让静态照片“动”起来的魔法工具
欢迎来到涛涛聊AI，先看效果 项目地址：https://github.com/KwaiVGI/LivePortrait 在人工智能技术飞速发展的今天，静态照片的“动态化”已成为数字创意领域的热门方向。LivePortrait 凭借其高效性、可控性和逼真效果，成为用户将照片转化为动态视频的首选方案。本文将从技术原…...
Aosp13 文件应用点击apk无反应的处理
最近遇到一个问题，在A13上，打开文件管理应用时，点击apk 无反应或者启动安装进程后安装完成或取消安装进程，再次点击apk 无反应。在此记录该问题。 做一下修改：root/package/ providers/DownloadProvider/下 jenkinsdel…...