当前位置：首页 > news >正文

多模态大语言模型arxiv论文略读（五十五）

news 来源：原创 2025/5/6 14:58:06

请添加图片描述

MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation

➡️ 论文标题：MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation
➡️ 论文作者：Kunpeng Song, Yizhe Zhu, Bingchen Liu, Qing Yan, Ahmed Elgammal, Xiao Yang
➡️ 研究机构: ByteDance、Rutgers University
➡️ 问题背景：随着大规模文本到图像扩散模型的快速发展，个性化图像生成的需求日益增长。然而，现有的个性化图像生成方法在细节保真度、身份保留和文本提示一致性方面存在不足，且大多数方法需要针对每个实例进行微调，这限制了它们的实际应用。
➡️ 研究动机：为了克服现有方法的局限性，研究团队提出了一种新的、无需微调的个性化图像生成模型MoMA。该模型旨在提高生成图像的细节保真度、对象身份相似性和文本提示的一致性，同时支持零样本能力。
➡️ 方法简介：MoMA利用多模态大语言模型（MLLM）作为特征提取器和生成器，通过结合参考图像和文本提示信息，生成高质量的图像特征。为了进一步提高生成图像的细节质量，研究团队引入了一种新的自注意力快捷方法，该方法能够高效地将图像特征传递到扩散模型中，从而在不增加计算开销的情况下显著提升目标对象的细节质量。
➡️ 实验设计：研究团队在多个任务上对MoMA进行了评估，包括背景重置任务和纹理修改任务。实验结果表明，MoMA在不同背景下的细节准确性和对目标对象的忠实度方面表现出色，同时在纹理修改任务中能够根据文本提示准确地改变目标对象的纹理，而不会影响未提及的视觉特征。此外，MoMA通过广泛的预训练，消除了评估阶段的微调需求，从而实现了高效、高质量的个性化图像生成。

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

➡️ 论文标题：Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
➡️ 论文作者：Keen You, Haotian Zhang, Eldon Schoop, Floris Weers, Amanda Swearngin, Jeffrey Nichols, Yinfei Yang, Zhe Gan
➡️ 研究机构: Apple
➡️ 问题背景：尽管多模态大语言模型（Multimodal Large Language Models, MLLMs）在多种任务中表现出色，但它们在理解和交互移动用户界面（UI）屏幕方面的能力仍然有限。移动UI屏幕通常具有更长的宽高比，并包含较小的感兴趣对象（如图标和文本），这使得直接将自然图像模型应用于UI屏幕存在局限性。
➡️ 研究动机：为了克服现有模型在处理UI屏幕时的不足，研究团队提出了Ferret-UI，这是一个专门针对移动UI屏幕设计的MLLM。Ferret-UI不仅能够执行精确的引用和定位任务，还能理解和执行开放式的语言指令。研究团队通过改进模型架构、精心策划训练数据和建立全面的基准测试，旨在提升模型在UI屏幕上的理解和交互能力。
➡️ 方法简介：Ferret-UI基于Ferret模型，通过集成“任意分辨率”（anyres）技术，灵活适应不同屏幕的宽高比。模型将屏幕划分为子图像，分别编码后再送入语言模型，以增强细节和视觉特征。训练数据包括基本的UI任务（如图标识别、文本查找）和高级任务（如详细描述、交互对话、功能推断），以全面覆盖UI屏幕理解的各个方面。
➡️ 实验设计：研究团队在14个不同的移动UI任务上进行了实验，包括3个来自Spotlight的任务（screen2words、widget captions、taperception）和11个针对iPhone和Android屏幕的双版本任务。实验评估了多种UI理解模型，包括开源MLLMs和GPT-4V。结果显示，Ferret-UI在基本UI任务上显著超越了GPT-4V，并在高级任务上也表现出色。

VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding?

➡️ 论文标题：VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding?
➡️ 论文作者：Junpeng Liu, Yifan Song, Bill Yuchen Lin, Wai Lam, Graham Neubig, Yuanzhi Li, Xiang Yue
➡️ 研究机构: Carnegie Mellon University、The Chinese University of Hong Kong、School of Computer Science, Peking University、MBZUAI、Allen Institute for AI
➡️ 问题背景：多模态大语言模型（Multimodal Large Language Models, MLLMs）在网页相关的任务中展现出潜力，但评估这些模型在网页领域的性能仍面临挑战。现有的基准测试要么设计用于通用多模态任务，无法捕捉网页的独特特性，要么专注于端到端的网页代理任务，无法衡量细粒度的能力，如OCR、理解和定位。因此，需要一个全面的基准测试来评估MLLMs在网页领域的表现。
➡️ 研究动机：为了填补这一空白，研究团队开发了VisualWebBench，这是一个多模态基准测试，旨在评估MLLMs在多种网页任务中的能力。VisualWebBench包含七个任务，涵盖了1.5K个人工标注的实例，来自139个真实网站，覆盖87个子领域。通过评估14个开源MLLMs、Gemini Pro、Claude-3系列和GPT-4V(ision)在VisualWebBench上的表现，研究揭示了当前MLLMs在网页理解中的显著挑战和性能差距。
➡️ 方法简介：研究团队构建了VisualWebBench，该基准测试包括七个任务：网页描述、网页问答、标题OCR、元素OCR、元素定位、动作预测和动作定位。每个任务都设计为问答形式，以评估模型在网页理解、OCR、定位和推理方面的能力。所有截图统一为1280像素宽度，并经过仔细验证和标注。
➡️ 实验设计：研究团队在VisualWebBench上评估了14个开源MLLMs、Gemini Pro、Claude-3系列和GPT-4V(ision)。实验结果表明，即使是性能最强的GPT-4V，其平均得分也只有64.6，显示出当前模型在网页任务中仍有很大的提升空间。此外，研究还发现开源MLLMs与专有模型（如GPT-4V和Claude系列）之间存在显著的性能差距，模型规模的扩大有助于提升性能。然而，专门针对GUI任务的MLLMs（如SeeClick和CogAgent）在VisualWebBench上的表现并不显著，这表明需要更通用的GUI特定训练技术来增强MLLMs在网页场景中的表现。

HRVDA: High-Resolution Visual Document Assistant

➡️ 论文标题：HRVDA: High-Resolution Visual Document Assistant
➡️ 论文作者：Chaohu Liu, Kun Yin, Haoyu Cao, Xinghua Jiang, Xin Li, Yinsong Liu, Deqiang Jiang, Xing Sun, Linli Xu
➡️ 研究机构: 中国科学技术大学、认知智能国家重点实验室、腾讯优图实验室
➡️ 问题背景：尽管多模态大语言模型（MLLMs）在多种任务中展现了强大的视觉理解能力，但在处理视觉文档理解任务时，其性能仍有待提高。主要原因是现有模型通常使用低分辨率图像，导致视觉信息的大量损失，且缺乏针对文档的视觉指令调优。
➡️ 研究动机：为了解决上述问题，研究团队提出了一种新的多模态大语言模型——高分辨率视觉文档助手（HRVDA），该模型通过内容过滤机制和指令过滤模块，有效处理高分辨率图像输入，提高了模型的训练和推理效率。
➡️ 方法简介：HRVDA模型包括内容检测器、图像编码器、指令过滤模块和大语言模型（LLM）。内容检测器用于识别图像中的重要内容区域，图像编码器提取图像特征，指令过滤模块进一步过滤与指令无关的视觉令牌，最后将处理后的视觉令牌和指令输入LLM生成响应。
➡️ 实验设计：研究团队在多个文档理解数据集上进行了实验，包括文档分类、信息提取、视觉问答、光学字符识别、视觉定位、图像描述和表格重建等任务。实验结果表明，HRVDA在这些任务上均达到了当前最先进的性能，同时保持了与低分辨率模型相当的训练效率和推理速度。

UMBRAE: Unified Multimodal Brain Decoding

➡️ 论文标题：UMBRAE: Unified Multimodal Brain Decoding
➡️ 论文作者：Weihao Xia, Raoul de Charette, Cengiz Öztireli, Jing-Hao Xue
➡️ 研究机构: University College London、Inria、University of Cambridge
➡️ 问题背景：当前的脑信号解码研究面临两个主要挑战。首先，将脑信号解码为单一模态（如文本或图像）会导致信息丢失，无法全面捕捉脑活动的细节。其次，由于个体间脑活动模式的差异，现有的方法通常需要为每个受试者单独训练模型，这限制了模型的泛化能力和实用性。
➡️ 研究动机：为了解决上述挑战，研究团队提出了一种统一的多模态脑解码方法（UMBRAE），旨在通过将脑信号与多模态大语言模型（MLLMs）对齐，实现对脑信号的细粒度解码。此外，该方法还引入了跨受试者训练策略，以学习跨受试者的通用表示，从而减少对大量训练数据的依赖，并提高模型的适应性和泛化能力。
➡️ 方法简介：UMBRAE方法包括一个灵活的脑编码器架构和跨受试者训练策略。脑编码器通过轻量级的Transformer架构处理不同长度的脑响应输入，并通过主体特定的分词器和通用感知编码器将脑信号映射到一个共同的特征空间。跨受试者训练策略通过均匀采样确保模型在训练过程中不会偏向特定受试者，同时保持对不同受试者的识别能力。
➡️ 实验设计：研究团队在四个受试者的数据集上进行了实验，包括脑信号解码为文本（脑字幕）、视觉定位（脑定位）、检索（脑检索）和视觉重建（视觉解码）等任务。实验评估了UMBRAE在不同任务上的性能，并与现有的方法进行了比较。实验结果表明，UMBRAE不仅在新任务上取得了优异的表现，而且在传统任务上也优于或与现有方法持平。此外，UMBRAE还支持弱监督适应，能够在少量训练数据的情况下快速适应新受试者。

MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding?

HRVDA: High-Resolution Visual Document Assistant

UMBRAE: Unified Multimodal Brain Decoding

相关文章：