当前位置：首页 > news >正文

多模态大语言模型arxiv论文略读（五十三）

news 来源：原创 2025/5/11 13:48:52

请添加图片描述

Red Teaming GPT-4V: Are GPT-4V Safe Against Uni/Multi-Modal Jailbreak Attacks?

➡️ 论文标题：Red Teaming GPT-4V: Are GPT-4V Safe Against Uni/Multi-Modal Jailbreak Attacks?
➡️ 论文作者：Shuo Chen, Zhen Han, Bailan He, Zifeng Ding, Wenqian Yu, Philip Torr, Volker Tresp, Jindong Gu
➡️ 研究机构: LMU Munich、University of Oxford、Siemens AG、Munich Center for Machine Learning (MCML)、Wuhan University
➡️ 问题背景：大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在文本生成方面表现出色。为了防止生成不当内容，这些模型在安全对齐过程中应用了严格的安全规定。然而，许多越狱攻击（Jailbreak Attacks）能够绕过这些安全措施，成功生成有害内容。这些攻击不仅限于文本模态，还包括通过干扰视觉输入来攻击MLLMs。然而，缺乏通用的评估基准使得性能重现和公平比较变得困难，尤其是对于闭源的最先进（SOTA）模型，如GPT-4V。
➡️ 研究动机：为了应对上述问题，本研究构建了一个全面的越狱评估数据集，包含1445个有害问题，覆盖11种不同的安全政策。基于该数据集，研究团队对11个不同的LLMs和MLLMs进行了广泛的红队测试，包括SOTA闭源模型和开源模型。研究旨在评估这些模型对越狱攻击的鲁棒性，并为未来的安全防护提供有价值的见解和方法。
➡️ 方法简介：研究团队构建了一个包含1445个有害问题的越狱评估数据集，覆盖11种不同的安全政策。该数据集用于评估32种不同的越狱方法，包括29种文本越狱方法和3种视觉越狱方法。研究团队在11个不同的LLMs和MLLMs上进行了红队测试，包括GPT-4、GPT-4V、Llama2和MiniGPT4等模型。
➡️ 实验设计：实验在11个不同的LLMs和MLLMs上进行，包括SOTA闭源模型和开源模型。实验设计了多种越狱方法，包括文本越狱和视觉越狱，以全面评估模型对越狱攻击的鲁棒性。评估指标包括拒绝词检测和LLMs作为评估者。研究发现，GPT-4和GPT-4V在文本和视觉越狱方法上表现出更好的鲁棒性，而Llama2和Qwen-VL-Chat在开源模型中表现更为稳健。此外，视觉越狱方法的可转移性相对有限。

SemGrasp: Semantic Grasp Generation via Language Aligned Discretization

➡️ 论文标题：SemGrasp: Semantic Grasp Generation via Language Aligned Discretization
➡️ 论文作者：Kailin Li, Jingbo Wang, Lixin Yang, Cewu Lu, Bo Dai
➡️ 研究机构: Shanghai Jiao Tong University, Shanghai AI Laboratory
➡️ 问题背景：生成自然的人类抓握姿势不仅需要考虑物体的几何形状，还需要结合语义信息。现有的抓握生成方法主要依赖于物体的几何信息，这限制了其在下游任务中的应用。本文提出了一种新的语义抓握生成方法——SemGrasp，通过将语义信息融入抓握表示中，生成符合语言指令的静态人类抓握姿势。
➡️ 研究动机：现有的抓握表示方法在嵌入语义信息方面存在局限性。SemGrasp旨在通过引入离散表示，将抓握空间与语义空间对齐，从而生成符合语言指令的抓握姿势。此外，研究团队还构建了一个大规模的抓握-文本对齐数据集CapGrasp，以支持SemGrasp的训练。
➡️ 方法简介：SemGrasp方法包括两个主要部分：抓握离散化和抓握感知语言模型。抓握离散化通过VQ-VAE将抓握表示分解为三个组件：方向、方式和细化。抓握感知语言模型则通过多模态大语言模型（MLLM）将离散的抓握表示与语言描述对齐，生成符合语义的抓握姿势。
➡️ 实验设计：实验在多个指标上评估了SemGrasp的性能，包括物理合理性（如顶点位置误差、穿透深度、实体交集体积、模拟位移）和语义一致性（如GPT-4辅助评估、P-FID、感知评分）。实验结果表明，SemGrasp在生成符合语义的抓握姿势方面表现出色，并在AR/VR和具身机器人技术中具有潜在应用价值。

Mind’s Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models

➡️ 论文标题：Mind’s Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models
➡️ 论文作者：Wenshan Wu, Shaoguang Mao, Yadong Zhang, Yan Xia, Li Dong, Lei Cui, Furu Wei
➡️ 研究机构: Microsoft Research、East China Normal University
➡️ 问题背景：大型语言模型（LLMs）在语言理解和多种推理任务中表现出色，但在空间推理方面的能力仍相对未被充分探索。人类通过“心灵之眼”（Mind’s Eye）能够创建心理图像，从而想象未见的场景，这种能力对于空间推理至关重要。然而，LLMs在处理空间信息时主要依赖语言，缺乏人类的多感官感知能力。
➡️ 研究动机：受人类认知机制的启发，研究团队假设LLMs也具备通过“心灵之眼”创建和操作心理图像的能力，以增强空间推理。为了验证这一假设，研究团队提出了Visualization-of-Thought (VoT) 提示方法，旨在通过可视化中间推理步骤来引导LLMs的空间推理过程。
➡️ 方法简介：研究团队设计了三个任务来评估VoT的有效性，包括自然语言导航、视觉导航和视觉拼图。这些任务要求模型理解空间、方向和几何形状，以完成多步推理。研究团队还构建了相应的合成数据集，以模拟人类的多感官输入。
➡️ 实验设计：实验在GPT-4和GPT-4 Vision模型上进行，采用零样本提示方法。实验设置了不同的提示条件，包括传统的链式思考（CoT）、禁用可视化（w/o Viz）和VoT。实验结果表明，VoT显著提高了模型在所有任务中的表现，尤其是在自然语言导航任务中，VoT比禁用可视化的设置提高了23.5%的性能。

Joint Visual and Text Prompting for Improved Object-Centric Perception with Multimodal Large Language Models

➡️ 论文作者：Songtao Jiang, Yan Zhang, Chenyi Zhou, Yeying Ji
➡️ 论文标题：Joint Visual and Text Prompting for Improved Object-Centric Perception with Multimodal Large Language Models
➡️ 论文作者：Songtao Jiang, Yan Zhang, Chenyi Zhou, Yeying Jin, Yang Feng, Jian Wu, Zuozhu Liu
➡️ 研究机构: 浙江大学、新加坡国立大学、Angelalign Inc., China
➡️ 问题背景：多模态大语言模型（MLLMs）如GPT-4V和Gemini Pro在视觉问答（VQA）任务中面临挑战，尤其是在需要细粒度理解对象身份、位置或属性的对象导向感知任务中。这些模型在有效整合复杂视觉线索与文本信息方面的能力有限，且存在潜在的对象幻觉问题。
➡️ 研究动机：为了提高MLLMs在对象导向感知任务中的表现，研究团队提出了一种新的方法——联合视觉和文本提示（VTPrompt）。该方法通过结合细粒度的视觉信息和文本提示，增强MLLMs在VQA任务中的能力，特别是在对象定位、空间关系和属性比较等任务中。
➡️ 方法简介：VTPrompt方法包括三个主要组件：关键概念提取、视觉提示生成和文本提示生成。首先，从文本问题中提取关键概念，然后利用这些概念指导检测模型（如SPHINX或SAM）在图像中标记相关对象。最后，将标记后的图像与优化的文本提示一起输入MLLMs，以生成更准确的答案。
➡️ 实验设计：研究团队在三个基准数据集（MME、MMB和POPE）上评估了VTPrompt的效果。实验设计了不同的任务，包括对象定位、空间关系、属性比较等，以全面评估VTPrompt在不同任务中的表现。实验结果表明，VTPrompt显著提高了GPT-4V和Gemini Pro在这些任务中的性能，特别是在MME和MMB数据集上，分别取得了显著的分数提升。

Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers

➡️ 论文标题：Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers
➡️ 论文作者：Libo Qin, Qiguang Chen, Yuhang Zhou, Zhi Chen, Yinghui Li, Lizi Liao, Min Li, Wanxiang Che, Philip S. Yu
➡️ 研究机构: Central South University、Harbin Institute of Technology、Shanghai AI Laboratory、Tsinghua University、Singapore Management University、University of Illinois at Chicago
➡️ 问题背景：尽管多语言大型语言模型（Multilingual Large Language Models, MLLMs）在多语言自然语言处理任务中取得了显著成功，但目前仍缺乏对这一领域现有方法和最新进展的全面综述。此外，大多数大型语言模型（LLMs）主要集中在英语任务上，这使得它们在多语言环境，尤其是在低资源场景下，表现较弱。
➡️ 研究动机：为了填补这一空白，研究团队进行了首次全面的MLLMs综述，旨在提供一个统一的视角来总结当前的进展和新兴趋势，同时为未来的安全防护提供有价值的见解和方法。
➡️ 方法简介：研究团队提出了一种新的分类方法，将MLLMs分为参数调优对齐（Parameter-Tuning Alignment）和参数冻结对齐（Parameter-Frozen Alignment）两大类。此外，研究还讨论了几个新兴的前沿领域及其挑战，并收集了丰富的开源资源，包括相关论文、数据集和排行榜。
➡️ 实验设计：研究团队详细描述了广泛使用的数据资源，包括预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）阶段的数据。通过这些数据资源，研究团队评估了不同对齐策略的有效性，特别是参数调优对齐和参数冻结对齐在不同任务中的表现。

Red Teaming GPT-4V: Are GPT-4V Safe Against Uni/Multi-Modal Jailbreak Attacks?

SemGrasp: Semantic Grasp Generation via Language Aligned Discretization

Mind’s Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models

Joint Visual and Text Prompting for Improved Object-Centric Perception with Multimodal Large Language Models

Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers

相关文章：