当前位置：首页 > news >正文

Big Model weekly | 第53期

news 来源：原创 2025/8/9 19:56:49

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

CodeRosetta: Pushing the Boundaries of Unsupervised Code Translation for Parallel Programming

近期在大型语言模型（LLMs）的进展重新激发了自动编程语言翻译的兴趣。特别是编码器-解码器变换模型，在不同编程语言之间的翻译中显示出了潜力。然而，由于复杂的并行语义等挑战，将一种语言与其高性能计算（HPC）扩展之间的翻译仍然是一个未被充分探索的领域。在本文中，作者介绍了CodeRosetta，这是一个专为翻译编程语言及其HPC扩展而设计的编码器-解码器变换模型。CodeRosetta在C++ ↔ CUDA和Fortran ↔ C++翻译任务上进行了评估。它使用了一个定制的学习框架，结合了针对性的预训练和训练目标，有效地捕捉了代码语义和并行结构细节，实现了双向翻译。结果显示，CodeRosetta在C++到CUDA翻译方面超过了最先进的基线2.9 BLEU和1.72 CodeBLEU点，同时将编译准确性提高了6.05%。与通用的闭源LLMs相比，本研究的方法在C++到CUDA翻译方面提高了22.08 BLEU和14.39 CodeBLEU，编译准确性提高了2.75%。最后，CodeRosetta在Fortran到并行C++的翻译中表现出了专业性，据作者所知，这是第一个用于这一复杂任务的编码器-解码器模型，与闭源和开源LLMs相比，至少提高了4.63点的CodeBLEU。

文章链接：

https://arxiv.org/pdf/2410.20527

Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA

大型语言模型（LLMs）的部署成本较高。参数共享提供了一种可能的途径来减少它们的规模和成本，但在现代LLMs中的有效性仍然相当有限。在本研究中，作者重新审视了“层绑定”作为变换器中参数共享的一种形式，并引入了将现有LLMs转换为更小的“递归变换器”的新方法，这些变换器在层之间共享参数，且性能损失最小。在这里，我们的递归变换器从标准的预训练变换器高效地初始化，但只使用一个独特的层块，然后在循环中多次重复这个块。我们通过引入放松的递归变换器进一步改进性能，该变换器通过深度方向的低秩适应（LoRA）模块为层绑定约束增加了灵活性，同时仍然保持了整体模型的紧凑性。我们展示了我们的递归模型（例如，递归Gemma 1B）在性能上超越了类似大小的普通预训练模型（如TinyLlama 1.1B和Pythia 1B）和知识蒸馏基线，并且甚至可以恢复大部分原始“全尺寸”模型（例如，没有共享参数的Gemma 2B）的性能。最后，我们提出了连续深度方向批处理，这是一种由递归变换器启用的有前景的新推理范式，当与早期退出配对时。在理论分析中，我们展示了这有潜力带来显著的（2-3倍）推理吞吐量提升。

文章链接：

https://arxiv.org/pdf/2410.20672

Faster WIND: Accelerating Iterative Best-of-N Distillation for LLM Alignment

近期在使大型语言模型与人类偏好相一致方面的进展，已经证实了最佳N选一蒸馏（BOND）日益增长的重要性。然而，由于样本和计算效率低下，迭代BOND算法在实践中的成本过高。本文通过揭示迭代BOND与自我对齐之间的统一博弈论联系来解决这个问题，这种联系统一了看似不同的算法范式。基于这种联系，作者建立了一个新颖的框架——胜率优势（WIN rate Dominance，简称wIND），并为正则化胜率优势优化提供了一系列高效算法，这些算法在参数空间中近似迭代BOND。本文为wIND的一个变体提供了可证明的样本效率保证，该变体采用了平方损失目标。实验结果证实，本研究的算法不仅加速了计算，而且与现有方法相比，实现了更优的样本效率。

文章链接：

https://arxiv.org/pdf/2410.20727

Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities

最近的研究表明，大型语言模型（LLMs）容易受到自动化越狱攻击的影响，这些攻击通过算法设计的对抗性后缀附加到有害查询上，绕过安全对齐并触发非预期的响应。目前生成这些后缀的方法计算成本高，且攻击成功率（ASR）低，尤其是针对像Llama2和Llama3这样对齐良好的模型。为了克服这些限制，本文介绍了ADV-LLM，这是一个迭代自调整过程，用于制作具有增强越狱能力的对抗性LLMs。该框架显著降低了生成对抗性后缀的计算成本，同时在各种开源LLMs上实现了接近100%的ASR。此外，它对闭源模型表现出强大的攻击转移能力，在GPT-3.5上实现了99%的ASR，在GPT-4上实现了49%的ASR，尽管仅在Llama3上进行了优化。除了提高越狱能力外，ADV-LLM还通过其生成用于研究LLM安全性的大型数据集的能力，为未来的安全对齐研究提供了宝贵的见解。

文章链接：

https://arxiv.org/pdf/2410.18469

Abrupt Learning in Transformers: A Case Study on Matrix Completion

最近对变换器（Transformers）训练动态的分析揭示了一个有趣的特性：训练损失在大量的训练步骤中保持平稳，然后突然（并且急剧）下降到接近最优值。为了深入理解这一现象，本文将低秩矩阵补全问题表述为一个遮蔽语言建模（Masked Language Modeling，MLM）任务，并展示了可以训练一个BERT模型以低误差解决这个任务。此外，尽管训练过程或超参数没有变化，损失曲线在训练初期显示出平稳，随后突然下降到接近最优值。为了获得对这种突然下降的可解释性洞察，本文检查了模型在这一转变前后的预测、注意力头（attention heads）和隐藏状态。具体来说，观察到（a）模型从简单地复制遮蔽输入转变为准确预测遮蔽条目；（b）注意力头转变为与任务相关的可解释模式；（c）嵌入和隐藏状态编码了与问题相关的信息。本文还分析了单个模型组件的训练动态，以理解损失的突然下降。

文章链接：

https://arxiv.org/pdf/2410.22244

Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

思维链（Chain-of-thought，简称CoT）提示已经成为与大型语言和多模态模型合作的广泛使用的策略。尽管CoT已被证明在许多任务中提高了性能，但确定其有效性的环境仍然是一个持续的努力。特别是，CoT在何种环境下系统性地降低模型性能仍然是一个未解之谜。在本文中，作者试图通过从认知心理学中汲取灵感，识别CoT降低性能的任务特征，观察（i）言语思考或审议在人类中损害性能的情况，以及（ii）控制人类性能的约束是否能够推广到语言模型。这样的三个案例包括隐性统计学习、视觉识别以及包含例外模式的分类。在所有三个设置中的广泛实验中，作者发现，使用推理时推理与零样本（zero-shot）对照相比，各种最先进的模型表现出显著的性能下降（例如，与GPT-4o相比，OpenAI o1-preview的绝对准确度高达36.3%）。作者还确定了满足条件（i）但不满足（ii）的三个任务，并发现虽然言语思考降低了人类在这些任务中的性能，但CoT保持或提高了模型性能。总体而言，研究结果表明，尽管模型的认知过程与人类并不完全平行，但考虑思考对人类性能有负面影响的情况可以帮助我们识别它对模型产生负面影响的环境。通过将人类审议的文献与CoT的评估联系起来，本文提供了一个新的工具，可以用来理解提示选择和推理时推理的影响。

文章链接：

https://arxiv.org/pdf/2410.21333

MultiTok: Variable-Length Tokenization for Efficient LLMs Adapted from LZW Compression

大型语言模型通过引入更复杂的自然语言处理技术，极大地改变了人工智能的前景。然而，目前训练这类大型语言模型（LLMs）的方法需要大量的资源，包括但不限于大量的数据、昂贵的设备和漫长的训练时间。为了解决这个问题，本文提出了一种新的标记化方法，该方法受到通用Lempel-Ziv Welch数据压缩的启发，将重复的短语压缩成多词标记。使用MultiTok作为一个新的标记化工具，研究表明，语言模型能够在更高效地训练的同时，在更简洁和压缩的训练数据上提供类似的准确性。实际上，研究结果表明，MultiTok在作为标记器的性能上与BERT标准相当，同时提供了接近2.5倍的更快训练速度，并且使用的培训数据减少了30%以上。