NLP论文速读（多伦多大学）|利用人类偏好校准来调整机器翻译的元指标
论文速读|MetaMetrics-MT: Tuning Meta-Metrics for Machine Translation via Human Preference Calibration
论文信息：
简介：
本文的背景是机器翻译（MT）任务的评估。在机器翻译领域，由于不同场景和语言对的需求差异，没有单一的评估指标能够普遍适用。现有的评估指标可能在一个任务中表现良好，但在另一个任务中可能就不适用。因此，依赖单一指标往往是不够的，需要将自动评估指标与人类评估对齐，以确保其有效性。此外，现有的多个评估指标之间可能因为模型和训练数据的差异而相关性不强，这影响了它们与人类评估的一致性和跨语言对的可靠性。因此，本文提出了一种新的方法，旨在通过贝叶斯优化和高斯过程（GP）来调整和优化现有的MT评估指标，使其更贴近人类偏好。
论文方法：
本文提出的方法是METAMETRICS-MT，一个创新的评估指标，它通过贝叶斯优化和高斯过程来优化现有MT评估指标的相关性。
具体步骤如下：
多指标融合：METAMETRICS-MT结合了多个不同的评估指标，每个指标都被赋予特定的权重，以优化整体性能。这些指标包括基于词汇和基于语义的指标，它们被整合在一起，以形成一个综合的评估分数。
贝叶斯优化：使用贝叶斯优化来确定最佳的权重集合，这些权重最大化了评估分数与人类评估分数之间的相关性。贝叶斯优化通过构建目标函数的概率模型，平衡了新区域的探索和已知有前景区域的利用。
高斯过程（GP）：GP被用作贝叶斯优化中的代理模型，它假设变量的多变量高斯分布，并随着观测数据的增加而变得更加精确，从而帮助算法更有效地识别权重空间中的有前景区域。
论文实验：
论文中提到了两个版本的METAMETRICS-MT：一个是基于参考的（Reference-based），另一个是无需参考的（Reference-free）。
实验使用了WMT24度量共享任务数据集，并且使用了Kendall’s τ相关性作为评估指标。
在参考基础设置中，使用了包括MetricX-23的不同变体、BERTScore、YISI-1、BLEURT、COMET-22和XCOMET-XL等在内的多个评估指标。
在无参考设置中，使用了包括CometKiwi的不同变体、GEMBA-MQM和MetricX-23-QE等在内的多个评估指标。
Table 2展示了不同评估指标在WMT24共享任务中的表现，包括系统级软成对排名准确率（sys SPA）、段级成对排名准确率（seg acc-t）和系统级、段级平均相关性（avg. corr）。
论文中的METAMETRICS-MT在参考基础设置下的表现超过了所有其他基线，特别是在系统级和段级平均相关性方面，METAMETRICS-MT（Hybrid）变体在所有变体中表现最佳。
论文链接：
https://arxiv.org/abs/2411.00390
原文来自：
NLP论文速读（多伦多大学）|利用人类偏好校准来调整机器翻译的元指标
相关文章：
NLP论文速读（多伦多大学）|利用人类偏好校准来调整机器翻译的元指标
论文速读|MetaMetrics-MT: Tuning Meta-Metrics for Machine Translation via Human Preference Calibration 论文信息： 简介： 本文的背景是机器翻译（MT）任务的评估。在机器翻译领域，由于不同场景和语言对的需求差异&a…...
20241121 android中树结构列表（使用recyclerView实现）
1、adapter-item的布局 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"wrap_content&…...
达索系统亮相第三十一届中国汽车工程学会年会暨展览会
伴随着改革开放以及中国入世WTO，三十多年来，中国汽车产销已经成为世界最大的单一市场而独占鳌头。近十年来，另辟蹊径的中国汽车产业人在新能源汽车赛道上引领了一波又一波令全球惊艳的创新成就，成为最为靓丽的新出口三大件的头牌。…...
Python网络爬虫实践案例：爬取猫眼电影Top100
以下是一个Python网络爬虫的实践案例，该案例将演示如何使用Python爬取猫眼电影Top100的电影名称、主演和上映时间等信息，并将这些信息保存到TXT文件中。此案例使用了requests库来发送HTTP请求，使用re库进行正则表达式匹配，并包含详…...
ROSSERIAL与Arduino IDE交叉开发（UBUNTU环境，包含ESP32、arduino nano）
ROSSERIAL与Arduino IDE交叉开发 一、简介二、安装1、Ubuntu下的Arduino IDE安装 **针对ESP32报错问题原因溯源和修改**三、运行结点 一、简介 这个教程展示在ubuntu环境下如何利用Arduino IDE配合rosserial开发机器人部件。通过Arduino IDErosserial实现arduino/esp32开发板通…...
爬虫开发工具与环境搭建——使用Postman和浏览器开发者工具
第三节：使用Postman和浏览器开发者工具 在网络爬虫开发过程中，我们经常需要对HTTP请求进行测试、分析和调试。Postman和浏览器开发者工具（特别是Network面板和Console面板）是两种最常用的工具，能够帮助开发者有效地捕…...
ceph 18.2.4二次开发，docker镜像制作
编译环境要求 #需要ubuntu 22.04版本 参考https://docs.ceph.com/en/reef/start/os-recommendations/ #磁盘空间最好大于200GB #内存如果小于100GB 会有OOM的情况发生,需要重跑 目前遇到内存占用最高为92GB替换阿里云ubuntu 22.04源 将下面内容写入/etc/apt/sources.list 文件…...
游戏引擎学习第19天
介绍 这段内容描述了开发者在进行游戏开发时，对于音频同步和平台层的理解和调整的过程。以下是更详细的复述： 开发者表达了他希望今天继续进行的工作内容。他提到，昨天他讲解了一些关于音频的内容，今天他想稍微深入讲解一下他正…...
简单实现vue2响应式原理
vue2 在实现响应式时，是根据 object.defineProperty() 这个实现的，vue3 是通过 Proxy 对象实现，但是实现思路是差不多的，响应式其实就是让 函数和数据产生关联，在我们对数据进行修改的时候，可以执行相关的副…...
TypeScript 中扩展现有模块的用法
declare module 是 TypeScript 中用于扩展现有模块的特性。它允许开发者在已有模块的基础上，添加新的功能（比如扩展接口、添加类型声明等）。通过 declare module，可以将额外的声明合并到原模块中。以下是用法详解： 用…...