当前位置：首页 > news >正文

Transformer 代码剖析16 - BLEU分数（pytorch实现）

news 来源：原创 2025/8/26 10:29:24

一、BLEU算法全景图

二、核心函数模块解析

2.1 统计信息收集：bleu_stats

def bleu_stats(hypothesis, reference):stats = []stats.append(len(hypothesis))stats.append(len(reference))for n in range(1, 5):s_ngrams = Counter([tuple(hypothesis[i:i + n]) for i in range(len(hypothesis) + 1 - n)])r_ngrams = Counter([tuple(reference[i:i + n]) for i in range(len(reference) + 1 - n)])stats.append(max([sum((s_ngrams & r_ngrams).values()), 0]))stats.append(max([len(hypothesis) + 1 - n, 0]))return stats

数据流可视化

2.2 BLEU分数计算：bleu

def bleu(stats):if len(list(filter(lambda x: x == 0, stats))) > 0:return 0 (c, r) = stats[:2]log_bleu_prec = sum([math.log(float(x) / y) for x, y in zip(stats[2::2], stats[3::2])]) / 4.return math.exp(min([0, 1 - float(r) / c]) + log_bleu_prec)

计算流程分解
1. 零值检查： 确保所有统计信息非零
2. 长度提取： 获取假设序列长度c和参考序列长度r
3. 精度计算： 计算n-gram精度的几何平均值的对数
4. 惩罚因子： 引入长度惩罚因子 $min(0,1-\frac{r}{c})$
5. 指数转换： 将对数结果转换回概率值

2.3 验证集BLEU计算：get_bleu

def get_bleu(hypotheses, reference):stats = np.array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])for hyp, ref in zip(hypotheses, reference):stats += np.array(bleu_stats(hyp, ref))return 100 * bleu(stats)

批处理流程

2.4 索引转换：idx_to_word

def idx_to_word(x, vocab):words = []for i in x:word = vocab.itos[i]if '<' not in word:words.append(word)words = " ".join(words)return words

转换机制

三、数学运算可视化推演

3.1 示例数据

假设序列: [1, 2, 3, 4]
参考序列: [1, 2, 4, 5]

3.2 统计信息生成

统计项	计算过程	结果值
假设长度	len(hypothesis)	4
参考长度	len(reference)	4
1-gram匹配	sum((s_ngrams & r_ngrams).values())	3
1-gram总数	len(hypothesis) + 1 - 1	4
2-gram匹配	sum((s_ngrams & r_ngrams).values())	2
2-gram总数	len(hypothesis) + 1 - 2	3
3-gram匹配	sum((s_ngrams & r_ngrams).values())	1
3-gram总数	len(hypothesis) + 1 - 3	2
4-gram匹配	sum((s_ngrams & r_ngrams).values())	0
4-gram总数	len(hypothesis) + 1 - 4	1

3.3 BLEU分数计算

1. 精度计算：

1-gram: 3/4 = 0.75
2-gram: 2/3 ≈ 0.6667
3-gram: 1/2 = 0.5
4-gram: 0/1 = 0

2. 几何平均：

$0)^{\frac{1}{4}} = 0$

3. 长度惩罚：

$min (0, 1 - 4/4) = 0$

4. 最终BLEU：

$e x p (0 + l o g (0)) = 0$

四、工程实践要点

4.1 性能优化

向量化操作： 使用numpy数组提高统计信息累加效率
内存优化： 使用生成器表达式减少内存占用
并行计算： 支持多线程处理大规模数据

4.2 扩展应用

多参考支持： 扩展支持多个参考序列
权重调整： 支持自定义n-gram权重
平滑处理： 引入平滑方法处理零值问题

五、BLEU分数的意义与设计思想

5.1 BLEU的核心意义

BLEU（Bilingual Evaluation Understudy）是机器翻译领域最具代表性的自动评估指标，其核心意义在于通过量化生成文本与参考文本的n-gram匹配程度，为翻译质量提供可计算的客观标准。它的设计初衷是解决人工评估成本高、一致性差的问题，通过以下特性实现高效评估：
1. 自动化与可扩展性： 可快速处理大规模数据，支持模型训练中的实时反馈。
2. 多粒度匹配： 结合1-gram到4-gram的共现统计，兼顾局部词汇匹配和长距离语义连贯性。
3. 长度敏感性： 通过惩罚因子抑制过短译文的得分膨胀，避免逐字翻译的投机行为。

5.2 设计思想与权衡

5.2.1 精度导向的评估逻辑

BLEU以修正后的n-gram精度（Modified n-gram Precision）为基础，统计假设文本中每个n-gram在参考文本中的最大出现次数。例如，若参考文本中出现2次"the cat"，而假设文本出现3次，则匹配计数为2。这种设计通过截断计数法（Clipped Count）避免高频词汇的过度奖励，体现了对翻译“准确性”而非“冗余性”的追求。

5.2.2 几何平均与对数空间

对不同n-gram的精度取几何平均（而非算术平均），强化低精度值的惩罚效应。例如，若某n-gram精度为0，则整体分数直接归零，这迫使模型必须全面兼顾不同粒度的匹配。而对数转换（log(float(x)/y)）则将乘法运算转化为加法，避免连乘导致的数值下溢问题。

5.2.3 长度惩罚机制

通过惩罚因子 min(0, 1 - r/c) 解决短译文问题：

当假设文本长度（c）小于参考文本（r）时，惩罚因子为 1 - r/c，显著降低分数。
当c ≥ r时，惩罚因子为0，保留原始精度值。此机制迫使模型生成与参考长度匹配的译文，而非通过截断获取高分。

5.3 数学表达解析

BLEU分数的完整计算公式为：

$BLEU = BP · exp(∑_{n=1}^N w_n log p_n)$

其中：

BP（Brevity Penalty）： 长度惩罚因子，计算公式为 $e^{min(0, 1 - \frac{r}{c})}$
$p_n$ ： n-gram精度，计算方式为 匹配的n-gram数 / 假设文本中n-gram总数
$w_n$ ： 权重系数，默认取均匀权重1/4（N=4时）

该公式在代码中体现为两个阶段：
1. 统计阶段（bleu_stats函数）： 遍历1-4 gram，分别计算匹配数和总数。
2. 合成阶段（bleu函数）： 对精度取对数平均，叠加长度惩罚，最终通过指数映射得到0-1区间值。

5.4 优势与局限性

优势

高效客观： 摆脱人工评估的主观性与滞后性，支持模型迭代的快速验证。
多语言通用： 不依赖语言特定规则，适用于任意语言对的翻译评估。
强相关性： 在多数研究中，BLEU与人工评分呈现显著正相关（相关系数约0.6-0.8）。

局限性

语义盲区： 无法捕捉同义词替换、语序调换等语义等价变化。
多样性惩罚： 对创造性译文施加不公平惩罚（例如用近义词替换参考文本中的词汇）。
参考依赖： 分数质量高度依赖参考文本的覆盖度和多样性，多参考文本可部分缓解此问题。

原项目代码+注释（附）

"""
@author : Hyunwoong
@when : 2019-12-22
@homepage : https://github.com/gusdnd852
"""import math
from collections import Counterimport numpy as np# 计算BLEU分数的统计信息
def bleu_stats(hypothesis, reference):"""计算BLEU分数的统计信息。"""stats = []  # 初始化一个空列表用于存储统计信息stats.append(len(hypothesis))  # 添加假设序列的长度stats.append(len(reference))  # 添加参考序列的长度for n in range(1, 5):  # 对于n-gram，n从1到4s_ngrams = Counter([tuple(hypothesis[i:i + n]) for i in range(len(hypothesis) + 1 - n)])  # 统计假设序列中所有n-gram出现的次数r_ngrams = Counter([tuple(reference[i:i + n]) for i in range(len(reference) + 1 - n)])  # 统计参考序列中所有n-gram出现的次数stats.append(max([sum((s_ngrams & r_ngrams).values()), 0]))  # 添加假设序列和参考序列中共有的n-gram的总数stats.append(max([len(hypothesis) + 1 - n, 0]))  # 添加假设序列中可能的n-gram的总数return stats  # 返回统计信息列表# 根据统计信息计算BLEU分数
def bleu(stats):"""根据n-gram统计信息计算BLEU分数。"""if len(list(filter(lambda x: x == 0, stats))) > 0:  # 如果统计信息中有任何一项为0，则BLEU分数为0return 0(c, r) = stats[:2]  # 假设序列长度和参考序列长度log_bleu_prec = sum([math.log(float(x) / y) for x, y in zip(stats[2::2], stats[3::2])]) / 4.  # 计算修正后的n-gram精度的几何平均值（对数形式）return math.exp(min([0, 1 - float(r) / c]) + log_bleu_prec)  # 计算BLEU分数# 获取验证集的BLEU分数
def get_bleu(hypotheses, reference):"""获取验证集的BLEU分数。"""stats = np.array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])  # 初始化一个numpy数组用于累加统计信息for hyp, ref in zip(hypotheses, reference):  # 遍历假设序列和参考序列stats += np.array(bleu_stats(hyp, ref))  # 累加每个假设序列和参考序列的BLEU统计信息return 100 * bleu(stats)  # 返回BLEU分数（乘以100转换为百分比形式）# 将索引转换为单词
def idx_to_word(x, vocab):"""将索引列表转换为单词序列。"""words = []  # 初始化一个空列表用于存储单词for i in x:  # 遍历索引列表word = vocab.itos[i]  # 根据索引查找对应的单词if '<' not in word:  # 如果单词中不包含特殊符号'<'，则添加到单词列表中words.append(word)words = " ".join(words)  # 将单词列表转换为以空格分隔的字符串return words  # 返回单词序列