当前位置：首页 > news >正文

ML算法数学概念

news 来源：原创 2025/7/4 12:27:16

交叉熵损失（Cross-Entropy Loss） 是机器学习和深度学习中常用的一种损失函数，主要用于衡量两个概率分布之间的差异。它在分类问题中（尤其是多分类问题）被广泛使用，因为它能够有效地评估模型预测的概率分布与真实标签的分布之间的差距。

1. 交叉熵的定义

交叉熵源于信息论，用于衡量两个概率分布 ( p ) 和 ( q ) 之间的差异。公式为：
[
H(p, q) = -\sum_{i} p(i) \log(q(i))
]
其中：

( p(i) ) 是真实概率分布（通常是真实标签的分布）。
( q(i) ) 是模型预测的概率分布。

交叉熵的值越小，说明模型预测的分布 ( q ) 越接近真实分布 ( p )。

2. 在分类问题中的应用

在分类问题中，交叉熵损失通常用于衡量模型预测的概率分布与真实标签之间的差异。

真实标签的分布 ( p )

在分类问题中，真实标签通常是一个 one-hot编码 的向量。例如，对于一个三分类问题，如果真实标签是第2类，则真实分布 ( p ) 为：
[
p = [0, 1, 0]
]

模型预测的分布 ( q )

模型通常会输出一个概率分布，例如通过Softmax函数将未归一化的分数（logits）转换为概率：
[
q = [q_1, q_2, q_3]
]
其中 ( q_i ) 是模型预测的第 ( i ) 类的概率。

交叉熵损失的计算

根据交叉熵的公式，损失为：
[
H(p, q) = -\sum_{i} p(i) \log(q(i))
]
对于上面的例子，真实标签是第2类，因此：
[
H(p, q) = - (0 \cdot \log(q_1) + 1 \cdot \log(q_2) + 0 \cdot \log(q_3)) = -\log(q_2)
]
也就是说，交叉熵损失只与真实类别对应的预测概率有关。预测概率越接近1，损失越小。

3. 交叉熵损失的特点

非负性：交叉熵损失的值始终为非负数，因为概率 ( q(i) ) 在0到1之间，其对数 ( \log(q(i)) ) 为负数，因此前面加负号后损失为非负数。
与概率相关：交叉熵损失直接与模型预测的概率相关。如果模型对真实类别的预测概率很低，损失会很大；如果预测概率接近1，损失会很小。
适用于多分类问题：交叉熵损失可以自然地扩展到多分类问题，通过Softmax函数将模型输出转换为概率分布。

4. 交叉熵损失的公式（简化版）

在深度学习中，交叉熵损失通常与Softmax函数结合使用，公式可以简化为：
[
L = -\log(q_y)
]
其中：

( q_y ) 是模型对真实类别 ( y ) 的预测概率。
损失只与真实类别对应的预测概率有关。

5. 示例

假设我们有一个三分类问题，模型输出的未归一化分数（logits）为：
[
z = [2.0, 1.0, 0.1]
]
通过Softmax函数将其转换为概率分布：
[
q = \text{Softmax}(z) = \left[ \frac{e^{2.0}}{e{2.0} + e^{1.0} + e^{0.1}}, \frac{e^{1.0}}{e{2.0} + e^{1.0} + e^{0.1}}, \frac{e^{0.1}}{e{2.0} + e^{1.0} + e^{0.1}} \right]
]
计算结果为：
[
q \approx [0.659, 0.242, 0.099]
]
如果真实标签是第1类（即 ( y = 0 )），则交叉熵损失为：
[
L = -\log(q_0) = -\log(0.659) \approx 0.417
]

6. 代码实现（Python + PyTorch）

import torch
import torch.nn as nn# 示例数据
logits = torch.tensor([[2.0, 1.0, 0.1]])  # 模型输出的未归一化分数
labels = torch.tensor([0])                # 真实标签（第1类）# 定义交叉熵损失函数
criterion = nn.CrossEntropyLoss()# 计算损失
loss = criterion(logits, labels)
print(loss.item())  # 输出: 0.417

在PyTorch中，nn.CrossEntropyLoss 会自动对输入的 logits 应用Softmax函数，然后计算交叉熵损失。

总结

交叉熵损失是衡量模型预测分布与真实分布之间差异的有效工具，尤其在分类问题中应用广泛。它的核心思想是通过惩罚低概率的预测来优化模型，使其输出的概率分布尽可能接近真实标签的分布。