当前位置：首页 > news >正文

吴恩达深度学习复盘(9)多类分类与SoftMax回归

news 来源：原创 2025/8/22 18:27:05

多类分类

概念

对于分类问题，并非只有0或1两个标签，而是可以有两个以上的开放标签。以手写数字分类问题为例，之前只是区分0和1，但在实际生活中，如读取信封上的数字或邮政编码，会涉及十个可能的数字识别；在对病人疾病分类时，可能要区分三种或五种不同疾病，这都属于多类分类问题。

例子

检测工厂生产的有视觉缺陷的部件，观察制药公司生产的药片图片，判断其是否有拉伸效果、变色缺陷或芯片缺陷等，这些不同类型的缺陷就代表了多个类别，是多类分类问题的实际体现。

多类分类与二元分类的区别

二元分类的数据集特征为X1，遗留回归会拟合一个模型来估计在特征X下Y为1的概率，因为Y只有0或1两种情况。而在多类分类问题中，数据集会有多种类别表示，例如用圆形代表一个类别，叉号代表另一个类别，三角形代表第三类，正方形代表第四类。此时不只是估计Y等于1的概率，还要估计Y等于2、3、4等其他类别的概率。

多类分类的模型与算法

决策边界不同，将X的空间分成多个区域（如四个），而不只是像二元分类那样分成两个类别。多类分类问题的定义中，softmax算法，它是逻辑回归的推广，可用于多类分类。之后会把softmax拟合到新的神经网络中，以便训练神经网络执行多类分类任务。

SoftMax回归

1. SoftMax回归的定位

SoftMax回归是对logistic回归（逻辑回归）的一种推广，逻辑回归是二元分类算法，而SoftMax回归适用于多类别分类环境。

2. 逻辑回归回顾

当输出值只有0或1两种可能时应用逻辑回归。计算过程是先计算 $Z = W$ 与 $X + B$ 的点积，然后通过一个信号函数 $A = G(Z)$ 得到结果。逻辑回归估计的是在给定输入特征下 $Y = 1$ 的概率，且 $Y = 1$ 和 $Y = 0$ 的概率之和为1。例如，若 $Y = 1$ 的概率是 $0.71$ ，那么 $Y = 0$ 的概率就是 $0.29$ 。为了更好地理解和推广逻辑回归，可以将其看作是计算两个数字，即给定 $X$ 时 $Y = 1$ 的概率和 $Y = 0$ 的概率。

3. SoftMax回归例子

以 $Y$ 可以取1、2、3、4这四种可能输出的情况为例，SoftMax回归的计算过程如下：

- 计算 $z_1 = W_1^T X + b_1$ ， $z_2 = W_2^T X + b_2$ ， $z_3 = W_3^T X + b_3$ ， $z_4 = W_4^T X + b_4$

（其中 $W_1,W_2,W_3,W_4$ 和 $b_1,b_2,b_3,b_4$ 是SoftMax回归的参数）。

- 计算 $a_1 = \frac{e^{z_1}}{e^{z_1} + e^{z_2} + e^{z_3} + e^{z_4}}$ ，

$a_1$ 被解释为在给定输入特征 $X$ 下 $Y = 1$ 的估计概率； $a_2 = \frac{e^{z_2}}{e^{z_1} + e^{z_2} + e^{z_3} + e^{z_4}}$ ， $a_2$ 是 $Y = 2$ 的估计概率；类似地， $a_3$ 和 $a_4$ 也按此方式计算，且 $a_1 + a_2 + a_3 + a_4 = 1$ 。

4. SoftMax回归的一般公式

对于Y可以取1到n等任意可能值的一般情况，SoftMax回归计算 $z_j = W_j^T X + b_j$ （参数为 $W_1$ 到 $W_n$ 以及 $b_1$ 到 $b_n$ ），然后 $a_j = \frac{e^{z_j}}{\sum_{k = 1}^{n} e^{z_k}}$ ， $a_j$ 被解释为在给定输入特征X下Y = j的估计概率，且 $a_1 + a_2 + \cdots + a_n = 1$ 。当n = 2时，SoftMax回归最终计算结果和逻辑回归一样，只是参数会略有不同，所以SoftMax回归是逻辑回归的推广。

5. SoftMax回归的损失函数

- 回顾逻辑回归的损失函数，最初为 $-y\log(a_1) - (1 - y)\log(1 - a_1)$ ，由于 $1 - a_1 = a_2$ ，可简化为 $-y\log(a_1) - (1 - y)\log(a_2)$ ，即Y = 1时损失是 $-\log(a_1)$ ，Y = 0时损失是 $-\log(a_2)$ ，模型的代价函数是整个训练集上损失的平均值。

- SoftMax回归的损失函数是：如果算法预测的概率分布为 $a_1$ 到 $a_n$ ，真实标签是Y。当Y = 1时，损失是 $-\log(a_1)$ ；当Y = 2时，损失是 $-\log(a_2)$ ；以此类推，当Y = j时，损失是 $-\log(a_j)$ 。该损失函数的特点是，Y在每个训练样例中只能取一个值，所以只计算对应真实值的概率的负对数。例如，若Y = 2，则计算 $-\log(a_2)$ 。 $-\log(a_j)$ 的曲线特性是，当 $a_j$ 接近1时损失小，当 $a_j$ 较小时损失大，这激励算法使a_j尽可能大，即让模型预测的Y为真实值的概率尽可能大。

模型构建

1. 新网络的构建目的与模型应用

为了构建能够进行多类分类的新网络，将SoftMax回归模型放入新网络的输出层。以前在进行手写数字识别（仅两个类别）时使用了特定架构的网络，现在若要对0到9这10个数字进行手写数字分类，需将新网络的输出层改为有10个单元的SoftMax输出层，有时也称为SoftMax输出层。

2. 新网络的传播方式

在新网络中，给定输入X，前序计算（得到隐藏层的激活值）和之前一样，接着计算输出层的激活值。对于10个类别的情况，通过特定表达式计算 $z_1$ 到 $z_{10}$ （ $z_i = W_i^T a_{i - 1} + b_i$ )， $a_{i - 1}$ 是上一层的激活值），

然后计算 $a_i = \frac{e^{z_i}}{\sum_{k = 1}^{10} e^{z_k}}$ ， $a_i$ 表示预测为第i类的概率估计，从而得到1到10这10个可能标签的概率估计。

3. SoftMax激活函数的特点

SoftMax激活函数（有时也称为SoftMax激活函数）与其他激活函数（如Sigmoid、ReLU、线性激活函数）不同。其他激活函数中，激活值是单个z值的函数（如 $a_1$ 是 $z_1$ 的函数），而SoftMax激活函数的每个激活值 $a_i$ 依赖于所有的z值（即 $a_i$ 是 $z_1$ 到 $z_{10}$ 的函数），这是SoftMax激活函数的独特属性。

Tensorflow 代码

import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.utils import to_categorical# 加载手写数字数据集
(X_train, y_train), (X_test, y_test) = mnist.load_data()# 数据预处理
X_train = X_train.reshape(-1, 28 * 28).astype('float32') / 255.0
X_test = X_test.reshape(-1, 28 * 28).astype('float32') / 255.0# 构建模型
model = Sequential([# 第一层：25 个单元，ReLU 激活函数Dense(25, activation='relu', input_shape=(28 * 28,)),# 第二层：15 个单元，ReLU 激活函数Dense(15, activation='relu'),# 第三层：10 个输出单元，SoftMax 激活函数Dense(10, activation='softmax')
])# 编译模型
model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['accuracy'])# 训练模型
model.fit(X_train, y_train, epochs=10, batch_size=32, validation_data=(X_test, y_test))# 评估模型
test_loss, test_acc = model.evaluate(X_test, y_test)
print(f"Test accuracy: {test_acc}")