机器学习基础06

目录

1.梯度下降

1.1梯度下降概念

1.2梯度下降公式

1.3学习率

1.4实现梯度下降

1.5API

1.5.1随机梯度下降SGD 

1.5.2小批量梯度下降MBGD

1.6梯度下降优化

2.欠拟合过拟合

2.1欠拟合

2.2过拟合

2.3正则化

2.3.1L1正则项（曼哈顿距离）

2.3.2L2正则项（欧氏距离 ）

3.岭回归（Ridge）

3.1损失函数公式

3.2API 

4.拉索回归（Lasso）

4.1损失函数公式

4.2API

---

1.梯度下降

1.1梯度下降概念

正规方程求解的缺点

①利用正规方程求解的W是最优解的原因是MSE这个损失函数是凸函数。但机器学习的损失函数并非都是凸函数，设置导数为0会得到很多个极值，不能确定唯一解。

②当数据量和特征较多时,矩阵计算量太大.

在机器学习中，梯度表示损失函数对于模型参数的偏导数。具体来说，对于每个可训练参数，梯度告诉我们在当前参数值下，沿着每个参数方向变化时，损失函数的变化率。通过计算损失函数对参数的梯度，梯度下降算法能够根据梯度的信息来调整参数，朝着减少损失的方向更新模型。

1.2梯度下降公式

有损失函数：

梯度下降公式：

 得：

1.3学习率

设置大的学习率α;每次调整的幅度就大,设置小的学习率α;每次调整的幅度就小

 

(1)常见的设定数值：0.1、0.01、0.001、0.0001

(2)随着迭代次数增多学习率逐渐变小,深度学习的优化算法可以调整学习率

1.4实现梯度下降

import matplotlib.pyplot as plt
import numpy as np# 随机初始化
w= np.random.randint(-10,10,1)
# 学习率
h =0.01
# 收敛条件
diff=0.0001
# 最大更新的次数
time =1000lt_w =[]
lt_w_new=[]
for i in range(time):# 保存原w，用于计算差值w_new= wlt_w.append(w_new)lt_w_new.append(10*w**2-15.9*w+6.5)# 更新ww= w - h*(20*w_new-15.9)#20*w-15.9是切线difference=w_new-wprint(f'第{i+1}次迭代：','\t','w:',w,'\t','w_new-w:', difference)if abs(difference) <=diff:break# 图像示意，散点图为梯度下降
plt.scatter(lt_w,lt_w_new,c='red')w = np.linspace(-10,10,100)
loss = 10*w**2-15.9*w+6.5
# 曲线图为损失函数
plt.plot(w,loss)plt.show()

import numpy as np
import matplotlib.pyplot as plt# 随机初始化
w1 = 10
w2 = 10# 学习率
h = 0.001
# 收敛条件
diff = 0.0001
# 最大更新的次数
time = 1000def loss(w1, w2):return 4*w1**2 + 9*w2**2 + 2*w1*w2 + 3.5*w1 - 4*w2 + 6def dloss_w1(w1, w2):return 8*w1 + 2*w2 + 3.5def dloss_w2(w1, w2):return 2*w1 + 18*w2 - 4# 记录每次迭代的w1和w2
w1_history = [w1]
w2_history = [w2]for i in range(time):# 保存原w，用于计算差值w1_new = w1w2_new = w2# 更新ww1 = w1 - h * dloss_w1(w1_new, w2_new)w2 = w2 - h * dloss_w2(w1_new, w2_new)difference1 = w1_new - w1difference2 = w2_new - w2print(f'第{i+1}次迭代：\tw1: {w1:.6f}, w2: {w2:.6f}, w1_new-w1: {difference1:.6f}, w2_new-w2: {difference2:.6f}')# 记录每次迭代的w1和w2w1_history.append(w1)w2_history.append(w2)if abs(difference1) <= diff and abs(difference2) <= diff:breakprint("最终结果：w1 =", w1, "w2 =", w2)# 绘制三维图
fig = plt.figure(figsize=(12, 8))
ax = fig.add_subplot(111, projection='3d')# 创建网格数据
w1_vals = np.linspace(-15, 15, 100)
w2_vals = np.linspace(-15, 15, 100)
w1_grid, w2_grid = np.meshgrid(w1_vals, w2_vals)
loss_grid = loss(w1_grid, w2_grid)# 绘制损失函数的表面
ax.plot_surface(w1_grid, w2_grid, loss_grid, cmap='viridis', alpha=0.7)# 绘制梯度下降路径
ax.plot(w1_history, w2_history, [loss(w1, w2) for w1, w2 in zip(w1_history, w2_history)], color='r', marker='.')# 设置标签
ax.set_xlabel('w1')
ax.set_ylabel('w2')
ax.set_zlabel('Loss')# 显示图形
plt.show()

 

1.5API

批量梯度下降BGD(Batch Gradient Descent)

小批量梯度下降MBGD(Mini-BatchGradient Descent)

随机梯度下降SGD(Stochastic Gradient Descent)。

• Batch Gradient Descent (BGD):每一次迭代都会使用全部的训练样本计算梯度来更新权重。这意味着每一步梯度更新都是基于整个数据集的平均梯度。这种方法的优点是每次更新的方向是最准确的，但缺点是计算量大且速度慢，尤其是在大数据集上。

• Mini-Batch Gradient Descent (MBGD): 这种方法介于批量梯度下降和随机梯度下降之间。它不是用全部样本也不是只用一个样本，而是每次迭代从数据集中随机抽取一小部分样本（例如，从500个样本中选取32个），然后基于这一小批样本的平均梯度来更新权重。这种方法在准确性和计算效率之间取得了一个平衡。

• Stochastic Gradient Descent (SGD): 在随机梯度下降中，每次迭代仅使用随机单个样本（或有时称为“例子”）来计算梯度并更新权重。这种方法能够更快地收敛，但由于每次更新都基于单个样本，所以会导致权重更新路径不稳定。

1.5.1随机梯度下降SGD 

sklearn.linear_model.SGDRegressor()

参数:
    loss: 损失函数，默认为 ’squared_error’
    fit_intercept: 是否计算偏置， default=True
    eta0: float, default=0.01学习率初始值
    learning_rate:  str, default=’invscaling’   
            ‘constant’: eta = eta0 学习率为eta0设置的值，保持不变
            ‘optimal’: eta = 1.0 / (alpha * (t + t0)) 
            ‘invscaling’: eta = eta0 / pow(t, power_t)
            ‘adaptive’: eta = eta0, 学习率由eta0开始，逐步变小
    max_iter: int,  default=1000 经过训练数据的最大次数(又名epoch)
    shuffle=True 每批次是否洗牌
    penalty: {‘l2’, ‘l1’, ‘elasticnet’, None}, default=’l2’，要使用的正则化项
属性:     
      coef_ 回归后的权重系数
      intercept_ 偏置 

from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import SGDRegressor
from sklearn.metrics import mean_squared_errordataset = fetch_california_housing(data_home='./src')x_train,x_test,y_train,y_test=train_test_split(dataset.data,dataset.target,train_size =0.7,shuffle =True,random_state=200)transfer = StandardScaler()
x_train=transfer.fit_transform(x_train)
x_test=transfer.transform(x_test)# 线性回归预估器
estimator = SGDRegressor(loss='squared_error',penalty='l1',max_iter=1000,eta0=0.01,learning_rate ='constant')
estimator.fit(x_train,y_train)# 模型数据
print('coef:',estimator.coef_)
print('intercept:',estimator.intercept_)y_predict = estimator.predict(x_test)
print("预测的数据集：\n", y_predict)
print('决定系数 (R^2)：',estimator.score(x_test,y_test))
error = mean_squared_error(y_test,y_predict)
print('均方误差：',error)

1.5.2小批量梯度下降MBGD

sklearn.linear_model.SGDRegressor()

 调用partial_fit函数训练直接更新权重,不需要调fit从头开始训练。

from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import SGDRegressor
from sklearn.metrics import mean_squared_errordataset = fetch_california_housing(data_home='./src')x_train,x_test,y_train,y_test=train_test_split(dataset.data,dataset.target,train_size =0.7,shuffle =True,random_state=200)transfer = StandardScaler()
x_train=transfer.fit_transform(x_train)
x_test=transfer.transform(x_test)# 线性回归预估器
estimator = SGDRegressor(loss='squared_error',penalty='l1',max_iter=1000,eta0=0.01,learning_rate ='constant')# 小批量梯度下降
batch_size =50 # 批量大小
n_batches = len(x_train)//batch_size 
for epoch in range(estimator.max_iter):# 随机打乱样本顺序indices = np.random.permutation(len(x_train))for i in range(n_batches):start_index = i*batch_sizeend_index = (i+1) * batch_sizebatch_indices = indices[start_index:end_index]x_batch = x_train[batch_indices]y_batch = y_train[batch_indices]# 更换模型权重estimator.partial_fit(x_batch,y_batch) # 模型数据
print('coef:',estimator.coef_)
print('intercept:',estimator.intercept_)y_predict = estimator.predict(x_test)
print("预测的数据集：\n", y_predict)
print('决定系数 (R^2)：',estimator.score(x_test,y_test))
error = mean_squared_error(y_test,y_predict)
print('均方误差：',error)

1.6梯度下降优化

(1)标准化

(2)正则化

2.欠拟合过拟合

分类问题的三种拟合状态：

回归问题的三种拟合状态：

2.1欠拟合

欠拟合是指模型在训练数据上表现不佳，同时在其他数据上也表现不佳。这通常发生在模型过于简单，无法捕捉数据中的复杂模式时。欠拟合模型的表现特征如下：

• 训练误差较高。

• 测试误差同样较高。

• 模型可能过于简化，不能充分学习训练数据中的模式。

2.2过拟合

过拟合是指模型在训练数据上表现得非常好，但在其他数据上表现较差。这通常发生在模型过于复杂，以至于它不仅学习了数据中的真实模式，还学习了噪声和异常值。过拟合模型的表现特征如下：

• 训练误差非常低。

• 测试误差较高。

• 模型可能过于复杂，以至于它对训练数据进行了过度拟合。

2.3正则化

正则化的意义：防止过拟合，增加模型的鲁棒性。

正则化：将原来的损失函数加上一个惩罚项使得计算出来的模型w相对小一些。

常用的惩罚项有L1正则项或者L2正则项:

2.3.1L1正则项（曼哈顿距离）

2.3.2L2正则项（欧氏距离 ）

3.岭回归（Ridge）

3.1损失函数公式

岭回归是损失函数通过添加所有权重的平方和的乘积(L2)来惩罚模型的复杂度。

均方差除以2是因为方便求导，wj指所有的权重系数, λ指惩罚型系数，又叫正则项力度。

特点:

• 岭回归不会将权重压缩到零，这意味着所有特征都会保留在模型中，但它们的权重会被缩小。

• 适用于特征间存在多重共线性的情况。

• 岭回归产生的模型通常更为平滑，因为它对所有特征都有影响。

3.2API 

sklearn.linear_model.Ridge()

参数：

• alpha, default=1.0，正则项力度
• fit_intercept, 是否计算偏置， default=True
• solver, {‘auto’, ‘svd’, ‘cholesky’, ‘lsqr’, ‘sparse_cg’, ‘sag’, ‘saga’, ‘lbfgs’}, default=’auto’

当值为auto,并且数据量、特征都比较大时，内部会随机梯度下降法。

• normalize：default=True

数据进行标准化，如果特征工程中已经做过标准化，这里就该设置为False

• max_iterint

梯度解算器的最大迭代次数，默认为15000

属性：
coef_ 回归后的权重系数
intercept_ 偏置

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_error# dataset = fetch_california_housing(data_home='./src')
dataset = load_breast_cancer()x_train,x_test,y_train,y_test=train_test_split(dataset.data,dataset.target,train_size =0.2,shuffle =True,random_state=200)transfer = StandardScaler()
x_train=transfer.fit_transform(x_train)
x_test=transfer.transform(x_test)# 线性回归预估器estimator = Ridge(alpha =0.1,max_iter=1000)
estimator.fit(x_train,y_train)# 模型数据
print('coef:',estimator.coef_)
print('intercept:',estimator.intercept_)y_predict = estimator.predict(x_test)
print("预测的数据集：\n", y_predict)
print('得分：',estimator.score(x_test,y_test))
error = mean_squared_error(y_test,y_predict)
print('均方误差：',error)

4.拉索回归（Lasso）

4.1损失函数公式

Lasso回归是一种线性回归模型，它通过添加所有权重的绝对值之和(L1)来惩罚模型的复杂度。

Lasso回归的目标是最小化以下损失函数：

其中：

• n 是样本数量，

• p 是特征的数量，

• y_i 是第 i 个样本的目标值，

• x_i 是第 i 个样本的特征向量，

• w是模型的参数向量，

• \lambda 是正则化参数，控制正则化项的强度。

特点:

• 拉索回归可以将一些权重压缩到零，从而实现特征选择。

• 适用于特征数量远大于样本数量的情况，或者当特征间存在相关性时，可以从中选择最相关的特征。

• 拉索回归产生的模型可能更简单，因为它会去除一些不重要的特征。

4.2API

sklearn.linear_model.Lasso()

参数:

• alpha (float, default=1.0):

控制正则化强度；必须是非负浮点数。较大的 alpha 增加了正则化强度。

• fit_intercept (bool, default=True):

是否计算此模型的截距。如果设置为 False，则不会使用截距（即数据应该已经被居中）。

• precompute (bool or arraylike, default=False):

如果为 True，则使用预计算的 Gram 矩阵来加速计算。如果为数组，则使用提供的 Gram 矩阵。

• copy_X (bool, default=True):

如果为 True，则复制数据 X

• max_iter (int, default=1000):

最大迭代次数

• tol (float, default=1e4):

精度阈值

• warm_start (bool, default=False):

当设置为 True 时，再次调用 fit 方法会重新使用之前调用 fit 方法的结果作为初始估计值，而不是清零它们。

• positive (bool, default=False):

当设置为 True 时，强制系数为非负。

• random_state (int, RandomState instance, default=None):

随机数生成器的状态。用于随机初始化坐标下降算法中的随机选择。

• selection ({'cyclic', 'random'}, default='cyclic'):

     如果设置为 'random'，则随机选择坐标进行更新。如果设置为 'cyclic'，则按照循环顺序选择坐标。

from sklearn.datasets import fetch_california_housing
from sklearn.linear_model import Lasso
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np# 加载波士顿房价数据集
data = fetch_california_housing(data_home="./src")
X, y = data.data, data.target# 划分训练集和测试集
X_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 创建Lasso回归模型
lasso = Lasso(alpha=0.1)  # alpha是正则化参数# 训练模型
lasso.fit(X_train, y_train)# 得出模型
print("权重系数为：\n", lasso.coef_)  
print("偏置为：\n", lasso.intercept_)#模型评估
y_predict = lasso.predict(x_test)
print("预测的数据集：\n", y_predict)
error = mean_squared_error(y_test, y_predict)
print("均方误差为：", error)
print(lasso.score(x_test,y_test))