咕泡唐宇迪人工智能深度学习系统班第九期V9.2

https://97it.top/4312/ 摘要 逻辑回归是机器学习中经典的分类算法之一，而梯度下降是实现逻辑回归参数优化的核心方法。本文通过具体案例，详细介绍了如何使用Python实现逻辑回归模型，并结合梯度下降策略进行参数优化。文章首先回顾了逻辑回归和梯度下降的基本原理，然后通过代码示例展示了模型的实现过程，并对不同梯度下降策略的性能进行了对比分析。最后，总结了梯度下降策略在实际应用中的优化技巧和注意事项，为读者提供了一个完整的实战指南。 1. 引言 逻辑回归是一种广泛应用于二分类问题的机器学习算法，其目标是通过学习数据特征与标签之间的关系，构建一个能够对新样本进行分类的模型。梯度下降作为一种高效的优化算法，被广泛用于逻辑回归的参数优化。本文将通过Python实现逻辑回归模型，并结合批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（MBGD）等策略，探讨其在实际应用中的效果。 2. 逻辑回归与梯度下降的基本原理 2.1 逻辑回归原理 逻辑回归通过Sigmoid函数将线性回归的输出映射到(0,1)区间，从而实现分类功能。其数学表达式为： P(y=1∣x)= 1+e −(θ T x+θ 0 ​ ) 1 ​ 其中，θ是模型参数，x是特征向量。 2.2 梯度下降原理 梯度下降算法通过迭代更新模型参数，最小化损失函数。常见的梯度下降策略包括： 批量梯度下降（BGD）：使用整个数据集计算梯度，收敛稳定但计算量大。 随机梯度下降（SGD）：每次迭代使用一个样本来计算梯度，计算速度快但收敛过程不稳定。 小批量梯度下降（MBGD）：折中于BGD和SGD之间，每次迭代使用一小批样本来计算梯度，兼顾了速度和稳定性。 3. Python实现逻辑回归与梯度下降 3.1 数据准备 以经典的鸢尾花（Iris）数据集为例，使用其中的两个类别进行二分类实验。数据集加载和预处理代码如下： Python 复制 from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split import numpy as np # 加载数据集 data = load_iris() X = data.data[:100, :2] # 取前两个特征 y = data.target[:100] # 只取前两个类别 # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 3.2 逻辑回归模型实现 定义Sigmoid函数和逻辑回归模型的训练过程： Python 复制 def sigmoid(z): return 1 / (1 + np.exp(-z)) def logistic_regression(X, y, learning_rate, max_iterations, batch_size=None): m, n = X.shape theta = np.zeros(n) if batch_size is None: batch_size = m # 默认为批量梯度下降 for i in range(max_iterations): for j in range(0, m, batch_size): X_batch = X[j:j+batch_size] y_batch = y[j:j+batch_size] z = X_batch @ theta predictions = sigmoid(z) errors = predictions - y_batch gradient = (1 / batch_size) * X_batch.T @ errors theta -= learning_rate * gradient return theta 3.3 模型训练与评估 使用不同的梯度下降策略训练模型，并评估其性能： Python 复制 # 添加截距项 X_train_b = np.c_[np.ones((X_train.shape[0], 1)), X_train] X_test_b = np.c_[np.ones((X_test.shape[0], 1)), X_test] # 批量梯度下降 theta_bgd = logistic_regression(X_train_b, y_train, learning_rate=0.1, max_iterations=1000) print("BGD Parameters:", theta_bgd) # 随机梯度下降 theta_sgd = logistic_regression(X_train_b, y_train, learning_rate=0.1, max_iterations=1000, batch_size=1) print("SGD Parameters:", theta_sgd) # 小批量梯度下降 theta_mbgd = logistic_regression(X_train_b, y_train, learning_rate=0.1, max_iterations=1000, batch_size=10) print("MBGD Parameters:", theta_mbgd) 3.4 性能对比 通过绘制损失函数的收敛曲线，对比不同策略的性能： Python 复制 import matplotlib.pyplot as plt def train_and_plot(X, y, strategy, learning_rate, max_iterations, batch_size=None): X_b = np.c_[np.ones((X.shape[0], 1)), X] m, n = X_b.shape theta = np.zeros(n) losses = [] for i in range(max_iterations): for j in range(0, m, batch_size): X_batch = X_b[j:j+batch_size] y_batch = y[j:j+batch_size] z = X_batch @ theta predictions = sigmoid(z) errors = predictions - y_batch gradient = (1 / batch_size) * X_batch.T @ errors theta -= learning_rate * gradient loss = -np.mean(y_batch * np.log(predictions) + (1 - y_batch) * np.log(1 - predictions)) losses.append(loss) plt.plot(losses, label=strategy) # 绘制损失曲线 train_and_plot(X_train, y_train, "BGD", learning_rate=0.1, max_iterations=1000) train_and_plot(X_train, y_train, "SGD", learning_rate=0.1, max_iterations=1000, batch_size=1) train_and_plot(X_train, y_train, "MBGD", learning_rate=0.1, max_iterations=1000, batch_size=10) plt.xlabel("Iterations") plt.ylabel("Loss") plt.legend() plt.show() 从实验结果可以看出，批量梯度下降收敛最稳定，但计算效率较低；随机梯度下降计算效率高，但收敛过程较为波动；小批量梯度下降在两者之间取得了较好的平衡。 4. 梯度下降策略的优化技巧 4.1 学习率调整 动态调整学习率是提高梯度下降性能的重要技巧。例如，可以使用学习率衰减策略，随着迭代次数增加逐渐减小学习率。 4.2 数据归一化 对特征进行归一化处理可以加速梯度下降的收敛速度。常用的方法包括Z-Score标准化和0-1归一化。 4.3 高级优化器 除了传统的梯度下降策略，还可以使用动量法（Momentum）、AdaGrad、RMSprop和Adam等高级优化器。这些优化器通过自适应调整学习率和引入动量机制，进一步提高了收敛速度和稳定性。 5. 实验结果分析 通过对比不同梯度下降策略的损失函数收敛曲线，可以看出： 批量梯度下降（BGD）：收敛稳定，但计算效率较低，适合小数据集。 随机梯度下降（SGD）：计算效率高，但收敛过程波动较大，适合大数据集。 小批量梯度下降（MBGD）：在计算效率和收敛稳定性之间取得了较好的平衡。 此外，使用高级优化器（如Adam）可以进一步提高模型的收敛速度和稳定性。 6. 结论 逻辑回归是机器学习中的经典分类算法，而梯度下降是实现其参数优化的核心方法。本文通过Python实现逻辑回归模型，并结合不同的梯度下降策略进行了实验。通过对比分析，展示了不同策略的优缺点，并提出了优化技巧。在实际应用中，选择合适的梯度下降策略和优化技巧可以显著提高模型的训练效率和性能。未来，随着深度学习框架的不断发展，梯度下降算法将在更复杂的模型中发挥更大的作用。