PyTorch参数不更新：诊断与解决低学习率问题

在pytorch模型训练中，参数不更新是一个常见问题，通常是由于学习率设置过低，导致每次迭代的参数更新幅度远小于参数自身的量级或梯度幅度。本文将深入分析这一现象，并通过示例代码演示，解释如何通过调整学习率来有效解决参数停滞不前的问题，并提供优化学习率的实践建议。

PyTorch参数不更新的常见原因与诊断

在使用PyTorch进行深度学习模型训练时，开发者有时会遇到模型参数似乎没有更新的困惑。尽管代码逻辑看起来正确，包括计算损失、反向传播和优化器步进，但参数值却保持不变或变化微乎其微。这通常不是代码逻辑错误，而是超参数设置不当，特别是学习率（learning rate）过低所致。

考虑以下一个简单的优化问题示例，目标是调整 x_param 以使其经过一系列计算后得到的权重向量 w 尽可能接近 target_weights_vec：

import torch
import numpy as np

np.random.seed(10)


def optimize(final_shares: torch.Tensor, target_weight, prices, loss_func=None):
    """
    计算基于当前份额的权重向量，并与目标权重计算损失。
    """
    final_shares = final_shares.clamp(0.)  # 确保份额非负

    mv = torch.multiply(final_shares, prices)
    w = torch.div(mv, torch.sum(mv))
    # print(w) # 调试时可打印权重
    return loss_func(w, target_weight)


def main():
    position_count = 16
    cash_buffer = .001
    starting_shares = torch.tensor(np.random.uniform(low=1, high=50, size=position_count), dtype=torch.float64)
    prices = torch.tensor(np.random.uniform(low=1, high=100, size=position_count), dtype=torch.float64)
    prices[-1] = 1.

    # 待优化的参数，requires_grad=True 确保其梯度会被计算
    x_param = torch.nn.Parameter(starting_shares, requires_grad=True)

    # 定义目标权重
    target_weights = ((1 - cash_buffer) / (position_count - 1))
    target_weights_vec = [target_weights] * (position_count - 1)
    target_weights_vec.append(cash_buffer)
    target_weights_vec = torch.tensor(target_weights_vec, dtype=torch.float64)

    loss_func = torch.nn.MSELoss() # 使用均方误差作为损失函数

    eta = 0.01 # 学习率
    optimizer = torch.optim.SGD([x_param], lr=eta) # 使用SGD优化器

    for epoch in range(10000):
        optimizer.zero_grad() # 清零梯度
        loss_incurred = optimize(final_shares=x_param, target_weight=target_weights_vec,
                                 prices=prices, loss_func=loss_func)
        loss_incurred.backward() # 反向传播计算梯度

        # 打印梯度信息 (可选，用于诊断)
        # if epoch % 1000 == 0:
        #     print(f"Epoch {epoch}, Loss: {loss_incurred.item():.6f}, Avg Grad: {x_param.grad.abs().mean().item():.8f}")

        optimizer.step() # 更新参数

    print("\nOptimization finished. Final x_param:")
    print(x_param)
    print("Final loss:")
    final_loss = optimize(final_shares=x_param.data, target_weight=target_weights_vec,
                          prices=prices, loss_func=loss_func)
    print(final_loss.item())


if __name__ == '__main__':
    main()

运行上述代码，即使经过10000个epoch，x_param 的值可能看起来并没有发生显著变化，或者损失值下降非常缓慢。

根本原因分析：学习率与梯度尺度的不匹配

问题的核心在于学习率 eta（0.01）相对于梯度的平均幅度和参数自身的量级来说太小了。

1. 梯度幅度过小： 在这个特定的例子中，通过分析可以发现，在训练过程中，计算出的平均梯度幅度可能非常小，例如大约 1e-5。
2. 参数更新计算： 优化器更新参数的公式大致为 parameter = parameter - learning_rate * gradient。 如果 learning_rate = 0.01 且 average_gradient = 1e-5，那么每次迭代的平均参数更新幅度将是 0.01 * 1e-5 = 1e-7。
3. 参数量级： 初始的 x_param 值（starting_shares）在1到50之间，平均值约为24。 与参数本身的量级（~24）相比，每次迭代 1e-7 的更新幅度微不足道。要使参数值移动1个单位，大约需要 1 / 1e-7 = 10,000,000 次迭代。

因此，即使进行了10000次迭代，参数的累积变化也只有 10000 * 1e-7 = 1e-3，这在视觉上几乎无法察觉，也无法有效降低损失。

AI建筑知识问答

用人工智能ChatGPT帮你解答所有建筑问题

22

查看详情

解决方案：调整学习率

解决这个问题的直接方法是显著提高学习率。

实践步骤

1. 评估梯度和参数量级： 在训练初期，可以打印或监控梯度的平均绝对值 (x_param.grad.abs().mean()) 和参数的平均绝对值 (x_param.abs().mean())。这将帮助你了解它们的典型尺度。
2. 增大学习率： 根据梯度和参数的量级，将学习率调整到一个更大的值。例如，如果将 eta 从 0.01 调整到 100，每次更新的幅度将变为 100 * 1e-5 = 1e-3。

   # ...
   eta = 100 # 将学习率显著提高
   optimizer = torch.optim.SGD([x_param], lr=eta)
   # ...

   登录后复制

   通过这种调整，参数在10000次迭代中的累积变化将达到 10000 * 1e-3 = 10，这将导致参数发生显著变化，并使损失函数有效收敛。

注意事项与最佳实践

• 学习率调度器： 在实际应用中，通常不会使用一个固定的高学习率贯穿整个训练过程。过高的学习率可能导致训练不稳定，甚至发散。常见的做法是使用学习率调度器（Learning Rate Scheduler），例如 torch.optim.lr_scheduler.StepLR 或 torch.optim.lr_scheduler.ReduceLROnPlateau，在训练过程中逐步降低学习率。
• 学习率范围测试： 对于新的模型或任务，进行学习率范围测试（Learning Rate Range Test）是一个很好的实践。从一个非常小的学习率开始，逐渐增加，观察损失函数的变化，找到一个能使损失快速下降的“甜点”。
• 优化器选择： 不同的优化器（如Adam, RMSprop等）对学习率的敏感度不同。Adam等自适应学习率优化器通常对初始学习率的选择不那么敏感，因为它会根据梯度的历史信息动态调整每个参数的学习率。然而，即使是Adam，一个极端的学习率也可能导致问题。
• 梯度裁剪： 如果梯度幅度非常大（可能导致参数更新过大而发散），可以考虑使用梯度裁剪（Gradient Clipping）来限制梯度的最大值。
• 损失函数与数据缩放： 确保损失函数的设计合理，并且输入数据经过适当的归一化或标准化，这有助于保持梯度在一个合理的范围内。

总结

当PyTorch模型参数在训练循环中不更新时，首先应检查学习率的设置。一个过低的学习率是导致参数停滞不前的最常见原因。通过分析梯度和参数的量级，并相应地调整学习率，通常可以解决这个问题。同时，结合学习率调度器、学习率范围测试以及适当的优化器选择，可以更有效地训练深度学习模型，确保参数能够正确且高效地更新。

以上就是PyTorch参数不更新：诊断与解决低学习率问题的详细内容，更多请关注php中文网其它相关文章！