我们的目标是构建一个pytorch神经网络，使其能够接收一个包含二维坐标 [x, y, 1] 的输入，并输出 x 和 y 的平方和 (x^2 + y^2)。这是一个典型的回归问题，但由于输出是非线性的二次函数，对神经网络的结构和训练策略提出了要求。
初始尝试的PyTorch代码如下所示：
import torch
import torch.nn as nn
import numpy as np
from torch.utils.data import TensorDataset, DataLoader
import torch.optim
# 检查CUDA可用性
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# 准备数据
features = torch.tensor([[8.3572,-11.3008,1],[6.2795,-12.5886,1],[4.0056,-13.4958,1]
,[1.6219,-13.9933,1],[-0.8157,-14.0706,1],[-3.2280,-13.7250,1]
,[-5.5392,-12.9598,1],[-7.6952,-11.8073,1],[-9.6076,-10.3035,1],
[-11.2532,-8.4668,1],[-12.5568,-6.3425,1],[-13.4558,-4.0691,1],
[-13.9484,-1.7293,1],[-14.0218,0.7224,1],[-13.6791,3.1211,1],
[-12.9064,5.4561,1],[-11.7489,7.6081,1],[-10.2251,9.5447,1],
[5.4804,12.8044,1],[7.6332,11.6543,1],[9.5543,10.1454,1],
[11.1890,8.3117,1],[12.4705,6.2460,1],[13.3815,3.9556,1],
[13.8733,1.5884,1],[13.9509,-0.8663,1],[13.6014,-3.2793,1],
[12.8572,-5.5526,1],[11.7042,-7.7191,1],[10.1761,-9.6745,1],
[-8.4301,11.1605,1],[-6.3228,12.4433,1],[-4.0701,13.3401,1],
[-1.6816,13.8352,1],[0.7599,13.9117,1],[3.1672,13.5653,1]]).to(device)
labels = []
for i in range(features.shape[0]):
label=(features[i][0])**2+(features[i][1])**2
labels.append(label)
labels = torch.tensor(labels).to(device)
# 定义网络结构（初始版本）
num_input ,num_hidden,num_output = 3,64,1
net = nn.Sequential(
nn.Linear(num_input,num_hidden),
nn.Linear(num_hidden,num_output)
).to(device)
# 权重初始化
def init_weights(m):
if type(m) == nn.Linear:
nn.init.xavier_normal_(m.weight)
net.apply(init_weights)
loss = nn.MSELoss()
num_epochs = 10
batch_size = 6
lr=0.001
trainer = torch.optim.RAdam(net.parameters(),lr=lr)
dataset = TensorDataset(features,labels)
data_loader = DataLoader(dataset,batch_size=batch_size,shuffle=True)
print("初始训练过程中的损失：")
for i in range (num_epochs):
for X,y in data_loader:
y_hat = net(X)
l = loss(y_hat,y.reshape(y_hat.shape))
trainer.zero_grad()
l.backward()
trainer.step()
with torch.no_grad():
print(f"Epoch {i+1}, Loss: {l.item():.4f}")运行上述代码会发现，模型的损失值很高，且几乎无法收敛，这意味着网络未能有效地学习到 x^2 + y^2 这一关系。
导致上述模型收敛困难的原因主要有以下几点：
为了使神经网络能够学习非线性关系，我们必须在网络层之间引入非线性激活函数。对于多层感知机（MLP），常用的激活函数包括ReLU（Rectified Linear Unit）、Sigmoid、Tanh等。在这里，我们选择 ReLU，它计算简单且能有效缓解梯度消失问题。
将 nn.ReLU() 添加到第一个线性层之后，网络结构将变为： nn.Sequential(nn.Linear(num_input, num_hidden), nn.ReLU(), nn.Linear(num_hidden, num_output))。
数据标准化是深度学习中的一项关键预处理步骤，它能将不同尺度的特征转换到相似的范围内。常用的方法是Z-score标准化（也称作均值-标准差标准化），即将数据调整为均值为0、标准差为1的分布。这有助于：
对于我们的 features 数据，x 和 y 坐标位于前两列，第三列是常数 1。我们只需要对 x 和 y 进行标准化。
# 数据标准化 mean = features[:,:2].mean(dim=0) std = features[:,:2].std(dim=0) features[:,:2] = (features[:,:2] - mean) / (std + 1e-5) # 添加一个小的epsilon防止除以零
适当的超参数配置对模型训练的成功至关重要。
num_epochs = 100 # 增加训练周期
batch_size = 2 # 调整批处理大小
将上述所有优化策略整合到原始代码中，得到一个更健壮、更易收敛的PyTorch训练脚本。
import torch
import torch.nn as nn
import numpy as np
from torch.utils.data import TensorDataset, DataLoader
import torch.optim
# 检查CUDA可用性
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# 原始数据
features_raw = torch.tensor([[8.3572,-11.3008,1],[6.2795,-12.5886,1],[4.0056,-13.4958,1]
,[1.6219,-13.9933,1],[-0.8157,-14.0706,1],[-3.2280,-13.7250,1]
,[-5.5392,-12.9598,1],[-7.6952,-11.8073,1],[-9.6076,-10.3035,1],
[-11.2532,-8.4668,1],[-12.5568,-6.3425,1],[-13.4558,-4.0691,1],
[-13.9484,-1.7293,1],[-14.0218,0.7224,1],[-13.6791,3.1211,1],
[-12.9064,5.4561,1],[-11.7489,7.6081,1],[-10.2251,9.5447,1],
[5.4804,12.8044,1],[7.6332,11.6543,1],[9.5543,10.1454,1],
[11.1890,8.3117,1],[12.4705,6.2460,1],[13.3815,3.9556,1],
[13.8733,1.5884,1],[13.9509,-0.8663,1],[13.6014,-3.2793,1],
[12.8572,-5.5526,1],[11.7042,-7.7191,1],[10.1761,-9.6745,1],
[-8.4301,11.1605,1],[-6.3228,12.4433,1],[-4.0701,13.3401,1],
[-1.6816,13.8352,1],[0.7599,13.9117,1],[3.1672,13.5653,1]]).to(device)
# 创建可变副本进行标准化
features = features_raw.clone().detach()
# 数据标准化：对x, y坐标进行均值-标准差标准化
mean = features[:,:2].mean(dim=0)
std = features[:,:2].std(dim=0)
features[:,:2] = (features[:,:2] - mean) / (std + 1e-5) # 添加一个小的epsilon防止除以零
# 计算标签 (labels不需要标准化，因为它们是目标输出)
labels = []
for i in range(features_raw.shape[0]): # 注意：标签基于原始数据计算
label=(features_raw[i][0])**2+(features_raw[i][1])**2
labels.append(label)
labels = torch.tensor(labels).to(device)
# 定义网络结构（优化版本：添加ReLU激活函数）
num_input ,num_hidden,num_output = 3,64,1
net = nn.Sequential(
nn.Linear(num_input,num_hidden),
nn.ReLU(), # 引入非线性激活函数
nn.Linear(num_hidden,num_output)
).to(device)
# 权重初始化
def init_weights(m):
if type(m) == nn.Linear:
nn.init.xavier_normal_(m.weight)
# 偏置项通常初始化为0或小常数，nn.Linear默认已处理
net.apply(init_weights)
loss = nn.MSELoss()
# 超参数调优
num_epochs = 100 # 增加训练周期
batch_size = 2 # 调整批处理大小
lr=0.001
trainer = torch.optim.RAdam(net.parameters(),lr=lr)
dataset = TensorDataset(features,labels)
data_loader = DataLoader(dataset,batch_size=batch_size,shuffle=True)
print("\n优化后的训练过程中的损失：")
for epoch in range (num_epochs):
for X,y in data_loader:
y_hat = net(X)
l = loss(y_hat,y.reshape(y_hat.shape))
trainer.zero_grad()
l.backward()
trainer.step()
with torch.no_grad():
if (epoch + 1) % 10 == 0 or epoch == 0: # 每10个epoch打印一次，以及第1个epoch
print(f"Epoch {epoch+1}, Loss: {l.item():.4f}")
# 训练结束后，可以进行模型评估或预测
# 示例：使用训练后的模型对部分数据进行预测
net.eval() # 将模型以上就是PyTorch中神经网络拟合圆形坐标平方和的收敛性优化的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
723
收藏
