
在深度学习模型开发过程中,开发者常会遇到在不同框架下实现相似模型时,评估指标出现显著差异的情况。一个典型的二分类问题中,我们观察到以下现象:使用pytorch实现的模型在测试集上仅获得约2.5%的精度,而结构和配置几乎相同的tensorflow模型却能达到约86%的精度。这种巨大的差异通常不是由模型性能本身引起,而是暗示了其中一个框架的评估逻辑可能存在根本性错误。
为了更好地理解问题,我们首先审视两个框架中模型的结构和训练配置。
PyTorch模型是一个简单的多层感知机(MLP),包含两个ReLU激活的隐藏层和一个Sigmoid激活的输出层,适用于二分类任务。
import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
# 假设数据加载和预处理已完成
# data = pd.read_csv('your_data.csv')
# train, test = train_test_split(data, test_size=0.056, random_state=42)
# train_X_np = train[["A","B","C", "D"]].to_numpy()
# test_X_np = test[["A","B", "C", "D"]].to_numpy()
# train_Y_np = train[["label"]].to_numpy()
# test_Y_np = test[["label"]].to_numpy()
# train_X = torch.tensor(train_X_np, dtype=torch.float32)
# test_X = torch.tensor(test_X_np, dtype=torch.float32)
# train_Y = torch.tensor(train_Y_np, dtype=torch.float32)
# test_Y = torch.tensor(test_Y_np, dtype=torch.float32)
# train_dataset = TensorDataset(train_X, train_Y)
# batch_size = 64
# train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
class SimpleClassifier(nn.Module):
def __init__(self, input_size, hidden_size1, hidden_size2, output_size):
super(SimpleClassifier, self).__init__()
self.fc1 = nn.Linear(input_size, hidden_size1)
self.relu1 = nn.ReLU()
self.fc2 = nn.Linear(hidden_size1, hidden_size2)
self.relu2 = nn.ReLU()
self.fc3 = nn.Linear(hidden_size2, output_size)
self.sigmoid = nn.Sigmoid()
def forward(self, x):
x = self.relu1(self.fc1(x))
x = self.relu2(self.fc2(x))
x = self.sigmoid(self.fc3(x))
return x
# input_size = train_X.shape[1]
# hidden_size1 = 64
# hidden_size2 = 32
# output_size = 1
# model = SimpleClassifier(input_size, hidden_size1, hidden_size2, output_size)
# criterion = nn.BCELoss()
# optimizer = optim.Adam(model.parameters(), lr=0.001)
# # 原始PyTorch训练循环中的评估部分(存在错误)
# num_epochs = 50
# for epoch in range(num_epochs):
# # ... (训练代码略)
# with torch.no_grad():
# model.eval()
# predictions = model(test_X).squeeze()
# predictions_binary = (predictions.round()).float()
# accuracy = torch.sum(predictions_binary == test_Y) / (len(test_Y) * 100) # 错误在此行
# if(epoch%25 == 0):
# print("Epoch " + str(epoch) + " passed. Test accuracy is {:.2f}%".format(accuracy))PyTorch模型使用nn.BCELoss作为损失函数,optim.Adam作为优化器。问题主要出现在评估阶段的精度计算逻辑。
TensorFlow模型同样使用Keras的Sequential API构建了一个相似的MLP结构。
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
# import numpy as np # 假设 train_X, train_Y, test_X, test_Y 已经准备好为 numpy 数组
# # 假设数据加载和预处理已完成
# # model_tf = Sequential()
# # model_tf.add(Dense(64, input_dim=len(train_X[0]), activation='relu'))
# # model_tf.add(Dense(32, activation='relu'))
# # model_tf.add(Dense(1, activation='sigmoid'))
# # Compile the model
# # model_tf.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
# # model_tf.fit(train_X, train_Y, epochs=50, batch_size=64, verbose=0)
# # Evaluate the model
# # loss_tf, accuracy_tf = model_tf.evaluate(test_X, test_Y, verbose=0)
# # print(f"Loss: {loss_tf}, Accuracy: {accuracy_tf}")TensorFlow模型在编译时直接指定了metrics=['accuracy'],这使得其在训练和评估时能够自动计算并报告正确的精度。
通过对比可以看出,两个框架的模型结构、损失函数和优化器选择都非常相似,主要的差异在于PyTorch的精度计算是手动实现,而TensorFlow则使用了内置的可靠指标。
问题的核心在于PyTorch评估代码中的精度计算方式。
原始PyTorch代码中的精度计算如下:
accuracy = torch.sum(predictions_binary == test_Y) / (len(test_Y) * 100)
让我们逐步分析这行代码:
正确的精度计算逻辑应该是:(正确分类样本数 / 总样本数) * 100%。 例如,如果有86个正确预测和100个总样本,实际精度应为 (86 / 100) * 100% = 86%。 然而,原始代码的计算是 (86 / (100 * 100)),即 86 / 10000 = 0.0086。如果再将其格式化为百分比,就会显示为 0.86%,或者在某些情况下,如果期望输出的是0-100的数值,则会是 0.86,与86%相去甚远。原始代码中 format("{:.2f}%".format(accuracy)) 会将 0.0086 格式化为 0.86%,而不是 86.00%。 因此,PyTorch代码中2.5%的低精度实际上是由于计算公式中分母多乘了一个100,导致最终结果被额外缩小了100倍。
为了获得正确的百分比精度,我们需要修正计算公式:
# 假设 predictions_binary 是模型输出经过 Sigmoid 后,再四舍五入得到的二值预测 (0或1) # 假设 test_Y 是真实的二值标签 (0或1) # 计算正确预测的数量 correct_predictions = (predictions_binary == test_Y).sum().item() # 获取总样本数 total_samples = test_Y.size(0) # 或者 len(test_Y) # 计算精度(0-100
以上就是PyTorch二分类模型精度计算陷阱解析与跨框架对比实践的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号