Keras模型训练与评估精度不一致问题解析与解决方案

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import keras
import random
from keras import layers
from keras.callbacks import EarlyStopping
from keras.optimizers import Adam


def random_seed(seed_num=1):
    """
    设置随机种子以确保结果可复现。
    """
    np.random.seed(seed_num)
    tf.random.set_seed(seed_num)
    random.seed(seed_num)


class CustomEarlyStopping(keras.callbacks.Callback):
    """
    自定义提前停止回调，根据验证精度停止训练。
    """
    def __init__(self, threshold):
        super().__init__()
        self.threshold = threshold

    def on_epoch_end(self, epoch, logs=None):
        # 监控 'val_accuracy' 而不是 'accuracy'
        accuracy = logs.get("val_accuracy")
        if accuracy is not None and accuracy >= self.threshold:
            print(f"\n达到验证精度阈值 {self.threshold}，停止训练。")
            self.model.stop_training = True

# 1. 数据准备
x = np.arange(-20, 30, 0.1)
y = np.zeros_like(x)
df = pd.DataFrame({'x': x, 'y': y})
# 创建一个简单的二分类问题：x < 10 为 0，否则为 1
df.y = df.x.map(lambda x_val: 0 if x_val < 10 else 1)
X_train = df.drop(columns='y')
y_train = df.y

# 2. 模型构建
random_seed() # 设置随机种子
model = keras.Sequential([
    layers.Input(shape=X_train.shape[-1]),
    layers.Normalization(), # 数据归一化层
    layers.Dense(1, activation='relu'), # 第一个全连接层
    layers.Dense(1, activation='sigmoid'), # 输出层，用于二分类
])

# 3. 模型编译
model.compile(
    optimizer=Adam(learning_rate=0.1), # 使用Adam优化器
    loss='binary_crossentropy', # 二元交叉熵损失函数
    metrics=['accuracy'], # 监控精度
)

# 4. 模型训练
history = model.fit(
    X_train, y_train,
    validation_data=(X_train, y_train), # 关键：将训练集也作为验证集
    batch_size=128,
    epochs=300, # 增加epochs以确保模型充分训练
    callbacks=[
        CustomEarlyStopping(1.0) # 使用自定义提前停止回调
    ]
)
history_df = pd.DataFrame(history.history)

# 5. 结果验证
# 获取history中记录的最后一个训练精度（注意这里仍然是训练精度）
last_accuracy_fit = history_df.accuracy.tolist()[-1]
# 获取history中记录的最后一个验证精度
last_accuracy_val = history_df.val_accuracy.tolist()[-1]
# 使用model.evaluate在训练集上进行评估
predict_accuracy = model.evaluate(X_train, y_train, verbose=0)[-1] # verbose=0 不打印进度条

print(f'Fit报告的最后一个训练精度 (accuracy): {last_accuracy_fit:.6f}')
print(f'Fit报告的最后一个验证精度 (val_accuracy): {last_accuracy_val:.6f}')
print(f'model.evaluate评估的精度: {predict_accuracy:.6f}')

# 预期输出:
# Fit报告的最后一个训练精度 (accuracy): 1.000000
# Fit报告的最后一个验证精度 (val_accuracy): 1.000000
# model.evaluate评估的精度: 1.000000