TensorFlow中tf.Variable的零初始化与优化器的工作原理

import tensorflow as tf
import numpy as np

# 假设 num_coeffs = 6，表示一个最高次幂为5的多项式
num_coeffs = 6

def model(X, w):
    terms = []
    for i in range(num_coeffs):
        # 计算 w[i] * X^i
        term = tf.multiply(w[i], tf.pow(X, i))
        terms.append(term)
    # 将所有项相加得到模型输出
    return tf.add_n(terms)

# X = tf.compat.v1.placeholder(tf.float32) # X是输入数据
# w = tf.Variable([0.]*num_coeffs, name="parameters") # w是模型参数，初始为零
# y_model = model(X, w)

import tensorflow as tf
import numpy as np

# 确保兼容性，如果是在TF2.x环境中运行TF1.x代码
# tf.compat.v1.disable_eager_execution() # 如果需要严格的TF1.x行为

# 假设 num_coeffs = 6，表示一个最高次幂为5的多项式
num_coeffs = 6

# 模型定义 (与原始问题一致)
def model(X, w):
    terms = []
    for i in range(num_coeffs):
        term = tf.multiply(w[i], tf.pow(X, i))
        terms.append(term)
    return tf.add_n(terms)

# --- 扩展部分：加入数据、损失函数和优化器 ---

# 1. 定义占位符：用于在运行时输入数据
X_input = tf.compat.v1.placeholder(tf.float32, name="X_input")
Y_true = tf.compat.v1.placeholder(tf.float32, name="Y_true")

# 2. 初始化模型参数 w
# w 初始为全零向量
w = tf.Variable([0.] * num_coeffs, name="parameters")

# 3. 获取模型预测输出
y_model = model(X_input, w)

# 4. 定义损失函数：这里使用均方误差 (MSE)
loss = tf.reduce_mean(tf.square(y_model - Y_true))

# 5. 定义优化器：这里使用梯度下降优化器
learning_rate = 0.01
optimizer = tf.compat.v1.train.GradientDescentOptimizer(learning_rate).minimize(loss)

# --- 生成模拟数据进行演示 ---
# 假设真实的多项式系数为 [1, 2, 3, 0, 0, 0]，即 y = 1 + 2x + 3x^2
true_coeffs = np.array([1., 2., 3., 0., 0., 0.])
X_data = np.linspace(-1, 1, 100).astype(np.float32) # 生成100个X值
# 使用 np.polyval 生成对应的Y值，并加入一些噪声
# 注意：np.polyval 期望系数从最高次幂开始，所以需要反转
Y_data = np.polyval(true_coeffs[::-1], X_data) + np.random.randn(*X_data.shape) * 0.1

# 6. 初始化所有变量
init = tf.compat.v1.global_variables_initializer()

# 7. 启动TensorFlow会话并进行训练
with tf.compat.v1.Session() as sess:
    sess.run(init) # 运行变量初始化操作

    # 打印训练前的参数 w 和损失
    print("--- 训练前 ---")
    print("初始参数 (w):", sess.run(w))
    initial_loss = sess.run(loss, feed_dict={X_input: X_data, Y_true: Y_data})
    print(f"初始损失: {initial_loss:.4f}")

    # 训练循环
    training_steps = 2000 # 设定训练步数
    print("\n--- 训练中 ---")
    for step in range(training_steps):
        # 运行优化器和损失计算
        _, current_loss = sess.run([optimizer, loss], feed_dict={X_input: X_data, Y_true: Y_data})

        if step % 200 == 0:
            print(f"步骤 {step}, 损失: {current_loss:.4f}")

    # 打印训练后的参数 w 和损失
    print("\n--- 训练后 ---")
    final_w = sess.run(w)
    print("最终参数 (w):", final_w)
    final_loss = sess.run(loss, feed_dict={X_input: X_data, Y_true: Y_data})
    print(f"最终损失: {final_loss:.4f}")

    # 比较最终参数与真实参数 (仅用于本演示)
    print("\n真实参数 (true_coeffs):", true_coeffs)