Python中循环进行统计比较：Wilcoxon符号秩检验的自动化实现-Python教程-PHP中文网

Python中循环进行统计比较：Wilcoxon符号秩检验的自动化实现

DDD

发布： 2025-09-09 17:00:02

原创

698人浏览过

Python中循环进行统计比较：Wilcoxon符号秩检验的自动化实现

本教程介绍如何在Python中高效地对多组数值向量进行成对统计比较，特别以Wilcoxon符号秩检验为例。通过将相关向量组织成列表或字典，并利用循环结构自动化执行统计测试，可以避免大量重复代码，提升数据分析的效率和可维护性。

在数据分析中，我们经常需要对多组相似的数据进行重复的统计检验。例如，在比较不同处理组或不同区域的测量值时，可能会有数十甚至上百对数据需要进行配对比较。如果每次都手动编写代码来执行检验，不仅效率低下，而且极易出错。本教程将展示如何利用python的循环结构和合理的数据组织方式，自动化这一过程，以wilcoxon符号秩检验为例进行说明。

数据组织与准备

假设我们有两组相关的数值向量，每组包含多个子向量，它们之间存在一一对应的关系。例如，hc_mcp 与 tw_mcp 构成一对，hc_pct 与 tw_pct 构成另一对，依此类推。

原始数据可能以独立变量的形式定义：

hc_mcp = [0.45, 0.43, 0.46, 0.46, 0.45, 0.39, 0.48, 0.47, 0.50, 0.45, 0.47, 0.47, 0.46]
hc_pct = [0.44, 0.48, 0.45, 0.46, 0.47, 0.37, 0.56, 0.46, 0.49, 0.53, 0.46, 0.47, 0.48]
hc_gcc = [0.51, 0.56, 0.57, 0.54, 0.55, 0.58, 0.51, 0.54, 0.55, 0.54, 0.55, 0.53, 0.54]
hc_bcc = [0.56, 0.62, 0.64, 0.63, 0.60, 0.65, 0.60, 0.64, 0.64, 0.61, 0.63, 0.58, 0.63]
hc_scc = [0.68, 0.73, 0.74, 0.71, 0.72, 0.73, 0.70, 0.72, 0.72, 0.72, 0.71, 0.67, 0.73]

tw_mcp = [0.47, 0.46, 0.44, 0.48, 0.45, 0.45, 0.46, 0.44, 0.47, 0.46, 0.50, 0.49, 0.48]
tw_pct = [0.46, 0.48, 0.45, 0.48, 0.47, 0.45, 0.46, 0.43, 0.43, 0.49, 0.49, 0.47, 0.44]
tw_gcc = [0.56, 0.56, 0.55, 0.57, 0.52, 0.56, 0.53, 0.55, 0.55, 0.55, 0.56, 0.55, 0.56]
tw_bcc = [0.62, 0.63, 0.60, 0.63, 0.61, 0.63, 0.62, 0.63, 0.63, 0.62, 0.63, 0.61, 0.65]
tw_scc = [0.71, 0.70, 0.70, 0.71, 0.68, 0.74, 0.72, 0.73, 0.70, 0.68, 0.69, 0.70, 0.71]

登录后复制

当向量数量较少时，这种方式尚可接受。但面对大量（例如，每组48个，总共144个）向量时，手动编写 wilcoxon(hc_mcp, tw_mcp) 等代码将变得非常繁琐。

解决此问题的关键在于将相关联的向量组织到更高级的数据结构中，例如列表。我们可以将所有 hc_ 开头的向量放入一个列表，所有 tw_ 开头的向量放入另一个列表。最重要的是，要确保这两个列表中对应位置的元素（即相同索引的元素）构成一个待比较的配对。

立即学习“Python免费学习笔记（深入）”；

影像之匠PixPretty

商业级AI人像后期软件，专注于人像精修，色彩调节及批量图片编辑，支持Windows、Mac多平台使用。适用于写真、婚纱、旅拍、外景等批量修图场景。

299

查看详情

# 将向量组织成列表
list_hc = [hc_mcp, hc_pct, hc_gcc, hc_bcc, hc_scc]
list_tw = [tw_mcp, tw_pct, tw_gcc, tw_bcc, tw_scc]

登录后复制

循环执行统计检验

一旦数据被结构化为列表，我们就可以使用 for 循环来自动化执行Wilcoxon符号秩检验。Wilcoxon符号秩检验是一种非参数检验，用于比较两个相关的（配对的）样本，适用于数据不服从正态分布的情况。在Python中，scipy.stats 模块提供了 wilcoxon 函数来实现此检验。

from scipy.stats import wilcoxon

# 用于存储P值和统计量的列表
p_values = []
statistic_values = []

# 遍历列表进行成对比较
# 通过索引确保每次循环都取到正确的配对
for i in range(len(list_hc)):
    # 获取当前配对的向量
    data_hc = list_hc[i]
    data_tw = list_tw[i]

    # 执行Wilcoxon符号秩检验
    # wilcoxon函数返回一个包含统计量和P值的对象
    result = wilcoxon(data_hc, data_tw)

    # 存储P值和统计量
    p_values.append(result.pvalue)
    statistic_values.append(result.statistic)

print("计算得到的P值列表:", p_values)
print("计算得到的统计量列表:", statistic_values)

登录后复制

通过这种方式，无论有多少对向量需要比较，我们只需编写一次循环逻辑，即可批量处理，大大提高了代码的效率和可维护性。

完整示例代码

以下是结合数据定义和循环处理的完整示例：

from scipy.stats import wilcoxon

# 原始数据
hc_mcp = [0.45, 0.43, 0.46, 0.46, 0.45, 0.39, 0.48, 0.47, 0.50, 0.45, 0.47, 0.47, 0.46]
hc_pct = [0.44, 0.48, 0.45, 0.46, 0.47, 0.37, 0.56, 0.46, 0.49, 0.53, 0.46, 0.47, 0.48]
hc_gcc = [0.51, 0.56, 0.57, 0.54, 0.55, 0.58, 0.51, 0.54, 0.55, 0.54, 0.55, 0.53, 0.54]
hc_bcc = [0.56, 0.62, 0.64, 0.63, 0.60, 0.65, 0.60, 0.64, 0.64, 0.61, 0.63, 0.58, 0.63]
hc_scc = [0.68, 0.73, 0.74, 0.71, 0.72, 0.73, 0.70, 0.72, 0.72, 0.72, 0.71, 0.67, 0.73]

tw_mcp = [0.47, 0.46, 0.44, 0.48, 0.45, 0.45, 0.46, 0.44, 0.47, 0.46, 0.50, 0.49, 0.48]
tw_pct = [0.46, 0.48, 0.45, 0.48, 0.47, 0.45, 0.46, 0.43, 0.43, 0.49, 0.49, 0.47, 0.44]
tw_gcc = [0.56, 0.56, 0.55, 0.57, 0.52, 0.56, 0.53, 0.55, 0.55, 0.55, 0.56, 0.55, 0.56]
tw_bcc = [0.62, 0.63, 0.60, 0.63, 0.61, 0.63, 0.62, 0.63, 0.63, 0.62, 0.63, 0.61, 0.65]
tw_scc = [0.71, 0.70, 0.70, 0.71, 0.68, 0.74, 0.72, 0.73, 0.70, 0.68, 0.69, 0.70, 0.71]

# 将向量组织成列表，确保顺序对应
list_hc = [hc_mcp, hc_pct, hc_gcc, hc_bcc, hc_scc]
list_tw = [tw_mcp, tw_pct, tw_gcc, tw_bcc, tw_scc]

# 用于存储P值和统计量的列表
p_values = []
statistic_values = []
pair_names = ["mcp", "pct", "gcc", "bcc", "scc"] # 可选：用于标识每对结果的名称

# 遍历列表进行成对比较
for i in range(len(list_hc)):
    data_hc = list_hc[i]
    data_tw = list_tw[i]

    # 执行Wilcoxon符号秩检验
    result = wilcoxon(data_hc, data_tw)

    # 存储P值和统计量
    p_values.append(result.pvalue)
    statistic_values.append(result.statistic)

    # 打印每对结果，方便查看
    print(f"配对 {pair_names[i]}:")
    print(f"  统计量 = {result.statistic:.4f}")
    print(f"  P值 = {result.pvalue:.4f}\n")

print("所有P值列表:", p_values)
print("所有统计量列表:", statistic_values)

登录后复制

注意事项与最佳实践

数据对齐的严谨性： 确保 list_hc 和 list_tw 中相同索引位置的向量确实是需要进行配对比较的数据。任何顺序上的不一致都将导致错误的统计结果。在实际应用中，如果数据量庞大且命名规则复杂，建议在构建列表时进行严格的检查或使用更具鲁棒性的方法（如基于名称匹配）。
更灵活的数据结构： 对于更复杂的场景，例如当向量名称本身包含有意义的信息，或者需要动态地选择配对时，可以考虑使用字典或Pandas DataFrame来存储数据。
- 字典： 可以将每个向量存储在字典中，键为向量的名称。然后通过遍历键来获取配对。
```
data_dict_hc = {'mcp': hc_mcp, 'pct': hc_pct, ...}
data_dict_tw = {'mcp': tw_mcp, 'pct': tw_pct, ...}
for key in data_dict_hc:
    res = wilcoxon(data_dict_hc[key], data_dict_tw[key])
    # ... 存储结果
```
  登录后复制
- Pandas DataFrame： 对于结构化数据，Pandas DataFrame提供了强大的数据管理和操作能力。可以将所有数据加载到一个DataFrame中，然后通过列名或分组进行操作。
结果的结构化存储： 除了简单地将P值和统计量存储在列表中，还可以考虑将结果存储为字典（键为配对名称，值为P值和统计量的元组/字典）、Pandas DataFrame（包含配对名称、P值、统计量等列）或自定义对象，以便于后续的分析、筛选和报告。这有助于提高结果的可读性和可追溯性。
通用性： 这种循环处理的模式不仅适用于Wilcoxon符号秩检验，也适用于其他需要对多组数据进行批量处理的统计测试，例如配对t检验（scipy.stats.ttest_rel）、Mann-Whitney U检验（scipy.stats.mannwhitneyu）等，只需替换 wilcoxon 函数即可。
统计假设的考量： 在应用任何统计检验之前，务必理解其背后的统计假设。Wilcoxon符号秩检验适用于配对样本，且不要求数据服从正态分布，但要求差异值对称分布。根据您的数据特性和研究问题选择合适的检验至关重要。