深入理解 SciPy 中的截尾均值 trim_mean 函数-Python教程-PHP中文网

深入理解 SciPy 中的截尾均值 trim_mean 函数

碧海醫心

发布： 2025-11-17 11:43:27

原创

780人浏览过

深入理解 scipy 中的截尾均值 trim_mean 函数

`scipy.stats.trim_mean` 函数用于计算截尾均值，其关键在于 `proportiontocut` 参数指定的是从排序后的样本两端截去的*观测值比例*，而非基于统计百分位数。当截取比例导致非整数个观测值时，函数会向下取整，即截去更少的观测值。理解这一机制对于正确应用该函数至关重要，尤其是在处理小样本数据时。

截尾均值概述

截尾均值（Trimmed Mean），也称为截断均值或修剪均值，是一种统计量，通过从数据集的两端移除一定比例的极端值（异常值）后，再计算剩余数据的算术平均值。这种方法能够有效地降低异常值对均值的影响，提供一个比传统算术均值更具鲁棒性的中心趋势度量。

scipy.stats.trim_mean 的工作原理

scipy.stats.trim_mean 函数的核心在于其 proportiontocut 参数的解释。许多用户可能会误以为此参数是根据数据的统计百分位数（例如，去除低于5%和高于95%的数据点）来截取数据。然而，scipy.stats.trim_mean 的实际行为是：它从排序后的样本两端截去指定比例的观测值数量。

具体来说，如果样本大小为 N，proportiontocut 为 p，则函数会从数据的最小值端和最大值端各截去 floor(p * N) 个观测值。这里的 floor 函数表示向下取整。这意味着，如果 p * N 的结果是一个非整数，函数将截去比预期数量更少的（或零个）观测值。

让我们通过一个具体的例子来理解这一点：

from scipy.stats import trim_mean
import numpy as np

data = [1, 2, 2, 3, 4, 30, 4, 4, 5]
# 排序后的数据为：[1, 2, 2, 3, 4, 4, 4, 5, 30]
print(f"原始数据: {data}")
print(f"数据长度: {len(data)}")

trim_percentage = 0.05  # 截取5%

# 计算应截取的观测值数量
# 0.05 * 9 = 0.45
# floor(0.45) = 0
# 因此，从两端各截取0个观测值
result = trim_mean(data, trim_percentage)
print(f"使用 trim_mean(data, {trim_percentage}) 的结果: {result}")
print(f"普通均值: {np.mean(data)}")

登录后复制

输出结果：

钉钉 AI 助理

钉钉AI助理汇集了钉钉AI产品能力，帮助企业迈入智能新时代。

查看详情

原始数据: [1, 2, 2, 3, 4, 30, 4, 4, 5]
数据长度: 9
使用 trim_mean(data, 0.05) 的结果: 6.111111111111111
普通均值: 6.111111111111111

登录后复制

在这个例子中，由于 0.05 * 9 = 0.45，向下取整后为 0，这意味着 trim_mean 从两端各截去了 0 个观测值。因此，其结果与未截取的普通均值完全相同。

行为验证：截取比例与样本量的关系

为了进一步验证这一行为，我们可以观察当 proportiontocut 刚好跨越 1/len(data) 阈值时的变化。

from scipy import stats
import numpy as np

x = [1, 2, 2, 3, 4, 30, 4, 4, 5]
n = len(x) # n = 9
p_threshold = 1 / n # 1/9 约等于 0.1111

# 当 proportiontocut 略小于 1/9 时
# 0.1111 - epsilon => 0.1111 * 9 - epsilon => 1 - epsilon
# floor(1 - epsilon) = 0
result_less = stats.trim_mean(x, p_threshold - 1e-15)
print(f"trim_mean(x, {p_threshold}-eps): {result_less}") # 仍为普通均值

# 当 proportiontocut 略大于或等于 1/9 时
# 0.1111 + epsilon => 0.1111 * 9 + epsilon => 1 + epsilon
# floor(1 + epsilon) = 1
# 此时，从排序后的数据 [1, 2, 2, 3, 4, 4, 4, 5, 30] 中，
# 两端各截去1个观测值，即移除 1 和 30。
# 剩余数据为 [2, 2, 3, 4, 4, 4, 5]
# 其均值为 (2+2+3+4+4+4+5) / 7 = 24 / 7 ≈ 3.42857
result_more = stats.trim_mean(x, p_threshold + 1e-15)
print(f"trim_mean(x, {p_threshold}+eps): {result_more}")

登录后复制

输出结果：

trim_mean(x, 0.1111111111111111-eps): 6.111111111111111
trim_mean(x, 0.1111111111111111+eps): 3.4285714285714284

登录后复制

这个示例清晰地展示了 trim_mean 依据截取比例 p 和样本量 N 计算 floor(p*N) 来确定截去观测值数量的机制。

与基于百分位数的截取均值对比

用户有时期望的“截尾”是基于数据的统计百分位数，例如去除低于第5百分位数和高于第95百分位数的所有数据。这种方法与 scipy.stats.trim_mean 的行为是不同的。

以下是手动实现基于百分位数截取均值的示例：

import numpy as np

data = [1, 2, 2, 3, 4, 30, 4, 4, 5]

# 计算5th和95th百分位数
p5, p95 = np.percentile(data, [5, 95])
print(f"\n5th 百分位数 = {p5}")
print(f"95th 百分位数 = {p95}")

# 根据百分位数筛选数据
trimmed_data_percentile = [x for x in data if p5 < x < p95]
print(f"基于百分位数截取后的数据: {trimmed_data_percentile}")

# 计算筛选后数据的均值
trimmed_average_percentile = np.mean(trimmed_data_percentile)
print(f"基于百分位数截取的均值 = {trimmed_average_percentile}")

登录后复制

输出结果：

5th 百分位数 = 1.4
95th 百分位数 = 19.999999999999993
基于百分位数截取后的数据: [2, 2, 3, 4, 4, 4, 5]
基于百分位数截取的均值 = 3.4285714285714284

登录后复制

可以看到，基于百分位数截取的均值 3.42857 与 scipy.stats.trim_mean 在 proportiontocut 足够大（例如 1/len(data) + eps）时得到的结果相同。这是因为在这个特定的数据集中，移除一个最小观测值和一个最大观测值恰好与移除超出5%和95%百分位数的数据点（1.4和19.999...之间）大致吻合。然而，这并非普遍规律，两种截取方式在概念上和具体实现上是不同的。

SciPy 库目前没有直接提供基于百分位数范围进行数据截取的函数。如果需要这种行为，用户通常需要结合 numpy.percentile 和列表推导或 filter 函数自行实现。

注意事项与最佳实践

理解 proportiontocut 的精确含义：始终记住它指定的是从排序后的样本两端截去的观测值数量比例，而非基于分布的百分位数。
小样本量影响：对于小样本数据集，proportiontocut 即使设置得较小，也可能因为 floor(p * N) 的结果为零，导致实际上没有任何数据被截取。在这种情况下，trim_mean 的结果将与普通均值相同。
自定义需求：如果您的截尾需求是基于数据的统计百分位数（例如，去除分布尾部的特定百分位点），则需要自定义实现，结合 numpy.percentile 进行数据筛选。
文档查阅：在使用任何统计函数时，查阅官方文档是最佳实践，以确保对参数和行为有准确的理解。

总结

scipy.stats.trim_mean 是一个用于计算截尾均值的有用工具，但在使用时必须明确其 proportiontocut 参数的工作机制。它通过从排序后的数据两端移除固定数量（由比例和样本量决定）的观测值来实现截尾，而非基于统计百分位数。对于需要根据百分位数进行截尾的场景，用户应考虑自行实现或寻找其他库中提供的功能。正确理解并应用这一机制，将有助于更准确地处理异常值并获得更稳健的统计结果。

以上就是深入理解 SciPy 中的截尾均值 trim_mean 函数的详细内容，更多请关注php中文网其它相关文章！