Pandas数据分析：高效计算列分位数区间均值

本文介绍了如何利用pandas的`rank(pct=true)`方法，高效地计算dataframe中每列数据在指定分位数（如20%到80%）范围内的均值。通过将数据转换为百分比排名，我们可以精确筛选出位于特定分位数区间内的数值，从而避免了直接使用`np.quantile`进行跨列比较时可能遇到的类型错误，为数据清洗和统计分析提供了简洁而强大的解决方案。

在数据分析中，我们经常需要对数据集进行清洗和统计，其中一个常见的需求是计算各列的统计量，但仅考虑那些处于特定分位数范围内的数值。例如，我们可能希望计算每列数据的均值，但排除掉最低的20%和最高的20%的异常值或极端值，只考虑中间80%的数据。这种方法有助于获得更稳健的统计结果。

挑战与常见误区

当尝试对DataFrame的每一列独立应用分位数筛选时，直接使用numpy.quantile计算出分位数边界，然后尝试用一个二维数组（或Series）去直接比较整个DataFrame，可能会遇到类型不匹配或广播错误。例如，如果尝试将一个DataFrame df 与一个包含各列分位数的NumPy数组 q20 和 q80 进行比较，如 (df > q20) & (df < q80)，可能会导致 TypeError，提示无法比较不同类型（如Categorical与ndarray）或无法正确广播。这是因为Pandas在进行这种跨维度比较时，需要确保操作的语义是清晰且支持的。

使用 rank(pct=True) 进行高效分位数筛选

Pandas提供了一个非常优雅且强大的方法来解决这个问题：DataFrame.rank(pct=True)。这个方法能够将DataFrame中的每个数值转换为其在该列中的百分比排名。

rank(pct=True) 的工作原理

• df.rank()：计算DataFrame中每个元素在其所属列中的排名。默认情况下，它会根据数值大小赋予整数排名。
• pct=True：当设置为True时，rank()函数会将计算出的整数排名转换为百分比排名（即：(排名 - 1) / (非NaN值的数量 - 1)）。这意味着，如果一个值位于该列的20%分位数，其百分比排名将接近0.2；如果位于80%分位数，其百分比排名将接近0.8。

通过这种方式，我们可以为DataFrame中的每个数值生成一个对应的百分比排名矩阵，然后就可以直接对这个排名矩阵进行数值比较，从而筛选出符合分位数条件的原始数据。

实施步骤与示例代码

下面将通过一个具体的例子，演示如何使用df.rank(pct=True)来计算每列在20%到80%分位数范围内的均值。

算家云

高效、便捷的人工智能算力服务平台

37

查看详情

首先，我们创建一个示例DataFrame：

import pandas as pd
import numpy as np

# 创建示例DataFrame
df = pd.DataFrame({
    "A": [1, 1, 20, 2, 2, 3, 50, 7, 8, 15, 20, 35, 50, 70],
    "B": [10, 100, 20, 20, 200, 30, 50, 70, 80, 150, 200, 350, 500, 700]
})
print("原始DataFrame:")
print(df)

接下来，我们利用rank(pct=True)生成百分比排名，并构建布尔掩码进行筛选：

# 计算每个值的百分比排名
df_ranked_pct = df.rank(pct=True)
print("\nDataFrame的百分比排名:")
print(df_ranked_pct)

# 构建布尔掩码：筛选出百分比排名在0.2（含）到0.8（含）之间的值
# .ge(0.2) 表示大于等于0.2
# .le(0.8) 表示小于等于0.8
mask = df_ranked_pct.ge(0.2) & df_ranked_pct.le(0.8)
print("\n筛选掩码:")
print(mask)

# 应用掩码到原始DataFrame，并计算每列的均值
# 不符合条件的值将变为NaN，计算均值时会自动忽略NaN
filtered_means = df[mask].mean()

print("\n每列在20%-80%分位数范围内的均值:")
print(filtered_means)

代码解析

1. df.rank(pct=True): 这一步是核心。它为DataFrame df 中的每个元素计算其在所属列中的百分比排名。例如，如果列A有14个元素，最小的元素排名百分比接近0，最大的接近1。
2. .ge(0.2): 对df_ranked_pct中的每个元素进行判断，是否大于等于0.2。这将返回一个布尔型的DataFrame。
3. .le(0.8): 对df_ranked_pct中的每个元素进行判断，是否小于等于0.8。同样返回一个布尔型的DataFrame。
4. & (逻辑与): 将上述两个布尔型DataFrame进行按元素逻辑与操作。只有当一个元素的百分比排名同时满足大于等于0.2和小于等于0.8时，对应的布尔值为True，否则为False。这个结果就是我们需要的筛选掩码。
5. df[mask]: 将这个布尔掩码应用于原始DataFrame df。所有在mask中对应为False的位置上的原始数据，在结果DataFrame中将变为NaN（Not a Number）。
6. .mean(): 对经过筛选（包含NaN）的DataFrame计算每列的均值。Pandas的mean()函数在计算时会自动忽略NaN值，因此我们得到的就是在指定分位数范围内数值的均值。

输出结果

运行上述代码，您将得到如下输出：

原始DataFrame:
     A    B
0    1   10
1    1  100
2   20   20
3    2   20
4    2  200
5    3   30
6   50   50
7    7   70
8    8   80
9   15  150
10  20  200
11  35  350
12  50  500
13  70   70

DataFrame的百分比排名:
          A         B
0   0.071429  0.071429
1   0.071429  0.571429
2   0.785714  0.178571
3   0.285714  0.178571
4   0.285714  0.785714
5   0.428571  0.285714
6   0.892857  0.392857
7   0.500000  0.464286
8   0.571429  0.500000
9   0.642857  0.642857
10  0.785714  0.785714
11  0.857143  0.857143
12  0.892857  0.928571
13  1.000000  0.464286

筛选掩码:
        A      B
0   False  False
1   False   True
2    True  False
3    True  False
4    True   True
5    True   True
6   False   True
7    True   True
8    True   True
9    True   True
10   True   True
11  False  False
12  False  False
13  False  False

每列在20%-80%分位数范围内的均值:
A     12.444444
B    110.000000
dtype: float64

总结

通过使用df.rank(pct=True)方法，我们可以简洁而有效地实现对DataFrame各列基于百分比分位数的筛选，并在此基础上计算所需的统计量。这种方法避免了直接分位数比较可能带来的类型错误，并且能够灵活地适应不同的分位数范围需求，是进行数据清洗和稳健统计分析的推荐实践。

以上就是Pandas数据分析：高效计算列分位数区间均值的详细内容，更多请关注php中文网其它相关文章！