Pandas DataFrame分组数据首行保留与其余值NaN化处理

import pandas as pd
import numpy as np

df = pd.DataFrame(
    {
        'a': [
            'a', 'a', 'a', 'a', 'a', 'a', 'b', 'b', 'b', 'b', 'b', 'b',
        ],
        'b': [
            -20, 20, 20, 20,-70, -70,-11, -100, -1, -1, -100, 100
        ],
        'c': [
            'f', 'f', 'f', 'f', 'f', 'x', 'x', 'k', 'k', 'k', 'k', 'k'
        ],
        'x': [
            'p', 'p', 'p', 'p', 'p', 'x', 'x', 'i', 'i', 'i', 'i', 'i'
        ],
    }
)
print("原始DataFrame:")
print(df)

    a    b  c  x
0   a  -20  f  p
1   a   20  f  p
2   a   20  f  p
3   a   20  f  p
4   a  -70  f  p
5   a  -70  x  x
6   b  -11  x  x
7   b -100  k  i
8   b   -1  k  i
9   b   -1  k  i
10  b -100  k  i
11  b  100  k  i

    a     b    c  x
0   a -20.0    f  p
1   a   NaN  NaN  p
2   a   NaN  NaN  p
3   a   NaN  NaN  p
4   a   NaN  NaN  p
5   a   NaN  NaN  x
6   b -11.0    x  x
7   b   NaN  NaN  i
8   b   NaN  NaN  i
9   b   NaN  NaN  i
10  b   NaN  NaN  i
11  b   NaN  NaN  i

# 低效的尝试（不推荐用于大量列）
def func(g):
    # 假设我们知道要处理的列是'b'和'c'
    g.iloc[1:, g.columns.get_loc('b')] = np.nan
    g.iloc[1:, g.columns.get_loc('c')] = np.nan
    return g

# df_modified = df.groupby('a', as_index=False).apply(func)
# print(df_modified)

import pandas as pd
import numpy as np

# 重新创建原始DataFrame以确保操作的独立性
df = pd.DataFrame(
    {
        'a': [
            'a', 'a', 'a', 'a', 'a', 'a', 'b', 'b', 'b', 'b', 'b', 'b',
        ],
        'b': [
            -20, 20, 20, 20,-70, -70,-11, -100, -1, -1, -100, 100
        ],
        'c': [
            'f', 'f', 'f', 'f', 'f', 'x', 'x', 'k', 'k', 'k', 'k', 'k'
        ],
        'x': [
            'p', 'p', 'p', 'p', 'p', 'x', 'x', 'i', 'i', 'i', 'i', 'i'
        ],
    }
)

# 步骤1: 识别每个分组中的重复行（即非首行）
# df['a'].duplicated() 会为每个'a'组的第一个出现返回False，后续重复出现返回True
# ~df['a'].duplicated() 则会为每个'a'组的第一个出现返回True，后续重复出现返回False
mask = ~df['a'].duplicated()
# print("重复行掩码 (~df['a'].duplicated()):")
# print(mask)

# 步骤2: 使用df.where()进行条件性替换
# df.where(condition) 会保留condition为True的元素，将condition为False的元素替换为NaN
# 此时，所有非首行的值（包括'a'、'b'、'c'、'x'）都会被替换为NaN
df_temp = df.where(mask)
# print("\n经过df.where(mask)处理后的DataFrame:")
# print(df_temp)

# 步骤3: 使用df.fillna()恢复需要保留原始值的列
# 我们希望保留'a'和'x'列的原始值。
# df.fillna(other_df) 会根据other_df来填充df中的NaN值。
# 只有在df中为NaN且other_df中对应位置有非NaN值时，才会进行填充。
# 并且，填充操作只针对other_df中存在的列进行。
columns_to_preserve = ['a', 'x']
df_final = df_temp.fillna(df[columns_to_preserve])

print("\n最终处理结果:")
print(df_final)

最终处理结果:
    a     b    c  x
0   a -20.0    f  p
1   a   NaN  NaN  p
3   a   NaN  NaN  p
2   a   NaN  NaN  p
4   a   NaN  NaN  p
5   a   NaN  NaN  x
6   b -11.0    x  x
7   b   NaN  NaN  i
8   b   NaN  NaN  i
9   b   NaN  NaN  i
10  b   NaN  NaN  i
11  b   NaN  NaN  i