在数据处理和分析中，我们经常会遇到需要根据特定条件重新分配或拆分数据集中的数值的情况。一个常见的场景是，我们有两个Pandas DataFrame：一个包含重复的键（例如产品ID、用户ID等），另一个包含这些键的唯一实例及其关联的数值数据。我们的目标是创建一个新的DataFrame，其中第二个DataFrame中的数值被“拆分”并分配给第一个DataFrame中每个匹配的键，拆分的依据是该键在第一个DataFrame中出现的次数。
例如，假设我们有以下两个DataFrame：
DataFrame 1 (df1): 包含重复的ID
| id |
|---|
| A |
| B |
| A |
| C |
| A |
| A |
| C |
DataFrame 2 (df2): 包含唯一ID及其关联的数值
| id | Col1 | Col2 | Col3 |
|---|---|---|---|
| A | 400 | 100 | 20 |
| B | 200 | 800 | |
| C | 600 | 800 |
我们的目标是生成一个输出DataFrame，其中df2中Col1, Col2, Col3的值被其对应id在df1中出现的次数所除，然后合并到df1的结构中。
期望输出示例:
| id | Col1 | Col2 | Col3 |
|---|---|---|---|
| A | 100 | 25 | 5 |
| B | 200 | 800 | |
| A | 100 | 25 | 5 |
| C | 300 | 400 | |
| A | 100 | 25 | 5 |
| A | 100 | 25 | 5 |
| C | 300 | 400 |
解决此问题的核心思路是：
我们将使用Pandas库中的value_counts()、div()和merge()等函数来实现这一目标。
首先，我们创建上述示例中的df1和df2：
import pandas as pd
import numpy as np
# DataFrame 1
data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}
df1 = pd.DataFrame(data1)
# DataFrame 2
data2 = {'id': ['A', 'B', 'C'],
'Col1': [400, 200, 600],
'Col2': [100, np.nan, 800],
'Col3': [20, 800, np.nan]}
df2 = pd.DataFrame(data2)
print("DataFrame 1 (df1):")
print(df1)
print("\nDataFrame 2 (df2):")
print(df2)我们需要知道df1中每个id出现的次数。这可以通过value_counts()方法轻松实现：
id_counts = df1['id'].value_counts()
print("\nID Counts from df1:")
print(id_counts)
# 输出示例:
# A 4
# C 2
# B 1
# Name: id, dtype: int64id_counts现在是一个Series，其索引是id值，值是它们在df1中出现的次数。
接下来，我们将df2中的Col1, Col2, Col3列的值除以对应的id在df1中出现的频率。为了正确对齐，我们需要将df2的id列设置为索引，然后进行除法操作。
# 将df2的id列设为索引，以便与id_counts对齐
df2_indexed = df2.set_index('id')
# 使用div()方法进行除法操作，axis=0表示按行（即按索引）进行除法
# Pandas会自动根据索引匹配id_counts中的值进行除法
df2_standardized = df2_indexed.div(id_counts, axis=0)
print("\nStandardized DataFrame 2 (df2_standardized):")
print(df2_standardized)
# 输出示例:
# Col1 Col2 Col3
# id
# A 100.0 25.0 5.0
# B 200.0 NaN 800.0
# C 300.0 400.0 NaN注意，Col2和Col3中的NaN值在除法后仍然保持为NaN，这是符合预期的行为。
现在，我们有了标准化后的df2_standardized，可以将其与原始的df1进行合并。为了保持df1的原始顺序和索引，我们可以在合并前先将df1的当前索引保存为一个临时列，合并后再恢复。
# 保存df1的原始索引，以便后续恢复
df1_temp = df1.reset_index()
# 使用merge进行左连接，on='id'表示根据id列进行匹配
# df2_standardized的索引是id，会自动与df1_temp的id列匹配
output_df = df1_temp.merge(df2_standardized, on='id', how='left')
# 恢复df1的原始索引和顺序
output_df = output_df.set_index('index').reindex(df1.index)
print("\nFinal Output DataFrame:")
print(output_df)完整代码示例:
将上述步骤整合到一起，得到最终的解决方案代码：
import pandas as pd
import numpy as np
# 1. 准备示例数据
data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}
df1 = pd.DataFrame(data1)
data2 = {'id': ['A', 'B', 'C'],
'Col1': [400, 200, 600],
'Col2': [100, np.nan, 800],
'Col3': [20, 800, np.nan]}
df2 = pd.DataFrame(data2)
# 2. 计算df1中id的出现频率
id_counts = df1['id'].value_counts()
# 3. 标准化df2中的数值：将df2的id列设为索引，然后除以频率
# axis=0确保按行（即按id）进行除法
df2_standardized = df2.set_index('id').div(id_counts, axis=0)
# 4. 合并DataFrames并恢复原始索引
# a. reset_index()保存df1的原始索引
# b. merge()进行左连接，将标准化后的数据合并到df1的结构中
# c. set_index()和reindex()恢复df1的原始索引和顺序
out = (df1.reset_index()
.merge(df2_standardized, on='id', how='left')
.set_index('index').reindex(df1.index)
)
print(out)输出结果:
id Col1 Col2 Col3 0 A 100.0 25.0 5.0 1 B 200.0 NaN 800.0 2 A 100.0 25.0 5.0 3 C 300.0 400.0 NaN 4 A 100.0 25.0 5.0 5 A 100.0 25.0 5.0 6 C 300.0 400.0 NaN
通过以上步骤，我们成功地解决了根据键匹配和频率拆分DataFrame数值的问题，提供了一个清晰、高效且易于理解的Pandas解决方案。
以上就是高效处理Pandas DataFrame中基于键匹配与频率的数据拆分的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
244
收藏
