
在数据分析和处理过程中,我们经常会遇到某一列的单元格中包含多个以特定分隔符连接的值。为了更好地分析这些数据,通常需要将这些复合值拆分,使每个独立的值占据一行,同时保留原始行的其他信息。pandas提供了强大且简洁的工具来实现这一目标,特别是str.split()和explode()函数的组合。
假设我们有一个Pandas DataFrame,其中包含资产类别(ASSET_CLASS)和分配比例(SPLIT)。SPLIT列的某个单元格可能包含如“0.6 Government / 0.4 Credit”这样的复合字符串,其中“ / ”是分隔符。我们的目标是将这一行拆分为两行,每行对应一个拆分后的值,而ASSET_CLASS列的值则保持不变。
原始DataFrame示例:
import pandas as pd
df = pd.DataFrame({
'ASSET_CLASS': ['Core'],
'SPLIT': ['0.6 Government / 0.4 Credit']
})
print("原始DataFrame:")
print(df)输出:
原始DataFrame: ASSET_CLASS SPLIT 0 Core 0.6 Government / 0.4 Credit
期望的输出:
ASSET_CLASS SPLIT 0 Core 0.6 Government 1 Core 0.4 Credit
实现上述目标的关键在于两个Pandas方法:Series.str.split()和DataFrame.explode()。
str.split()方法应用于Series(即DataFrame的某一列),它根据指定的分隔符将字符串拆分成一个列表。
# 将'SPLIT'列的字符串按" / "分隔符拆分成列表
df["SPLIT"] = df["SPLIT"].str.split(" / ")
print("\n应用str.split()后的DataFrame:")
print(df)输出:
应用str.split()后的DataFrame: ASSET_CLASS SPLIT 0 Core [0.6 Government, 0.4 Credit]
此时,SPLIT列的每个单元格不再是单个字符串,而是一个包含多个字符串的列表。
explode()方法是Pandas 0.25.0版本引入的一个强大功能。它接受一个列名作为参数,如果该列的单元格包含类似列表、元组或Series的“可迭代”对象,explode()会将这些可迭代对象的每个元素扩展为单独的一行。DataFrame中的其他列的值将根据需要进行复制,以匹配新生成的行。
# 对包含列表的'SPLIT'列应用explode
df = df.explode("SPLIT")
print("\n应用explode()后的DataFrame:")
print(df)输出:
应用explode()后的DataFrame: ASSET_CLASS SPLIT 0 Core 0.6 Government 0 Core 0.4 Credit
可以看到,原始的一行数据现在被扩展成了两行,ASSET_CLASS列的值“Core”被复制到了这两行。
在explode()操作后,DataFrame的索引可能会出现重复(如上述输出中两行都为0)。为了得到一个整洁、连续的默认整数索引,我们通常会调用reset_index()方法。drop=True参数的作用是防止将旧索引作为新列添加到DataFrame中。
# 重置索引
df = df.reset_index(drop=True)
print("\n重置索引后的DataFrame (最终结果):")
print(df)输出:
重置索引后的DataFrame (最终结果): ASSET_CLASS SPLIT 0 Core 0.6 Government 1 Core 0.4 Credit
将上述步骤整合,我们可以得到一个简洁高效的解决方案:
import pandas as pd
# 原始DataFrame
df = pd.DataFrame({
'ASSET_CLASS': ['Core', 'Growth'],
'SPLIT': ['0.6 Government / 0.4 Credit', '0.5 Equity / 0.3 Bonds / 0.2 Real Estate']
})
print("--- 原始DataFrame ---")
print(df)
# 步骤1: 使用str.split()将目标列的字符串拆分为列表
# 注意分隔符的精确性,包括空格
df["SPLIT"] = df["SPLIT"].str.split(" / ")
# 步骤2: 使用explode()将包含列表的列扩展为多行
df = df.explode("SPLIT")
# 步骤3: 重置DataFrame的索引,并丢弃旧索引列
df = df.reset_index(drop=True)
print("\n--- 拆分并扩展后的DataFrame ---")
print(df)输出:
--- 原始DataFrame --- ASSET_CLASS SPLIT 0 Core 0.6 Government / 0.4 Credit 1 Growth 0.5 Equity / 0.3 Bonds / 0.2 Real Estate --- 拆分并扩展后的DataFrame --- ASSET_CLASS SPLIT 0 Core 0.6 Government 1 Core 0.4 Credit 2 Growth 0.5 Equity 3 Growth 0.3 Bonds 4 Growth 0.2 Real Estate
Pandas的str.split()与explode()组合提供了一种优雅且高效的方式来处理数据规范化问题,特别是当单个单元格包含多个逻辑上独立的子项时。掌握这一技术对于数据预处理和特征工程至关重要,能够帮助我们更灵活地组织和分析数据。通过本教程,您应该能够熟练运用这些方法来解决类似的数据拆分需求。
以上就是Pandas教程:基于分隔符将DataFrame单行拆分为多行的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号