Pandas教程:基于分隔符将DataFrame单行拆分为多行

心靈之曲
发布: 2025-09-18 19:54:01
原创
337人浏览过

Pandas教程:基于分隔符将DataFrame单行拆分为多行

本教程详细介绍了如何使用Pandas库的str.split()和explode()方法,将DataFrame中某一列包含分隔符的单个单元格内容高效地拆分成多行。通过将字符串转换为列表,再利用explode功能扩展数据,可以轻松实现数据规范化,将复合信息分解为独立记录,同时保持其他列的数据完整性。

在数据分析和处理过程中,我们经常会遇到某一列的单元格中包含多个以特定分隔符连接的值。为了更好地分析这些数据,通常需要将这些复合值拆分,使每个独立的值占据一行,同时保留原始行的其他信息。pandas提供了强大且简洁的工具来实现这一目标,特别是str.split()和explode()函数的组合。

1. 理解问题与目标

假设我们有一个Pandas DataFrame,其中包含资产类别(ASSET_CLASS)和分配比例(SPLIT)。SPLIT列的某个单元格可能包含如“0.6 Government / 0.4 Credit”这样的复合字符串,其中“ / ”是分隔符。我们的目标是将这一行拆分为两行,每行对应一个拆分后的值,而ASSET_CLASS列的值则保持不变。

原始DataFrame示例:

import pandas as pd

df = pd.DataFrame({
    'ASSET_CLASS': ['Core'],
    'SPLIT': ['0.6 Government / 0.4 Credit']
})

print("原始DataFrame:")
print(df)
登录后复制

输出:

原始DataFrame:
  ASSET_CLASS                        SPLIT
0        Core  0.6 Government / 0.4 Credit
登录后复制

期望的输出:

  ASSET_CLASS           SPLIT
0        Core  0.6 Government
1        Core      0.4 Credit
登录后复制

2. 核心解决方案:str.split()与explode()

实现上述目标的关键在于两个Pandas方法:Series.str.split()和DataFrame.explode()。

2.1 Series.str.split():将字符串拆分为列表

str.split()方法应用于Series(即DataFrame的某一列),它根据指定的分隔符将字符串拆分成一个列表。

# 将'SPLIT'列的字符串按" / "分隔符拆分成列表
df["SPLIT"] = df["SPLIT"].str.split(" / ")
print("\n应用str.split()后的DataFrame:")
print(df)
登录后复制

输出:

应用str.split()后的DataFrame:
  ASSET_CLASS                           SPLIT
0        Core  [0.6 Government, 0.4 Credit]
登录后复制

此时,SPLIT列的每个单元格不再是单个字符串,而是一个包含多个字符串的列表。

2.2 DataFrame.explode():将列表扩展为多行

explode()方法是Pandas 0.25.0版本引入的一个强大功能。它接受一个列名作为参数,如果该列的单元格包含类似列表、元组或Series的“可迭代”对象,explode()会将这些可迭代对象的每个元素扩展为单独的一行。DataFrame中的其他列的值将根据需要进行复制,以匹配新生成的行。

行者AI
行者AI

行者AI绘图创作,唤醒新的灵感,创造更多可能

行者AI 100
查看详情 行者AI
# 对包含列表的'SPLIT'列应用explode
df = df.explode("SPLIT")
print("\n应用explode()后的DataFrame:")
print(df)
登录后复制

输出:

应用explode()后的DataFrame:
  ASSET_CLASS           SPLIT
0        Core  0.6 Government
0        Core      0.4 Credit
登录后复制

可以看到,原始的一行数据现在被扩展成了两行,ASSET_CLASS列的值“Core”被复制到了这两行。

2.3 reset_index():重置DataFrame索引

在explode()操作后,DataFrame的索引可能会出现重复(如上述输出中两行都为0)。为了得到一个整洁、连续的默认整数索引,我们通常会调用reset_index()方法。drop=True参数的作用是防止将旧索引作为新列添加到DataFrame中。

# 重置索引
df = df.reset_index(drop=True)
print("\n重置索引后的DataFrame (最终结果):")
print(df)
登录后复制

输出:

重置索引后的DataFrame (最终结果):
  ASSET_CLASS           SPLIT
0        Core  0.6 Government
1        Core      0.4 Credit
登录后复制

3. 完整示例代码

将上述步骤整合,我们可以得到一个简洁高效的解决方案:

import pandas as pd

# 原始DataFrame
df = pd.DataFrame({
    'ASSET_CLASS': ['Core', 'Growth'],
    'SPLIT': ['0.6 Government / 0.4 Credit', '0.5 Equity / 0.3 Bonds / 0.2 Real Estate']
})

print("--- 原始DataFrame ---")
print(df)

# 步骤1: 使用str.split()将目标列的字符串拆分为列表
# 注意分隔符的精确性,包括空格
df["SPLIT"] = df["SPLIT"].str.split(" / ")

# 步骤2: 使用explode()将包含列表的列扩展为多行
df = df.explode("SPLIT")

# 步骤3: 重置DataFrame的索引,并丢弃旧索引列
df = df.reset_index(drop=True)

print("\n--- 拆分并扩展后的DataFrame ---")
print(df)
登录后复制

输出:

--- 原始DataFrame ---
  ASSET_CLASS                                     SPLIT
0        Core               0.6 Government / 0.4 Credit
1      Growth  0.5 Equity / 0.3 Bonds / 0.2 Real Estate

--- 拆分并扩展后的DataFrame ---
  ASSET_CLASS           SPLIT
0        Core  0.6 Government
1        Core      0.4 Credit
2      Growth        0.5 Equity
3      Growth        0.3 Bonds
4      Growth  0.2 Real Estate
登录后复制

4. 注意事项

  • 分隔符的准确性:str.split()方法对分隔符是精确匹配的。如果分隔符包含空格,例如“ / ”,则必须在split()中完整指定。如果只指定“/”,则空格会作为拆分后字符串的一部分保留。
  • 性能考量:对于非常大的DataFrame,explode()操作可能会消耗较多内存和计算时间,因为它会复制其他列的数据。在处理海量数据时,应评估其性能影响。
  • 空值处理:如果SPLIT列中存在NaN或其他非字符串类型的值,str.split()可能会产生错误或意料之外的结果。通常建议在操作前对数据进行清洗,确保目标列是字符串类型。
  • 多列扩展:explode()一次只能作用于一列。如果需要基于多列进行类似扩展,可能需要更复杂的逻辑或多次explode操作。

5. 总结

Pandas的str.split()与explode()组合提供了一种优雅且高效的方式来处理数据规范化问题,特别是当单个单元格包含多个逻辑上独立的子项时。掌握这一技术对于数据预处理和特征工程至关重要,能够帮助我们更灵活地组织和分析数据。通过本教程,您应该能够熟练运用这些方法来解决类似的数据拆分需求。

以上就是Pandas教程:基于分隔符将DataFrame单行拆分为多行的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号