Pandas教程:使用explode函数按分隔符拆分DataFrame行

聖光之護
发布: 2025-09-18 19:39:01
原创
941人浏览过

Pandas教程:使用explode函数按分隔符拆分DataFrame行

本教程详细介绍了如何利用Pandas库中的str.split()和explode()函数,将DataFrame中某一列包含分隔符的单个字符串条目拆分成多行。通过将字符串转换为列表,再利用explode()展开列表元素,可以高效地实现数据规范化,将复杂数据结构转化为更易于分析的扁平化形式,并辅以代码示例和注意事项,帮助读者掌握这一实用的数据处理技巧。

在数据分析和处理过程中,我们经常会遇到dataframe的某一列中,一个单元格包含了多个逻辑上独立的子项,这些子项通常通过特定的分隔符连接成一个字符串。为了更好地进行数据分析或满足后续处理的需求,我们可能需要将这些包含多项的行拆分成多行,使得每个子项都拥有自己独立的行。pandas提供了强大的工具来优雅地解决这个问题,其中str.split()和explode()函数的组合是实现这一目标的核心方法。

核心方法:str.split()与explode()

实现基于分隔符的行拆分主要分为两个步骤:

  1. 使用str.split()将字符串拆分为列表: 首先,我们需要识别目标列中的分隔符,并使用Pandas Series的字符串方法str.split()将每个单元格的字符串内容转换为一个列表。这个列表中的每个元素都对应原始字符串中被分隔符隔开的一个子项。

  2. 使用explode()展开列表为多行:explode()函数是Pandas 0.25.0版本引入的一个强大功能。它能够将DataFrame中某一列的列表状条目“展开”成多行。具体来说,如果一个单元格包含一个列表,explode()会为该列表中的每个元素创建一行,同时复制该行其他列的所有数据。

通过这两个步骤的结合,我们就能将一个包含多项的单行数据,有效地扩展成多行,每行代表一个独立的子项。

示例演示

假设我们有一个DataFrame,其中SPLIT列包含用“ / ”分隔的多个值,我们希望将这些值拆分到不同的行中。

原始DataFrame:

import pandas as pd

df = pd.DataFrame({
    'ASSET_CLASS': ['Core',],
    'SPLIT': ['0.6 Government / 0.4 Credit']
})

print("原始DataFrame:")
print(df)
登录后复制

输出:

原始DataFrame:
  ASSET_CLASS                        SPLIT
0        Core  0.6 Government / 0.4 Credit
登录后复制

实现步骤:

  1. 将SPLIT列的字符串按分隔符“ / ”拆分为列表:

    AppMall应用商店
    AppMall应用商店

    AI应用商店,提供即时交付、按需付费的人工智能应用服务

    AppMall应用商店 56
    查看详情 AppMall应用商店
    df["SPLIT"] = df["SPLIT"].str.split(" / ")
    print("\n拆分'SPLIT'列为列表后的DataFrame:")
    print(df)
    登录后复制

    此时,SPLIT列的类型将变为对象(object),其内容为列表:

    拆分'SPLIT'列为列表后的DataFrame:
      ASSET_CLASS                            SPLIT
    0        Core  [0.6 Government, 0.4 Credit]
    登录后复制
  2. 使用explode()函数展开SPLIT列的列表:

    df = df.explode("SPLIT")
    print("\n使用explode()展开后的DataFrame:")
    print(df)
    登录后复制

    explode()会将SPLIT列中的列表元素逐一展开,并为每个元素创建一行,同时保留ASSET_CLASS列的相应值。此时,DataFrame的索引可能会保持原始行的索引。

    使用explode()展开后的DataFrame:
      ASSET_CLASS           SPLIT
    0        Core  0.6 Government
    0        Core      0.4 Credit
    登录后复制
  3. 重置索引(可选但推荐):

    为了获得一个整洁、连续的行索引,通常建议在explode()操作之后使用reset_index(drop=True)。drop=True参数会丢弃旧的索引,而不是将其作为新列保留。

    df = df.reset_index(drop=True)
    print("\n最终拆分并重置索引后的DataFrame:")
    print(df)
    登录后复制

    最终结果:

    最终拆分并重置索引后的DataFrame:
      ASSET_CLASS           SPLIT
    0        Core  0.6 Government
    1        Core      0.4 Credit
    登录后复制

完整代码示例

import pandas as pd

# 原始DataFrame
df = pd.DataFrame({
    'ASSET_CLASS': ['Core',],
    'SPLIT': ['0.6 Government / 0.4 Credit']
})

print("原始DataFrame:")
print(df)

# 步骤1: 使用str.split()将字符串拆分为列表
df["SPLIT"] = df["SPLIT"].str.split(" / ")
print("\n拆分'SPLIT'列为列表后的DataFrame:")
print(df)

# 步骤2: 使用explode()将列表展开为多行
df = df.explode("SPLIT")
print("\n使用explode()展开后的DataFrame:")
print(df)

# 步骤3: 重置索引以保持整洁
df = df.reset_index(drop=True)

print("\n最终拆分后的DataFrame:")
print(df)
登录后复制

注意事项

  • 分隔符的准确性: 确保str.split()中使用的分隔符与实际数据中的分隔符完全匹配。如果分隔符可能包含特殊字符(如正则表达式元字符),需要对分隔符进行转义或使用regex=False参数(如果split支持)。
  • 空值处理: 如果目标列中存在NaN值或空字符串,str.split()会相应地返回NaN或空列表。explode()在遇到NaN时会将其保留,遇到空列表时则不会生成新的行。根据具体需求,可能需要在拆分前进行空值或空字符串的处理。
  • 性能考量: 对于非常大的DataFrame,explode()操作可能会消耗较多的内存和计算资源,因为它会复制其他列的数据。但在大多数情况下,它是处理此类数据转换最简洁高效的方法。
  • 多列拆分: 如果需要对多列进行类似的拆分操作,可以对每列重复上述过程,或者考虑更复杂的策略,例如先将需要拆分的列合并,再进行拆分,最后再按需分离。
  • Pandas版本: explode()函数是在Pandas 0.25.0版本中引入的。如果使用旧版本Pandas,需要升级或寻找替代方法(如apply(pd.Series).stack().reset_index()等,但通常不如explode()直观和高效)。

总结

通过str.split()和explode()函数的组合,Pandas提供了一种极其强大且简洁的方法来处理DataFrame中包含分隔符的复杂字符串数据,并将其规范化为更易于分析的多行结构。掌握这一技巧对于进行数据清洗、预处理和特征工程至关重要,能够显著提高数据处理的效率和代码的可读性。

以上就是Pandas教程:使用explode函数按分隔符拆分DataFrame行的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号