Pandas数据处理：基于特定模式（最后一个大写字符串前缀分隔符）拆分列

引言：理解复杂列拆分需求

在数据清洗和预处理过程中，我们经常需要将DataFrame中的某一列拆分为多列。常见的拆分操作通常基于第一个或最后一个固定的分隔符。然而，在某些复杂场景下，分隔符的选择并非简单地基于其位置，而是需要结合分隔符周围内容的特定模式。例如，我们需要将一列字符串拆分为两部分，拆分点是“最后一个紧跟着全部由大写字母组成的字符串的分隔符”。传统的str.split()或str.rsplit()方法无法直接满足这种条件拆分的需求，此时，强大的正则表达式结合pandas.Series.str.extract()方法便成为理想的解决方案。

问题场景与预期结果

假设我们有一个Pandas DataFrame，其中包含一个名为Value的列，其内容包含不同格式的字符串。我们的目标是根据特定的条件将Value列拆分为First和Last两列。

原始DataFrame示例：

import pandas as pd

df = pd.DataFrame({
   'Value': ['Juan-Diva - HOLLS', 'Carlos - George - ESTE BAN - BOM', 'Javier Plain - Hotham Ham - ALPINE', 'Yul - KONJ KOL MON'],
})

print("原始DataFrame:")
print(df)

期望的输出：

可以看到，拆分点是最后一个-，且该-之后的部分必须完全由大写字母（可能包含空格或连字符）组成。例如，在Carlos - George - ESTE BAN - BOM中，虽然有多个-，但只有最后一个-后面是ESTE BAN - BOM（全大写），因此在此处拆分。

传统方法的局限性

在尝试解决此类问题时，一些常见的Pandas字符串操作方法往往无法达到预期效果：

1. str.split(' - ', n=1, expand=True)： 仅按第一个分隔符拆分，无法处理多个分隔符且需要条件判断的情况。

   # 示例：按第一个分隔符拆分
   # df[['First', 'l']] = df['Value'].str.split(' - ', n=1, expand=True)
   # 结果不符合预期

   登录后复制

2. str.rsplit(' - ', n=1, expand=True)： 仅按最后一个分隔符拆分，不考虑分隔符后内容的模式。例如，对于Carlos - George - ESTE BAN - BOM，它会拆分为Carlos - George - ESTE BAN和BOM，这与我们的预期不符。

   # 示例：按最后一个分隔符拆分
   # df[["First", "Last"]] = df["Value"].str.rsplit(" - ", n=1, expand=True)
   # 结果不符合预期

   登录后复制

3. 简单正则表达式： 如果正则表达式不够精确，例如没有正确处理贪婪/非贪婪匹配或锚定，也可能导致错误结果。

   # 示例：一个不精确的正则表达式
   # pattern = r'^(.*) - ([A-Z\s]+)$'
   # df[['First', 'Last']] = df['Value'].str.extract(pattern)
   # 结果不符合预期，可能因匹配到第一个符合条件的' - '而忽略后续

   登录后复制

   另一个例子是缺少 $ 锚定，可能导致匹配到中间的大写字符串：

   

   Smart Picture

   Smart Picture 智能高效的图片处理工具

   77

   查看详情

   # df[["First", "Last"]] = df["Value"].str.extract(r'(.*?)\s*-\s*([A-Z]+(?:\s*-?\s*[A-Z]+)*)')
   # 这种模式会匹配到第一个符合条件的“ - 后接大写”部分，而不是最后一个

   登录后复制

解决方案：利用str.extract与精确正则表达式

解决此问题的关键在于构建一个精确的正则表达式，并结合pandas.Series.str.extract()方法来捕获所需的部分。str.extract()能够从字符串中提取与正则表达式匹配的捕获组，并将其放入新的列中。

核心代码：

import pandas as pd

df = pd.DataFrame({
   'Value': ['Juan-Diva - HOLLS', 'Carlos - George - ESTE BAN - BOM', 'Javier Plain - Hotham Ham - ALPINE', 'Yul - KONJ KOL MON'],
})

# 精确的正则表达式
# (.*?)          - 非贪婪匹配，捕获“First”部分
# \s*-\s*        - 匹配分隔符 " - " 及其两侧可选的空格
# ([A-Z]+(?:\s*-?\s*[A-Z]+)*) - 捕获“Last”部分，确保其为全大写字符串（可包含空格和连字符）
# $              - 锚定到字符串末尾，确保匹配的是最后一个符合条件的模式
regex_pattern = r'(.*?)\s*-\s*([A-Z]+(?:\s*-?\s*[A-Z]+)*)$'

df[["First", "Last"]] = df["Value"].str.extract(regex_pattern)

print("\n拆分后的DataFrame:")
print(df)

代码运行结果：

原始DataFrame:
                               Value
0                  Juan-Diva - HOLLS
1   Carlos - George - ESTE BAN - BOM
2  Javier Plain - Hotham Ham - ALPINE
3                  Yul - KONJ KOL MON

拆分后的DataFrame:
                               Value                      First            Last
0                  Juan-Diva - HOLLS                  Juan-Diva           HOLLS
1   Carlos - George - ESTE BAN - BOM            Carlos - George  ESTE BAN - BOM
2  Javier Plain - Hotham Ham - ALPINE  Javier Plain - Hotham Ham          ALPINE
3                  Yul - KONJ KOL MON                        Yul    KONJ KOL MON

正则表达式详解

让我们详细解析这个成功的正则表达式：r'(.*?)\s*-\s*([A-Z]+(?:\s*-?\s*[A-Z]+)*)$'

• *`(.?)**: 这是第一个捕获组，用于捕获First`列的内容。

  • . 匹配除换行符以外的任何字符。
  • * 匹配前一个字符零次或多次。
  • ? 使 * 变为非贪婪匹配。这意味着它会尽可能少地匹配字符，直到遇到下一个模式。在这里，它会匹配到“最后一个”符合条件的-分隔符之前的所有内容。

• \s*-\s*: 匹配分隔符-。

  • \s* 匹配零个或多个空格字符。这使得分隔符可以被零个或多个空格包围，增加了匹配的灵活性。
  • - 匹配字面字符连字符。

• *`([A-Z]+(?:\s-?\s[A-Z]+))**: 这是第二个捕获组，用于捕获Last`列的内容。它确保了分隔符之后的部分是全大写字符串。

  • [A-Z]+: 匹配一个或多个大写英文字母。这是Last部分必须以大写字母开头的基础。
  • (?:\s*-?\s*[A-Z]+)*: 这是一个非捕获组 (?:...)，它允许Last部分包含多个由空格、可选连字符分隔的大写单词。
    • \s*: 零个或多个空格。
    • -?: 零个或一个连字符（使其可选）。
    • \s*: 零个或多个空格。
    • [A-Z]+: 再次匹配一个或多个大写英文字母。
    • *: 允许这个模式（空格-可选连字符-空格-大写字母）重复零次或多次。

• $: 这是一个锚点，匹配字符串的结尾。它的存在至关重要，因为它确保整个模式是从字符串的末尾开始向回匹配，从而有效地定位到“最后一个”符合条件的分隔符。如果没有$，正则表达式可能会在第一个匹配到大写字符串的分隔符处停止。

注意事项与最佳实践

1. 正则表达式的精确性： 复杂的数据清洗任务往往需要精确的正则表达式。一个微小的改动都可能导致完全不同的匹配结果。
2. $ 锚点的作用： 在本例中，$ 锚点是确保匹配“最后一个”符合条件的模式的关键。它强制正则表达式引擎从字符串末尾开始回溯寻找匹配。
3. *非贪婪匹配 `(.?)：** 非贪婪匹配在这里确保了First部分尽可能短，直到遇到符合\s-\s[A-Z]+...`模式的下一个分隔符。
4. 测试正则表达式： 在实际应用中，强烈建议使用在线正则表达式测试工具（如 regex101.com 或 regexr.com）来测试和调试你的正则表达式，确保它能正确匹配各种预期和非预期的输入。
5. 处理缺失值： 如果原始列中存在不匹配正则表达式的字符串，str.extract()会为对应的First和Last列生成NaN值，需要根据业务需求进行后续处理（如填充、删除）。

总结

通过本教程，我们学习了如何利用pandas.Series.str.extract()方法结合精心设计的正则表达式，来解决Pandas DataFrame中基于复杂条件（即“最后一个紧跟全大写字符串的分隔符”）进行列拆分的挑战。这种方法比传统的split()函数更具灵活性和表达力，能够应对更高级的数据清洗和转换需求。掌握正则表达式在Pandas中的应用，将极大地提升数据处理的效率和准确性。

以上就是Pandas数据处理：基于特定模式（最后一个大写字符串前缀分隔符）拆分列的详细内容，更多请关注php中文网其它相关文章！