使用正则表达式在Pandas中按条件拆分列：定位最后一个大写字母前的分隔符

问题背景与挑战

在数据处理中，我们经常需要将包含复合信息的字符串列拆分为多个独立的列。当拆分条件简单时，例如按第一个或最后一个特定字符进行拆分，pandas提供了str.split()或str.rsplit()等便捷方法。然而，当拆分条件变得复杂，例如要求分隔符必须满足特定上下文条件时，这些简单的方法就显得力不从心。

本教程要解决的问题是：在一个包含字符串的Pandas列中，我们需要找到最后一个由“ - ”连接，并且其后部分全部由大写字母（可能包含空格和短横线）组成的分割点，然后将字符串拆分为两部分。例如，"Carlos - George - ESTE BAN - BOM"应该被拆分为"Carlos - George"和"ESTE BAN - BOM"。

我们来看一个示例DataFrame：

import pandas as pd

df = pd.DataFrame({
   'Value': ['Juan-Diva - HOLLS', 'Carlos - George - ESTE BAN - BOM', 'Javier Plain - Hotham Ham - ALPINE', 'Yul - KONJ KOL MON'],
})

print("原始DataFrame:")
print(df)

期望的输出结果如下：

                       First            Last
0                  Juan-Diva           HOLLS
1            Carlos - George  ESTE BAN - BOM
2  Javier Plain - Hotham Ham          ALPINE
3                        Yul    KONJ KOL MON

传统方法的局限性

尝试使用str.split()或str.rsplit()等传统方法，往往难以满足这种复杂的条件拆分需求。

1. str.split(' - ', n=1, expand=True)： 这会根据第一个“ - ”进行拆分，显然不符合要求。

   # df[['First', 'l']] = df['Value'].str.split(' - ', n=1, expand=True)
   # print(df)
   # 结果: Juan-Diva | HOLLS, 但 Carlos - George - ESTE BAN - BOM 会被拆成 Carlos | George - ESTE BAN - BOM

   登录后复制

2. str.rsplit(' - ', n=1, expand=True)： 这会根据最后一个“ - ”进行拆分，但没有考虑其后是否为大写字母的条件。

   # df[["First", "Last"]] = df["Value"].str.rsplit(" - ", n=1, expand=True)
   # print(df)
   # 结果: Carlos - George - ESTE BAN | BOM，不符合预期

   登录后复制

3. 简单正则表达式： 如果正则表达式不够精确，也可能导致错误匹配。例如，r'(.*?)\s*-\s*([A-Z]+(?:\s*-?\s*[A-Z]+)*)' 可能会在第一个匹配到大写字母的地方就停止非贪婪匹配，导致结果不准确。

这些方法都无法在满足“最后一个”和“后面是大写字母”的双重条件时进行精确拆分。

解决方案：str.extract()与精确正则表达式

解决此类问题的最佳方法是利用Pandas的str.extract()方法，结合一个能够精确匹配所需模式的正则表达式。str.extract()能够从字符串中提取出与正则表达式中捕获组匹配的部分，并直接将其放入新的DataFrame列中。

正则表达式详解

核心的正则表达式模式是： r'(.*?)\s*-\s*([A-Z]+(?:\s*-?\s*[A-Z]+)*)$'

我们来逐一解析这个正则表达式的各个部分：

一键职达

AI全自动批量代投简历软件，自动浏览招聘网站从海量职位中用AI匹配职位并完成投递的全自动操作，真正实现'一键职达'的便捷体验。

79

查看详情

1. *`(.?)`**：

   • ( 和 )：定义一个捕获组。这是我们将提取到First列的部分。
   • .：匹配除换行符以外的任何字符。
   • *：匹配前一个字符零次或多次。
   • ?：使*变为非贪婪匹配（lazy match）。这意味着它会尽可能少地匹配字符，直到遇到下一个模式匹配成功。这是关键，它确保了First部分尽可能短，从而使得分隔符“ - ”是其后大写字母前的“最后一个”匹配。

2. \s*-\s*：

   • \s*：匹配零个或多个空白字符（包括空格、制表符等）。
   • -：匹配字面意义上的短横线。
   • 这部分共同匹配了分隔符“ - ”，允许其前后有可选的空格。

3. *`([A-Z]+(?:\s-?\s[A-Z]+))`**：

   • ( 和 )：定义第二个捕获组。这是我们将提取到Last列的部分。
   • [A-Z]+：匹配一个或多个大写英文字母。这是Last部分的起始要求。
   • (?:\s*-?\s*[A-Z]+)*：这是一个非捕获组 (?:...)，它允许Last部分包含多个由空格或可选短横线分隔的大写单词。
     • \s*：零个或多个空格。
     • -?：零个或一个短横线（允许ESTE BAN - BOM这样的结构）。
     • \s*：零个或多个空格。
     • [A-Z]+：一个或多个大写英文字母。
     • *：整个非捕获组可以重复零次或多次，以匹配多个大写单词的组合。

4. $：

   • 匹配字符串的结尾。这个锚点非常重要，它确保了第二个捕获组匹配的是字符串末尾的大写字母序列，从而间接保证了前面的\s*-\s*是最后一个符合条件的分隔符。

代码实现

将上述正则表达式应用于df['Value']列：

# 应用正则表达式进行提取
df[["First", "Last"]] = df["Value"].str.extract(r'(.*?)\s*-\s*([A-Z]+(?:\s*-?\s*[A-Z]+)*)$')

print("\n拆分后的DataFrame:")
print(df)

运行结果：

原始DataFrame:
                                Value
0                   Juan-Diva - HOLLS
1    Carlos - George - ESTE BAN - BOM
2  Javier Plain - Hotham Ham - ALPINE
3                  Yul - KONJ KOL MON

拆分后的DataFrame:
                       First            Last
0                  Juan-Diva           HOLLS
1            Carlos - George  ESTE BAN - BOM
2  Javier Plain - Hotham Ham          ALPINE
3                        Yul    KONJ KOL MON

可以看到，str.extract()结合精确的正则表达式成功地按照预期将列进行了拆分。

关键点与注意事项

1. *非贪婪匹配 (`?) 的重要性：** 在第一个捕获组中使用非贪婪匹配(.?)是至关重要的。如果使用贪婪匹配(.)，它会尽可能多地匹配字符，直到找到最后一个“ - ”，这可能导致First部分包含不应包含的“ - ”，从而使Last部分不满足“大写字母”的条件。非贪婪匹配则会尽可能少地匹配，直到遇到第一个符合后续模式的“ - ”，配合$`锚点，最终定位到我们想要的最后一个条件分隔符。
2. $ 锚点： $ 确保了第二个捕获组匹配的是字符串的末尾部分，这对于限定拆分点在“最后一个大写字母序列前”至关重要。
3. 捕获组 ((...))： str.extract()方法会将正则表达式中定义的每个捕获组提取为一个新的列。因此，确保你的正则表达式有且只有两个捕获组，以对应你想要创建的First和Last列。
4. 正则表达式的测试： 在构建复杂的正则表达式时，强烈建议使用在线正则表达式测试工具（如Regex101.com）进行测试和调试。这可以帮助你理解每个部分的作用，并确保它能正确匹配目标字符串和排除非目标字符串。
5. 处理NaN值： 如果Value列中存在无法匹配该正则表达式的字符串，str.extract()会为对应的First和Last列生成NaN值。在实际应用中，你可能需要进一步处理这些NaN值（例如，填充默认值或进行错误日志记录）。

总结

本教程展示了如何利用Pandas的str.extract()方法结合精心构造的正则表达式，来解决DataFrame列中基于复杂条件进行字符串拆分的挑战。通过理解非贪婪匹配、捕获组以及锚点在正则表达式中的作用，我们可以精确地定位所需的拆分点，从而高效地从原始数据中提取出结构化的信息。这种方法在处理非标准或复杂格式的文本数据时尤其强大和灵活。

以上就是使用正则表达式在Pandas中按条件拆分列：定位最后一个大写字母前的分隔符的详细内容，更多请关注php中文网其它相关文章！