Python Pandas进阶：利用map与字符串提取实现复杂条件的数据合并

场景描述：待合并的数据集

在数据分析实践中，我们经常需要将不同的数据集进行合并。然而，合并键（join key）并不总是标准且一致的。考虑以下两个pandas dataframe：

DataFrame df1 包含生日和仪式编号，其中ceremony_number是一个包含数字和字符串后缀的文本字段（例如“1st”，“2nd”）。

DataFrame df2 包含索引和对应的日期，其索引即为数字。

我们的目标是根据df1['ceremony_number']中的数字部分与df2的索引进行匹配，将df2['dates']中的对应日期添加到df1的一个新列date_oscar中。

数据准备：示例数据集构建

为了便于演示和复现，我们首先创建上述两个DataFrame：

立即学习“Python免费学习笔记（深入）”；

import pandas as pd

# 构建 df1
data1 = {
    'birthdate': {0: '9/30/1895', 1: '7/23/1884', 2: '3/29/1889',
                  3: '4/10/1868', 4: '4/8/1892'},
    'ceremony_number': {0: '1st', 1: '1st', 2: '2nd', 3: '3rd', 4: '2nd'}
}
df1 = pd.DataFrame(data1)

# 构建 df2，注意 df2 的索引即为匹配键
data2 = {'dates': {1: '1929-05-16', 2: '1930-04-03', 3: '1930-11-05'}}
df2 = pd.DataFrame(data2)

print("原始 df1:")
print(df1)
print("\n原始 df2:")
print(df2)

输出的原始DataFrame如下：

原始 df1:
   birthdate ceremony_number
0  9/30/1895             1st
1  7/23/1884             1st
2  3/29/1889             2nd
3  4/10/1868             3rd
4   4/8/1892             2nd

原始 df2:
        dates
1  1929-05-16
2  1930-04-03
3  1930-11-05

问题分析与传统方法局限性

直接使用df1['ceremony_number']与df2的索引进行合并是不可行的，因为它们的类型和格式不匹配（字符串 vs. 整数）。尝试通过循环遍历df1的每一行，并在循环内部查找df2中的匹配项，不仅效率低下，而且容易因数据类型不匹配或查找逻辑错误导致Empty DataFrame等问题，正如用户在提问中遇到的情况。Pandas提供了更高效的向量化操作来处理这类场景。

解决方案：利用map函数与字符串提取

解决此问题的核心在于两个步骤：首先，从df1['ceremony_number']中提取出纯数字部分并将其转换为整数类型；其次，利用Pandas的map函数将这些提取出的数字作为键，从df2中查找对应的日期值。

知我AI

一款多端AI知识助理，通过一键生成播客/视频/文档/网页文章摘要、思维导图，提高个人知识获取效率；自动存储知识，通过与知识库聊天，提高知识利用效率。

101

查看详情

步骤一：统一日期格式（可选但推荐）

在处理日期数据时，将其转换为Pandas的datetime对象是良好的实践，这有助于后续的日期计算和格式化。

df1['birthdate'] = pd.to_datetime(df1['birthdate'], format='%m/%d/%Y')
df2['dates'] = pd.to_datetime(df2['dates'], format='%Y-%m-%d')

• pd.to_datetime() 函数用于将字符串日期转换为datetime对象。
• format参数指定了输入日期的格式，确保正确解析。

步骤二：提取匹配键并转换类型

df1['ceremony_number']列中的值如"1st", "2nd"等，我们需要提取其中的数字部分。这可以通过字符串方法str.extract结合正则表达式来实现。

# 使用正则表达式提取字符串开头的数字
# '^(\d+)' 匹配字符串开头的连续数字
# expand=False 返回一个Series而不是DataFrame
num = df1['ceremony_number'].str.extract('^(\d+)', expand=False)
# 将提取出的数字转换为整数类型，以便与df2的整数索引匹配
num = num.astype(int)

• df1['ceremony_number'].str.extract('^(\d+)', expand=False)：
  • str.extract()用于从字符串中提取匹配正则表达式的模式。
  • ^(\d+)是一个正则表达式，^表示匹配字符串的开始，\d+表示匹配一个或多个数字。括号()创建了一个捕获组，extract会返回这个捕获组的内容。
  • expand=False确保返回一个Series，而不是一个包含一列的DataFrame。
• .astype(int)：将提取到的字符串数字转换为整数类型。这是关键一步，因为df2的索引是整数。

步骤三：执行映射操作

现在我们有了df1中与df2索引类型和值都匹配的Series (num)，可以使用map函数将df2['dates']的值映射过来。

# 使用map函数将提取出的数字与df2的索引进行匹配，并获取对应的dates值
df1['date_oscar'] = num.map(df2['dates'])

• num.map(df2['dates'])：map函数会将num Series中的每个值作为键，去df2['dates'] Series的索引中查找。如果找到匹配的索引，则返回该索引对应的df2['dates']的值；如果未找到，则返回NaN。

将以上所有步骤整合，完整的解决方案代码如下：

import pandas as pd

# 1. 构建示例数据
data1 = {
    'birthdate': {0: '9/30/1895', 1: '7/23/1884', 2: '3/29/1889',
                  3: '4/10/1868', 4: '4/8/1892'},
    'ceremony_number': {0: '1st', 1: '1st', 2: '2nd', 3: '3rd', 4: '2nd'}
}
df1 = pd.DataFrame(data1)

data2 = {'dates': {1: '1929-05-16', 2: '1930-04-03', 3: '1930-11-05'}}
df2 = pd.DataFrame(data2)

# 2. 统一日期格式
df1['birthdate'] = pd.to_datetime(df1['birthdate'], format='%m/%d/%Y')
df2['dates'] = pd.to_datetime(df2['dates'], format='%Y-%m-%d')

# 3. 提取匹配键并转换类型
num = df1['ceremony_number'].str.extract('^(\d+)', expand=False).astype(int)

# 4. 执行映射操作
df1['date_oscar'] = num.map(df2['dates'])

print("\n合并后的 df1:")
print(df1)

结果验证

执行上述代码后，df1的输出如下，可以看到date_oscar列已根据ceremony_number中的数字部分正确填充：

合并后的 df1:
   birthdate ceremony_number date_oscar
0 1895-09-30             1st 1929-05-16
1 1884-07-23             1st 1929-05-16
2 1889-03-29             2nd 1930-04-03
3 1868-04-10             3rd 1930-11-05
4 1892-04-08             2nd 1930-04-03

最佳实践与注意事项

• 向量化操作优先： 在Pandas中，应尽量避免使用显式的Python循环（如for index, row in df.iterrows():），因为它们通常效率低下。str.extract、astype和map等都是高度优化的向量化操作，能够显著提升处理大规模数据的性能。
• 数据类型匹配： 在进行合并或映射操作时，确保键的数据类型一致性至关重要。本例中，将提取的字符串数字转换为整数是成功匹配df2整数索引的关键。
• 正则表达式的灵活性： str.extract结合正则表达式为从复杂字符串中提取特定信息提供了强大的工具。根据实际需求，可以调整正则表达式来匹配不同的模式。
• map与merge的选择： 当需要将一个Series（或DataFrame的某一列）的值根据其内容映射到另一个Series（或DataFrame的索引）时，map函数通常比merge更简洁高效，因为它直接在原DataFrame上添加新列，而merge会返回一个新的DataFrame。

总结

本教程展示了如何利用Pandas的强大功能，通过组合str.extract、astype和map函数，优雅且高效地解决了基于非标准键的DataFrame合并问题。掌握这些技巧，能够帮助数据分析师和工程师更灵活地处理各种复杂的数据整合场景，提升数据处理效率和代码质量。

以上就是Python Pandas进阶：利用map与字符串提取实现复杂条件的数据合并的详细内容，更多请关注php中文网其它相关文章！