使用字典为DataFrame添加基于子字符串匹配的分类列

在数据处理和分析中，我们经常需要根据现有列的内容，尤其是文本内容，来创建新的分类列。当分类规则可以通过一个字典来定义，且字典的键是目标列中字符串的子集时，传统的map方法可能无法直接满足需求。本文将详细阐述如何利用pandas.dataframe.apply结合python的生成器表达式和next函数，优雅地解决这一问题。

问题场景：基于子字符串的字典映射

假设我们有一个包含商品信息的DataFrame，其中Item列的字符串描述了商品，而我们希望根据一个预定义的字典来为其添加Category（类别）列。这个字典的键是商品的核心词汇，值是对应的类别。例如：

import pandas as pd

# 原始字典
category_dict = {
    'apple': 'fruit',
    'grape': 'fruit',
    'chickpea': 'beans',
    'coffee cup': 'tableware'
}

# 原始DataFrame
data = {
    'Item': [
        'apple from happy orchard',
        'grape from random vineyard',
        'chickpea and black bean mix',
        'coffee cup with dog decal'
    ],
    'Cost': [15, 20, 10, 14]
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
                          Item  Cost
0     apple from happy orchard    15
1   grape from random vineyard    20
2  chickpea and black bean mix    10
3    coffee cup with dog decal    14

我们的目标是生成如下的DataFrame：

                          Item  Cost   Category
0     apple from happy orchard    15      fruit
1   grape from random vineyard    20      fruit
2  chickpea and black bean mix    10      beans
3    coffee cup with dog decal    14  tableware

直接使用df['Item'].map(category_dict)将无法达到预期，因为map期望的是精确匹配，而我们的Item列值是包含字典键的更长字符串。

解决方案：apply结合Lambda和生成器表达式

解决此类问题的核心在于对DataFrame的每一行（或每一列的每个元素）应用一个自定义函数，该函数能够检查字符串中是否存在字典的任何键。pandas.Series.apply方法正是为此而生。

以下是实现这一目标的Python代码：

import pandas as pd

# 原始字典
category_dict = {
    'apple': 'fruit',
    'grape': 'fruit',
    'chickpea': 'beans',
    'coffee cup': 'tableware'
}

# 原始DataFrame
data = {
    'Item': [
        'apple from happy orchard',
        'grape from random vineyard',
        'chickpea and black bean mix',
        'coffee cup with dog decal'
    ],
    'Cost': [15, 20, 10, 14]
}
df = pd.DataFrame(data)

# 使用apply方法添加Category列
df['Category'] = df['Item'].apply(
    lambda item_str: next(
        (value for key, value in category_dict.items() if key in item_str),
        None
    )
)

print("\n添加Category列后的DataFrame:")
print(df)

代码解析

让我们深入理解这行关键代码： df['Category'] = df['Item'].apply(lambda item_str: next((value for key, value in category_dict.items() if key in item_str), None))

1. df['Item'].apply(...): 这表示我们将对DataFrame的Item列中的每一个元素应用一个函数。apply方法会遍历Item列的每一个字符串，并将该字符串作为参数传递给后面的lambda函数。

2. lambda item_str:: 这是一个匿名函数，item_str代表Item列中的当前字符串（例如'apple from happy orchard'）。

   

   快转字幕

   新一代 AI 字幕工作站，为创作者提供字幕制作、学习资源、会议记录、字幕制作等场景，一键为您的视频生成精准的字幕。

   357

   查看详情

3. next((value for key, value in category_dict.items() if key in item_str), None): 这是实现子字符串匹配和值提取的核心。

   • (value for key, value in category_dict.items() if key in item_str): 这是一个生成器表达式。它遍历category_dict中的所有键值对。对于每个键key和值value，它会检查key是否作为子字符串存在于当前的item_str中。如果存在，它就生成对应的value。
   • next(generator, default_value): next()函数用于从生成器中获取下一个元素。
     • 如果生成器能够产生一个值（即找到了一个匹配的字典键），next()会立即返回这个值。
     • 如果生成器遍历完所有键都没有找到匹配项，next()会返回我们指定的default_value，在这里是None。这意味着如果Item列的某个字符串没有匹配到任何字典键，它的Category将是None。

注意事项与扩展

1. 匹配顺序: next()函数在找到第一个匹配的键后就会停止。如果一个item_str可以匹配到多个字典键（例如，'apple pie'既能匹配'apple'也能匹配'pie'），那么category_dict中键的迭代顺序将决定哪个类别被选中。Python字典在3.7+版本中保持插入顺序，因此通常是按字典定义时的顺序来匹配。如果需要更复杂的匹配优先级，可能需要对category_dict.items()进行预排序或调整匹配逻辑。

2. 无匹配项处理: 当前代码在没有匹配时会返回None。如果希望返回一个默认字符串（如'Other'），可以将None替换为 'Other'。

   df['Category'] = df['Item'].apply(
       lambda item_str: next(
           (value for key, value in category_dict.items() if key in item_str),
           'Unknown' # 将None替换为'Unknown'
       )
   )

   登录后复制

3. 性能考量: 对于非常大的DataFrame和字典，apply方法虽然灵活，但可能不如完全矢量化的操作高效。然而，对于涉及子字符串匹配的复杂逻辑，apply通常是必需的，并且在大多数实际场景中性能足够。如果性能成为瓶颈，可以考虑使用更高级的文本匹配库（如fuzzywuzzy进行模糊匹配）或预处理文本。

4. 大小写不敏感匹配: 如果需要进行大小写不敏感的匹配，可以在检查条件时将key和item_str都转换为小写：

   df['Category'] = df['Item'].apply(
       lambda item_str: next(
           (value for key, value in category_dict.items() if key.lower() in item_str.lower()),
           None
       )
   )

   登录后复制

总结

通过结合pandas.Series.apply、lambda表达式和Python的生成器表达式与next函数，我们可以高效且灵活地为DataFrame添加基于字典子字符串匹配的分类列。这种方法不仅解决了传统map函数的局限性，还提供了处理无匹配项和控制匹配逻辑的强大能力，是处理复杂文本分类任务的实用工具。

以上就是使用字典为DataFrame添加基于子字符串匹配的分类列的详细内容，更多请关注php中文网其它相关文章！