Pandas DataFrame中字符串标准化与分组聚合实践-Python教程-PHP中文网

Pandas DataFrame中字符串标准化与分组聚合实践

花韻仙語

发布： 2025-08-08 11:44:02

原创

373人浏览过

Pandas DataFrame中字符串标准化与分组聚合实践

本教程详细介绍了如何在Pandas DataFrame中对包含不规范字符的字符串列进行标准化处理，特别是通过使用Python的正则表达式（re模块）清除特殊符号、数字和多余空格。通过将清理函数应用于目标列，我们可以有效地统一数据条目，从而确保后续的groupby和聚合操作（如求和）能够准确无误地进行，最终获得期望的汇总结果。

问题背景：不规范数据对聚合的影响

在数据分析中，我们经常需要对数据进行分组聚合操作，例如计算不同类别的总和。然而，原始数据往往存在不一致性，尤其是在字符串列中。例如，同一个实体的名称可能因为包含括号、连字符、数字或多余的空格而以多种形式出现（如 "michael" 和 "michael ()"）。当直接对这样的列进行 groupby 操作时，pandas 会将这些看似相似但字符不同的条目视为独立的组，导致聚合结果不准确。

考虑以下示例数据：

Name	Fee
Michael	3
Michael ()	4
Sarah - (0)	5
Sarah	5

如果直接对 Name 列进行分组求和，输出将与原始表相同，因为 "Michael" 和 "Michael ()" 被视为两个不同的名称。我们的目标是清除 Name 列中的不规范字符，使 "Michael ()" 变为 "Michael"，"Sarah - (0)" 变为 "Sarah"，从而实现正确的聚合。

核心工具：正则表达式 (re模块)

解决此类问题的关键在于对字符串进行标准化处理。Python 的 re 模块提供了强大的正则表达式功能，可以高效地查找和替换字符串中的特定模式。

1. 移除特殊字符和数字

我们可以使用 re.sub() 函数来替换字符串中匹配特定模式的部分。为了只保留字母和空格，我们可以使用正则表达式模式 [^A-Za-z ]+。

[^...]: 匹配不在括号内的任何字符。
A-Za-z: 匹配所有大写和小写英文字母。
` `: 匹配空格字符。
+: 匹配前一个字符或组一次或多次。

因此，[^A-Za-z ]+ 表示匹配除英文字母和空格之外的任何字符，并将其替换为空字符串。

import re

# 示例字符串
string1 = 'Sarah - (0)'
string2 = 'Michael ()'

# 使用正则表达式移除特殊字符和数字
clean_string1 = re.sub(r'[^A-Za-z ]+', '', string1)
clean_string2 = re.sub(r'[^A-Za-z ]+', '', string2)

print(f"'{string1}' 清理后: '{clean_string1}'") # 输出: 'Sarah  '
print(f"'{string2}' 清理后: '{clean_string2}'") # 输出: 'Michael '

登录后复制

2. 结合 strip() 清除首尾空格

经过正则表达式处理后，字符串中可能会留下多余的空格，尤其是在原始特殊字符的位置。例如，'Sarah - (0)' 变为 'Sarah '。为了进一步规范化，我们可以使用字符串的 strip() 方法来移除字符串开头和结尾的所有空白字符（包括空格、制表符、换行符等）。

# 结合 re.sub 和 strip
string = 'Sarah - (0)'
clean_string = re.sub(r'[^A-Za-z ]+', '', string).strip()

print(f"'{string}' 最终清理后: '{clean_string}'") # 输出: 'Sarah'

登录后复制

Pandas DataFrame中的应用

将上述字符串清理逻辑应用于 Pandas DataFrame 的列，是实现数据标准化的关键步骤。

1. 定义清理函数

首先，我们将清理逻辑封装成一个函数，以便于在 DataFrame 中调用。

360智图

AI驱动的图片版权查询平台

143

查看详情

import re

def clean_name(name_str):
    """
    清理名称字符串，移除特殊字符、数字，并去除首尾空格。
    """
    if isinstance(name_str, str): # 确保输入是字符串类型
        # 移除除字母和空格外的所有字符
        cleaned = re.sub(r'[^A-Za-z ]+', '', name_str)
        # 去除首尾空格
        return cleaned.strip()
    return name_str # 如果不是字符串，则原样返回

登录后复制

2. 使用 .apply() 方法作用于列

Pandas DataFrame 的 apply() 方法允许我们将一个函数应用于 Series（即 DataFrame 的列）的每个元素。

import pandas as pd

# 原始数据
data = {
    'Name': ['Michael', 'Michael ()', 'Sarah - (0)', 'Sarah'],
    'Fee': [3, 4, 5, 5]
}
df = pd.DataFrame(data)

print("原始 DataFrame:")
print(df)

# 应用清理函数到 'Name' 列
df['Name_Cleaned'] = df['Name'].apply(clean_name)

print("\n清理后的 DataFrame (新增 'Name_Cleaned' 列):")
print(df)

登录后复制

此时，DataFrame 将会有一个新的列 Name_Cleaned，其中包含标准化后的名称。

Name	Fee	Name_Cleaned
Michael	3	Michael
Michael ()	4	Michael
Sarah - (0)	5	Sarah
Sarah	5	Sarah

3. 执行分组聚合

现在，我们可以使用清理后的 Name_Cleaned 列进行 groupby 操作并求和。

# 使用清理后的列进行分组聚合
df_grouped = df.groupby('Name_Cleaned')['Fee'].sum().reset_index()

print("\n分组聚合后的结果:")
print(df_grouped)

登录后复制

最终输出将是期望的结果：

Name_Cleaned	Fee
Michael	7
Sarah	10

完整示例代码

以下是一个完整的 Pandas DataFrame 字符串标准化与分组聚合的示例：

import pandas as pd
import re

# 1. 定义清理函数
def clean_name(name_str):
    """
    清理名称字符串，移除特殊字符、数字，并去除首尾空格。
    """
    if isinstance(name_str, str):
        # 移除除字母和空格外的所有字符
        cleaned = re.sub(r'[^A-Za-z ]+', '', name_str)
        # 去除首尾空格
        return cleaned.strip()
    return name_str

# 2. 创建原始 DataFrame
data = {
    'Name': ['Michael', 'Michael ()', 'Sarah - (0)', 'Sarah', 'John 123', 'John'],
    'Fee': [3, 4, 5, 5, 2, 3]
}
df = pd.DataFrame(data)

print("--- 原始 DataFrame ---")
print(df)
print("-" * 30)

# 3. 应用清理函数到 'Name' 列，并覆盖原列或创建新列
# 为了保持原始数据不变，通常建议创建新列或先复制DataFrame
df['Name'] = df['Name'].apply(clean_name)

# 4. 进一步的标准化：统一大小写（可选但常用）
# 例如，如果 'michael' 和 'Michael' 应该被视为同一个，则需要这一步
df['Name'] = df['Name'].str.lower().str.capitalize() # 先转小写再首字母大写

print("\n--- 清理并标准化后的 DataFrame ---")
print(df)
print("-" * 30)

# 5. 执行分组聚合
df_grouped = df.groupby('Name')['Fee'].sum().reset_index()

print("\n--- 分组聚合后的结果 ---")
print(df_grouped)
print("-" * 30)

登录后复制

进一步的标准化考虑

大小写统一： 在很多场景下，"Michael" 和 "michael" 应该被视为同一个实体。在应用 clean_name 函数之后，可以额外使用 .str.lower() 或 .str.upper() 方法将所有名称统一为小写或大写，以避免因大小写差异导致的分组错误。例如：df['Name_Cleaned'] = df['Name_Cleaned'].str.lower()。
更复杂的清理需求： 本教程中的正则表达式 [^A-Za-z ]+ 仅保留字母和空格。如果需要保留数字（例如 "Product 1"），则正则表达式模式需要调整，例如 [^A-Za-z0-9 ]+。根据具体的数据特点和业务需求，正则表达式的编写会更加灵活。
性能： 对于非常大的数据集，apply() 方法可能不是最高效的方式。在这种情况下，可以考虑使用 Pandas 的 .str.replace() 结合正则表达式，或使用 Cython 优化过的自定义函数。然而，对于大多数常见规模的数据，apply() 已经足够。

总结

对数据进行预处理和标准化是数据分析流程中至关重要的一步。通过利用 Python 的 re 模块进行正则表达式匹配和替换，结合 Pandas DataFrame 的 .apply() 方法，我们可以有效地清理和统一字符串数据。这不仅能够解决因数据不一致导致的分组聚合问题，还能显著提高数据分析的准确性和可靠性。在实际应用中，务必根据数据的具体特点和业务需求，灵活选择和组合不同的字符串处理方法。

以上就是Pandas DataFrame中字符串标准化与分组聚合实践的详细内容，更多请关注php中文网其它相关文章！