Pandas DataFrame中复杂日期字符串的清洗与标准化-Python教程-PHP中文网

Pandas DataFrame中复杂日期字符串的清洗与标准化

花韻仙語

发布： 2025-10-09 12:11:36

原创

830人浏览过

Pandas DataFrame中复杂日期字符串的清洗与标准化

本文详细介绍了如何在Pandas DataFrame中清洗和标准化包含特殊字符或不规则格式的日期字符串。教程涵盖了使用pd.to_datetime进行直接类型转换，以及利用正则表达式结合str.extract和str.replace进行精确模式匹配和字符串格式统一的方法，旨在帮助用户高效处理复杂日期数据，确保数据质量和可用性。

在数据分析和处理过程中，我们经常会遇到dataframe中日期列包含非标准格式、特殊字符或额外信息的情况。这些不规则的日期字符串会阻碍我们进行日期相关的计算和分析。例如，一个日期列可能包含时间戳、冒号、空格，甚至非日期数字，而我们仅需要提取出标准格式的日期部分。简单地使用str.split(':')或str.replace(":", '')等方法可能导致数据丢失或格式错误。本教程将介绍两种高效且灵活的方法来解决这类问题。

准备示例数据

首先，我们创建一个包含复杂日期字符串的DataFrame作为示例：

import pandas as pd

data = {
    'id': [1, 2, 3, 4, 5, 6, 7],
    'date': [
        "'  : 07/01/2020 23:25'",
        "': 07/02/2020'",
        "' 07/03/2020 23:25 1'",
        "'07/04/2020'",
        "'23:50 07/05/2020'",
        "'07 06 2023'",
        "'00:00 07 07 2023'"
    ]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

登录后复制

输出的DataFrame df 如下所示：

原始DataFrame:
   id                  date
0   1    : 07/01/2020 23:25
1   2          : 07/02/2020
2   3    07/03/2020 23:25 1
3   4            07/04/2020
4   5      23:50 07/05/2020
5   6            07 06 2023
6   7      00:00 07 07 2023

登录后复制

我们的目标是从date列中提取出MM/DD/YYYY格式的日期，并去除所有无关字符。

方法一：使用 pd.to_datetime 进行智能转换

如果你的最终目的是将这些不规则的日期字符串转换为Pandas的datetime对象，那么pd.to_datetime函数提供了一个非常便捷的参数exact=False。这个参数允许函数在解析字符串时，忽略那些不能完全匹配指定格式的额外字符。

# 尝试将日期字符串转换为datetime对象
df['out_datetime'] = pd.to_datetime(df['date'], format='%d/%m/%Y', exact=False)

print("\n使用pd.to_datetime转换后的DataFrame:")
print(df)

登录后复制

在这个例子中，format='%d/%m/%Y'指定了我们期望的日期部分格式。exact=False则告诉Pandas即使字符串中存在与此格式不符的额外字符（如时间、冒号、其他数字），也尝试从中解析出符合指定格式的日期。

转换后的DataFrame df 如下所示：

使用pd.to_datetime转换后的DataFrame:
   id                  date out_datetime
0   1    : 07/01/2020 23:25   2020-01-07
1   2          : 07/02/2020   2020-02-07
2   3    07/03/2020 23:25 1   2020-03-07
3   4            07/04/2020   2020-04-07
4   5      23:50 07/05/2020   2020-05-07
5   6            07 06 2023          NaT
6   7      00:00 07 07 2023          NaT

登录后复制

注意事项：

pd.to_datetime会尝试将解析出的日期转换为标准的YYYY-MM-DD格式。
对于'07 06 2023'和'00:00 07 07 2023'这类以空格作为日期分隔符的字符串，format='%d/%m/%Y'将无法识别，导致转换为NaT（Not a Time）。这种情况下，我们需要更灵活的字符串提取方法。
如果你的目标是获取标准化的日期字符串而不是datetime对象，则需要进一步处理out_datetime列，例如使用.dt.strftime('%m/%d/%Y')。

方法二：使用正则表达式 str.extract 进行精确提取

当日期字符串的格式变化较大，或者需要精确地提取特定模式的字符串时，正则表达式（Regex）结合Series.str.extract是更强大的工具。

2.1 提取 / 分隔的日期

首先，我们尝试提取所有以斜杠/分隔的DD/MM/YYYY格式日期。

# 定义正则表达式，匹配DD/MM/YYYY格式
# \d{2} 匹配两位数字
# \/ 匹配斜杠
# () 用于捕获匹配到的内容
df['clean_slash'] = df['date'].str.extract(r'(\d{2}\/\d{2}\/\d{4})')

print("\n使用str.extract提取斜杠分隔日期后的DataFrame:")
print(df)

登录后复制

正则表达式r'(\d{2}\/\d{2}\/\d{4})'的含义是：

慧中标AI标书

慧中标AI标书是一款AI智能辅助写标书工具。

120

查看详情

\d{2}：匹配任意两位数字。
\/：匹配一个斜杠字符（因为/在正则表达式中有特殊含义，所以需要转义）。
()：捕获组，表示我们想要提取括号内匹配到的内容。

输出结果：

使用str.extract提取斜杠分隔日期后的DataFrame:
   id                  date out_datetime clean_slash
0   1    : 07/01/2020 23:25   2020-01-07  07/01/2020
1   2          : 07/02/2020   2020-02-07  07/02/2020
2   3    07/03/2020 23:25 1   2020-03-07  07/03/2020
3   4            07/04/2020   2020-04-07  07/04/2020
5   5      23:50 07/05/2020   2020-05-07  07/05/2020
6   6            07 06 2023          NaT         NaN
7   7      00:00 07 07 2023          NaT         NaN

登录后复制

可以看到，这种方法成功提取了斜杠分隔的日期，但对于以空格分隔的日期（如'07 06 2023'），仍然是NaN。

2.2 提取包含 / 或空格分隔的日期，并进行标准化

为了处理同时包含斜杠/和空格的日期分隔符，我们需要修改正则表达式，并结合str.replace进行标准化。

# 定义正则表达式，匹配DD/MM/YYYY或DD MM YYYY格式
# [ /] 匹配一个空格或一个斜杠
df['clean_final'] = (df['date']
                     .str.extract(r'(\d{2}[ /]\d{2}[ /]\d{4})', expand=False)
                     .str.replace(' ', '/')
                    )

print("\n使用str.extract和str.replace清洗后的DataFrame:")
print(df)

登录后复制

修改后的正则表达式r'(\d{2}[ /]\d{2}[ /]\d{4})'：

[ /]：这是一个字符集，表示匹配一个空格或一个斜杠。这样，它就能同时捕获07/01/2020和07 06 2023。
expand=False：确保str.extract返回一个Series而不是DataFrame，方便后续链式操作。

在提取出包含空格或斜杠分隔的日期字符串后，我们使用.str.replace(' ', '/')将所有空格分隔符统一替换为斜杠/，从而实现日期的标准化。

最终输出的DataFrame df 如下所示：

使用str.extract和str.replace清洗后的DataFrame:
   id                  date out_datetime clean_slash clean_final
0   1    : 07/01/2020 23:25   2020-01-07  07/01/2020  07/01/2020
1   2          : 07/02/2020   2020-02-07  07/02/2020  07/02/2020
2   3    07/03/2020 23:25 1   2020-03-07  07/03/2020  07/03/2020
3   4            07/04/2020   2020-04-07  07/04/2020  07/04/2020
4   5      23:50 07/05/2020   2020-05-07  07/05/2020  07/05/2020
5   6            07 06 2023          NaT         NaN  07/06/2023
6   7      00:00 07 07 2023          NaT         NaN  07/07/2023

登录后复制

现在，clean_final列包含了所有标准化后的日期字符串，符合我们的要求。

总结与最佳实践

pd.to_datetime与exact=False：适用于当你希望直接将不规则日期字符串转换为datetime对象，并且字符串中多余信息不影响日期部分解析的场景。它在处理常见的日期格式变体时非常方便，但对于日期分隔符不一致的情况可能需要更精确的格式匹配或预处理。
Series.str.extract与正则表达式：这是处理复杂和多变日期字符串的终极武器。通过精心设计的正则表达式，你可以精确地匹配和提取任何你想要的日期模式。结合Series.str.replace可以进一步标准化提取出的字符串格式。这种方法提供了最大的灵活性和控制力。
选择合适的工具：
- 如果你的日期字符串混乱但核心日期模式相对固定（例如，总是MM/DD/YYYY但周围有噪音），且最终需要datetime对象，优先考虑pd.to_datetime。
- 如果日期分隔符不一致（如/和空格），或者你需要将日期标准化为特定的字符串格式，那么正则表达式结合str.extract和str.replace是更稳健的选择。
错误处理：在实际应用中，如果存在无法匹配的日期字符串，str.extract会返回NaN，pd.to_datetime在无法解析时会返回NaT（如果设置errors='coerce'）。处理这些缺失值是数据清洗的后续步骤。