Pandas read_csv 日期时间解析：常见问题与解决方案-Python教程-PHP中文网

Pandas read_csv 日期时间解析：常见问题与解决方案

心靈之曲

发布： 2025-09-28 09:28:01

原创

760人浏览过

Pandas read_csv 日期时间解析：常见问题与解决方案

本文详细探讨了在使用 Pandas read_csv 函数时，如何正确解析和合并 CSV 文件中的日期和时间列。通过示例代码，我们展示了如何利用 parse_dates 参数将单个或多个列转换为 datetime64[ns] 类型，并介绍了 dayfirst 参数在处理日期格式歧义时的重要性，旨在帮助用户高效、准确地处理时间序列数据。

在数据分析工作中，从 csv 文件导入数据是常见操作，但日期和时间列的解析往往会遇到挑战。pandas 的 read_csv 函数提供了强大的 parse_dates 参数，能够将字符串形式的日期时间数据正确转换为 datetime64[ns] 类型，从而方便后续的时间序列分析。

parse_dates 参数的基本用法

当 CSV 文件中包含日期或时间列时，如果不指定 parse_dates，这些列通常会被识别为 object（字符串）类型。为了将其转换为 Pandas 的日期时间类型，我们需要明确告知 read_csv 哪些列需要解析。

考虑以下 CSV 数据示例：

Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time
2,1/1/2011 0:03,1/1/2011,0:03:00
3,1/1/2011 0:53,1/1/2011,0:53:00

登录后复制

假设我们希望将 CG_Arrival_Date/Time 和 Arrival_Date 这两列解析为日期时间类型。我们可以通过列名或列索引来指定。

使用列索引解析单个日期时间列：

import pandas as pd
from io import StringIO

csv_text = """
Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time 
2,1/1/2011 0:03,1/1/2011,0:03:00
3,1/1/2011 0:53,1/1/2011,0:53:00"""

df = pd.read_csv(StringIO(csv_text), index_col='Study ID', parse_dates=[1, 2])
print("数据类型：")
print(df.dtypes)
print("\n数据内容：")
print(df.head())

登录后复制

运行上述代码，输出结果将显示 CG_Arrival_Date/Time 和 Arrival_Date 列已成功转换为 datetime64[ns] 类型：

数据类型：
CG_Arrival_Date/Time    datetime64[ns]
Arrival_Date            datetime64[ns]
Arrival_Time                    object
dtype: object

数据内容：
          CG_Arrival_Date/Time Arrival_Date Arrival_Time
Study ID                                                
2          2011-01-01 00:03:00   2011-01-01    0:03:00
3          2011-01-01 00:53:00   2011-01-01    0:53:00

登录后复制

这里，parse_dates=[1, 2] 表示解析索引为 1 (即 CG_Arrival_Date/Time) 和索引为 2 (即 Arrival_Date) 的列。

合并多个列为单个日期时间列

parse_dates 参数不仅能解析单个列，还能将多个独立的日期和时间列合并成一个完整的 datetime64[ns] 列。这在日期和时间信息分散在不同列时非常有用。

例如，如果 CSV 文件中有 Arrival_Date 和 Arrival_Time 两列，我们希望将它们合并为一个 Arrival_Datetime 列。

AI建筑知识问答

用人工智能ChatGPT帮你解答所有建筑问题

查看详情

使用列索引合并日期和时间列：

import pandas as pd
from io import StringIO

csv_text = """
Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time 
2,1/1/2011 0:03,1/1/2011,0:03:00
3,1/1/2011 0:53,1/1/2011,0:53:00"""

# parse_dates=[[2,3],1] 表示：
# 1. 将索引为 2 (Arrival_Date) 和 3 (Arrival_Time) 的列合并并解析
# 2. 同时解析索引为 1 (CG_Arrival_Date/Time) 的列
df = pd.read_csv(StringIO(csv_text), index_col='Study ID', parse_dates=[[2,3],1])
print("数据类型：")
print(df.dtypes)
print("\n数据内容：")
print(df.head())

登录后复制

执行上述代码后，输出将显示一个名为 Arrival_Date_Arrival_Time 的新列，它由原始的 Arrival_Date 和 Arrival_Time 合并而来，并且类型为 datetime64[ns]。原始的 Arrival_Date 和 Arrival_Time 列在合并后将不再存在于 DataFrame 中。

数据类型：
Arrival_Date_Arrival_Time    datetime64[ns]
CG_Arrival_Date/Time         datetime64[ns]
dtype: object

数据内容：
                         Arrival_Date_Arrival_Time CG_Arrival_Date/Time
Study ID                                                                
2                          2011-01-01 00:03:00  2011-01-01 00:03:00
3                          2011-01-01 00:53:00  2011-01-01 00:53:00

登录后复制

注意事项：

当 parse_dates 参数接收一个列表的列表时（例如 [[2,3]]），内部的列表表示需要合并的列。这些列的原始数据将被移除，并替换为合并后的新列，新列的名称通常是原始列名用下划线连接。
如果使用列名而不是索引，语法类似：parse_dates=[['Arrival_Date', 'Arrival_Time'], 'CG_Arrival_Date/Time']。

处理日期格式歧义：dayfirst 参数

在某些情况下，日期格式可能存在歧义，例如 1/1/2011。这可能是月/日/年 (MM/DD/YYYY) 格式，也可能是日/月/年 (DD/MM/YYYY) 格式。如果 Pandas 无法自动推断正确的格式，或者默认推断与实际不符，可以使用 dayfirst 参数进行明确指定。

dayfirst=True: 告诉 Pandas 日期中的第一个数字代表日 (DD/MM/YYYY)。
dayfirst=False: 告诉 Pandas 日期中的第一个数字代表月 (MM/DD/YYYY)。这是默认值。

# 示例：假设日期是 DD/MM/YYYY 格式
df_dayfirst = pd.read_csv(StringIO(csv_text), index_col='Study ID', 
                          parse_dates=[1, 2], dayfirst=True)
print("\n使用 dayfirst=True 解析后的数据：")
print(df_dayfirst.head())

登录后复制

在我们的示例数据 1/1/2011 中，dayfirst 的影响不明显，因为日月都是 1。但在 1/10/2011 这样的日期中，如果 dayfirst=True，会被解析为 2011年10月1日；如果 dayfirst=False，则会被解析为 2011年1月10日。正确设置 dayfirst 对于确保日期解析的准确性至关重要。