Pandas DataFrame按日期范围筛选数据的实用指南

DDD
发布: 2025-10-03 11:10:46
原创
702人浏览过

Pandas DataFrame按日期范围筛选数据的实用指南

本文详细介绍了如何在Pandas DataFrame中高效地根据日期范围筛选数据。核心步骤包括将日期列正确转换为datetime类型,并利用布尔索引进行灵活的单日期或日期范围比较。通过示例代码,读者将掌握处理日期数据、避免常见错误并实现精确数据筛选的专业技巧。

1. 日期数据类型的重要性

在pandas中处理日期数据时,确保日期列的数据类型为datetime至关重要。如果日期以字符串(object)形式存储,直接进行日期比较或范围筛选可能会导致非预期的结果或错误,例如keyerror或typeerror。datetime类型允许pandas理解日期的先后顺序,从而支持标准的比较运算符(<, >, <=, >=)和逻辑组合。

2. 将日期列转换为 datetime 类型

在进行日期筛选之前,第一步是将包含日期的列从字符串或其他类型转换为Pandas的datetime类型。这通常通过pd.to_datetime()函数完成。

示例代码:

假设我们有一个DataFrame data,其中包含一个名为'todays_date'的日期列,其格式为"MM-DD-YY"。

import pandas as pd

# 示例DataFrame
df = pd.DataFrame({
    'todays_date': ['04-20-20', '04-20-21', '03-23-23', '03-24-23', '11-12-23'],
    'other_data' : ['A', 'B', 'C', 'D', 'E']
})

print("原始DataFrame:")
print(df)
print("\n原始todays_date列类型:", df['todays_date'].dtype)

# 将'todays_date'列转换为datetime类型
# 必须指定正确的日期格式,这里是'%m-%d-%y'
df['todays_date'] = pd.to_datetime(df['todays_date'], format='%m-%d-%y')

print("\n转换后的DataFrame:")
print(df)
print("\n转换后todays_date列类型:", df['todays_date'].dtype)
登录后复制

输出:

Tanka
Tanka

具备AI长期记忆的下一代团队协作沟通工具

Tanka 110
查看详情 Tanka
原始DataFrame:
  todays_date other_data
0    04-20-20          A
1    04-20-21          B
2    03-23-23          C
3    03-24-23          D
4    11-12-23          E

原始todays_date列类型: object

转换后的DataFrame:
  todays_date other_data
0  2020-04-20          A
1  2021-04-20          B
2  2023-03-23          C
3  2023-03-24          D
4  2023-11-12          E

转换后todays_date列类型: datetime64[ns]
登录后复制

注意事项:

  • format参数至关重要,它告诉Pandas如何解析日期字符串。如果格式不匹配,可能会导致解析错误。常见的格式代码包括:
    • %Y:四位数年份 (e.g., 2023)
    • %y:两位数年份 (e.g., 23)
    • %m:月份 (01-12)
    • %d:日期 (01-31)
    • %H:小时 (00-23)
    • %M:分钟 (00-59)
    • %S:秒 (00-59)

3. 基于单日期的筛选

一旦日期列被正确转换为datetime类型,就可以像操作其他数值列一样进行比较筛选。

示例代码:筛选早于特定日期的数据

# 筛选所有发生在 '03-24-23' 之前(不包括该日)的实例
# Pandas可以自动将字符串日期与datetime列进行比较,但明确转换更安全
early_instances_mask = (df['todays_date'] < '03-24-23')
early_instances = df[early_instances_mask]

print("\n早于 '03-24-23' 的实例:")
print(early_instances)

# 或者,更明确地将比较日期也转换为datetime对象
# day_limit = pd.to_datetime('03-24-23', format='%m-%d-%y')
# early_instances = df[df['todays_date'] < day_limit]
# print(early_instances)
登录后复制

输出:

早于 '03-24-23' 的实例:
  todays_date other_data
0  2020-04-20          A
1  2021-04-20          B
2  2023-03-23          C
登录后复制

4. 基于日期范围的筛选

要筛选特定日期范围内的数据,可以使用逻辑运算符&(AND)来组合多个条件。

示例代码:筛选介于两个日期之间的数据

# 筛选所有发生在 '03-24-21' 之后且 '03-24-23' 之前(不包括两端)的实例
# 注意:使用括号确保逻辑运算的优先级
later_instances_mask = (df['todays_date'] > '03-24-21') & \
                       (df['todays_date'] < '03-24-23')
later_instances = df[later_instances_mask]

print("\n介于 '03-24-21' 和 '03-24-23' 之间的实例:")
print(later_instances)
登录后复制

输出:

介于 '03-24-21' 和 '03-24-23' 之间的实例:
  todays_date other_data
1  2021-04-20          B
2  2023-03-23          C
登录后复制

注意事项:

  • 在Pandas布尔索引中,逻辑“与”操作符是&,逻辑“或”操作符是|。
  • 每个条件表达式都应放在括号内,以避免运算符优先级问题。
  • 比较字符串日期时,Pandas会尝试将其解析为datetime对象。为了代码的健壮性和清晰性,建议将比较的日期值也显式转换为datetime对象,尤其是在处理不确定日期格式的场景时。

5. 完整示例与最佳实践

以下是一个完整的示例,展示了从DataFrame创建到日期筛选的整个过程,并强调了使用pd.to_datetime明确处理日期。

import pandas as pd

# 1. 创建示例DataFrame
df = pd.DataFrame({
    'todays_date': ['04-20-20', '04-20-21', '03-23-23', '03-24-23', '11-12-23', '01-01-22'],
    'event'      : ['Start', 'Mid-Term', 'Milestone1', 'Milestone2', 'End', 'Review']
})

print("--- 原始DataFrame ---")
print(df)

# 2. 转换日期列为 datetime 类型
df['todays_date'] = pd.to_datetime(df['todays_date'], format='%m-%d-%y')

print("\n--- 转换日期类型后的DataFrame ---")
print(df)
print("日期列类型:", df['todays_date'].dtype)

# 3. 筛选早于特定日期的数据
# 明确将比较日期也转换为 datetime 对象,提高代码健壮性
cutoff_date_early = pd.to_datetime('03-24-23', format='%m-%d-%y')
early_events = df[df['todays_date'] < cutoff_date_early]

print("\n--- 发生在 {} 之前的事件 ---".format(cutoff_date_early.strftime('%Y-%m-%d')))
print(early_events)

# 4. 筛选特定日期范围内的数据
start_date = pd.to_datetime('01-01-22', format='%m-%d-%y')
end_date = pd.to_datetime('11-12-23', format='%m-%d-%y')

# 包含起始日期,不包含结束日期
mid_range_events = df[(df['todays_date'] >= start_date) & (df['todays_date'] < end_date)]

print("\n--- 发生在 {} 到 {} 之间(不含后者)的事件 ---".format(
    start_date.strftime('%Y-%m-%d'), end_date.strftime('%Y-%m-%d')))
print(mid_range_events)
登录后复制

6. 总结

在Pandas DataFrame中根据日期范围筛选数据是一个常见且重要的操作。其核心在于:

  1. 确保日期列为datetime类型:这是进行有效日期比较的基础。使用pd.to_datetime()并指定正确的format参数进行转换。
  2. 利用布尔索引:一旦日期列是datetime类型,就可以直接使用比较运算符(<, >, <=, >=)创建布尔掩码。
  3. 组合条件:对于日期范围筛选,使用逻辑&(AND)或|(OR)运算符组合多个条件。
  4. 明确的日期比较值:为了代码的清晰性和健壮性,建议将用于比较的日期字符串也通过pd.to_datetime()转换为datetime对象。

遵循这些步骤,可以高效且准确地在Pandas DataFrame中处理和筛选日期数据。

以上就是Pandas DataFrame按日期范围筛选数据的实用指南的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门推荐
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号