
本文详细探讨了如何将特定格式的9字节二进制数据转换为python中的日期时间戳。通过对二进制样本的模式分析,我们发现中间7个字节以逆序排列构成一个大整数,经过右移23位并减去一个经验常数后,可近似得到自unix纪元以来的秒数。文章提供了使用`pandas`库进行精确转换的python实现,并强调了时区处理的重要性。
在数据处理中,将原始二进制数据解析为可读的日期时间格式是一项常见的挑战,尤其当数据的编码方式不明确时。本文将以一个具体的9字节二进制数据转换为日期时间戳的案例为例,详细介绍如何通过模式识别、位运算和经验校准,在Python中实现这一转换。
我们面临的问题是将一系列9字节的十六进制数据(例如 30 65 1a eb e3 f2 96 c5 41)转换为对应的日期时间戳(例如 2023年12月16日 15:03)。通过观察提供的样本数据,我们注意到以下几个关键点:
这些观察引导我们进一步探索中间7个字节的内部结构。
基于上述观察,我们尝试将中间7个字节视为一个整体,并将其转换为一个大整数。考虑到字节序可能与我们直观理解的不同,我们尝试将这些字节以逆序拼接起来,形成一个十六进制字符串,然后将其转换为十进制整数。
立即学习“Python免费学习笔记(深入)”;
例如,对于二进制序列 30 65 1a eb e3 f2 96 c5 41,我们提取中间的7个字节 65 1a eb e3 f2 96 c5。将其逆序排列得到 c5 96 f2 e3 eb 1a 65。将这个逆序的十六进制字符串转换为十进制整数。
接下来,通过比较多个样本数据及其对应的时间戳,我们发现:
因此,将二进制数据转换为Unix纪元秒的公式可以表示为: Epoch秒 = (int('逆序中间字节', 16) >> 23) - 4927272860
为了实现这一转换,我们将使用Python的内置函数处理十六进制字符串和整数,并利用pandas库来处理日期时间对象,特别是其强大的时区处理能力。
首先,定义一个函数 f(k) 来执行上述的二进制到Epoch秒的转换:
def f(k):
"""
将二进制字符串(以空格分隔的十六进制字节)转换为近似的Unix纪元秒。
k: 以空格分隔的十六进制字节字符串,例如 '30 65 1a eb e3 f2 96 c5 41'
"""
# 提取中间的7个字节,并逆序排列
# k.split()[1:-1] 获取除首尾外的字节列表
# [::-1] 将列表逆序
# ''.join(...) 将逆序的字节列表拼接成一个十六进制字符串
# int(..., 16) 将十六进制字符串转换为十进制整数
intermediate_bytes_reversed = ''.join(k.split()[1:-1][::-1])
# 执行右移23位操作,并减去经验常数
return (int(intermediate_bytes_reversed, 16) >> 23) - 4927272860接下来,我们使用pandas库将得到的Epoch秒转换为可读的日期时间格式。pandas.Timestamp可以直接接受Unix纪元时间(以纳秒为单位),因此我们需要将Epoch秒乘以 1e9。同时,考虑到日期可能受到夏令时等因素的影响,指定正确的时区至关重要。
import pandas as pd
# 设定时区,例如欧洲/苏黎世,以处理夏令时等问题
tz = 'Europe/Zurich'
def to_time(k, tz):
"""
将二进制字符串转换为指定时区的pandas.Timestamp对象。
k: 以空格分隔的十六进制字节字符串
tz: 目标时区字符串,例如 'Europe/Zurich'
"""
# 调用f(k)获取Epoch秒,然后乘以1e9转换为纳秒,传递给pd.Timestamp
return pd.Timestamp(f(k) * 1e9, tz=tz)
# 准备测试数据
examples = {
'30 65 1a eb e3 f2 96 c5 41': '16 December 2023 at 15:03',
'30 c6 36 85 70 8a 97 c5 41': '17 December 2023 at 12:37',
'30 4a 26 1b 6b 29 74 c4 41': '1 October 2022 at 12:49',
'30 23 84 b1 a8 b5 97 c5 41': '17 December 2023 at 18:45',
'30 3f 91 e7 96 b5 97 c5 41': '17 December 2023 at 18:45:30',
'30 a6 d6 2f d1 b5 97 c5 41': '17 December 2023 at 18:46',
'30 e8 16 9c b9 b5 97 c5 41': '17 December 2023 at 18:47',
}
# 将示例中的字符串时间转换为带有时区的pandas.Timestamp对象,并按时间排序
examples = dict(sorted([
(k, pd.Timestamp(v, tz=tz)) for k, v in examples.items()
], key=lambda item: item[1]))
# 格式化输出字符串
fmt = '%F %T %Z'
# 对所有示例进行测试,并计算转换结果与实际时间的差异
test_results = [
(
f'{v:{fmt}}', # 原始给定时间
f'{to_time(k, tz=tz):{fmt}}', # 从二进制估算的时间
(to_time(k, tz=tz) - v).total_seconds(), # 差异(秒)
)
for k, v in examples.items()
]
# 打印测试结果
for result in test_results:
print(f"原始时间: {result[0]}, 估算时间: {result[1]}, 差异(秒): {result[2]}")运行上述代码,将得到如下输出:
原始时间: 2022-10-01 12:49:00 CEST, 估算时间: 2022-10-01 12:49:30 CEST, 差异(秒): 30.0 原始时间: 2023-12-16 15:03:00 CET, 估算时间: 2023-12-16 15:03:23 CET, 差异(秒): 23.0 原始时间: 2023-12-17 12:37:00 CET, 估算时间: 2023-12-17 12:36:37 CET, 差异(秒): -23.0 原始时间: 2023-12-17 18:45:00 CET, 估算时间: 2023-12-17 18:45:25 CET, 差异(秒): 25.0 原始时间: 2023-12-17 18:45:30 CET, 估算时间: 2023-12-17 18:44:49 CET, 差异(秒): -41.0 原始时间: 2023-12-17 18:46:00 CET, 估算时间: 2023-12-17 18:46:46 CET, 差异(秒): 46.0 原始时间: 2023-12-17 18:47:00 CET, 估算时间: 2023-12-17 18:45:59 CET, 差异(秒): -61.0
从结果可以看出,转换后的时间与原始时间之间存在数十秒的差异。这表明我们找到的转换公式已经非常接近,但可能需要更精确的常数或更复杂的模型来消除这些微小误差。
通过这种系统性的分析和实现方法,即使面对不透明的二进制数据格式,我们也能有效地推导出其日期时间编码规则,并在Python中实现可靠的转换。这种方法强调了观察数据模式、假设验证以及利用适当的工具库(如pandas)的重要性。
以上就是Python中二进制数据到日期时间戳的转换技巧的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号