Pandas DataFrame中含None值整数列的类型保持策略

本文旨在解决pandas中将含有`none`值的整数数组加载到dataframe列时，数据类型自动转换为浮点数的问题。我们将深入探讨pandas默认类型推断机制，并介绍如何利用pandas 1.0及更高版本中引入的`pd.na`和`int64dtype`（或其字符串别名`"int64"`）来优雅地处理缺失值，同时保持整数列的原始数据类型，避免不必要的浮点数转换。

理解Pandas中的类型自动转换

在使用Pandas处理数据时，一个常见的场景是将包含缺失值（如None或NaN）的数组加载到DataFrame的列中。当这些数组同时包含整数和缺失值时，Pandas的默认行为通常会将整列的数据类型提升（promote）为浮点数类型。这是因为标准的整数类型（如int64）无法表示NaN（Not a Number），而NaN本质上是浮点数的一种特殊表示。为了容纳缺失值，Pandas会选择能够表示所有值的最通用数据类型，即浮点数。

考虑以下示例，一个包含None和整数的Python列表：

import pandas as pd

the_array = [None, None, None, 101, 555, 756, 924, 485]

# 将列表直接加载到DataFrame列
df = pd.DataFrame(columns=['request'])
df['request'] = the_array

print(df)
print(df.dtypes)

上述代码的输出将是：

   request
0      NaN
1      NaN
2      NaN
3    101.0
4    555.0
5    756.0
6    924.0
7    485.0

request    float64
dtype: object

可以看到，原始的None值被转换为NaN，而所有整数值都被转换为浮点数（例如101变为101.0），列的数据类型也变为了float64。这在某些情况下可能不是我们期望的结果，尤其是在需要严格保持整数类型以进行后续操作或节省内存时。

解决方案：使用可空整数类型（Nullable Integer Dtypes）

从Pandas 1.0.0版本开始，引入了实验性的pd.NA缺失值指示符和一系列可空（nullable）数据类型，以更好地处理不同数据类型中的缺失值，而不仅仅局限于浮点数。对于整数类型，我们可以使用pd.Int64Dtype（或其字符串别名"Int64"）来创建能够包含缺失值pd.NA的整数列。

pd.NA是一个新的标量值，用于表示缺失数据，它与np.nan不同，可以与各种数据类型（包括整数和布尔值）兼容，而不会强制类型提升。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

以下是修正后的代码示例，展示了如何使用Int64Dtype来保持整数类型：

import pandas as pd

the_array = [None, None, None, 101, 555, 756, 924, 485]

# 在创建DataFrame时指定dtype为"Int64"
df = pd.DataFrame(
    data=the_array,
    columns=["request"],
    dtype="Int64",  # 使用字符串别名指定可空整数类型
)
print(df)
print(df.dtypes)

运行上述代码，你将得到以下输出：

   request
0     <NA>
1     <NA>
2     <NA>
3      101
4      555
5      756
6      924
7      485

request    Int64
dtype: object

通过指定dtype="Int64"，我们成功地将None值转换为pd.NA（在打印时显示为<NA>），同时保持了其他非缺失值的整数类型。列的数据类型也正确地显示为Int64，表示这是一个可空的64位整数类型。

pd.NA与np.nan的区别与优势

• 类型兼容性： np.nan（NumPy的缺失值表示）是浮点类型，它的存在会强制Pandas列转换为浮点数。而pd.NA是一个独立的缺失值指示符，不属于任何特定的数值类型，因此它允许整数、布尔等非浮点列包含缺失值而无需进行类型转换。
• 语义清晰： pd.NA提供了更清晰的缺失数据语义，特别是在处理非数值数据时。
• 内存效率： 在某些情况下，使用可空整数类型可能比使用浮点数类型更节省内存，尤其是在数据集中大部分都是整数且只有少量缺失值时。

注意事项与最佳实践

1. Pandas版本要求： 确保你的Pandas版本在1.0.0或更高。如果使用旧版本，此方法将不适用。
2. 选择正确的Dtype： Pandas提供了多种可空数据类型，例如Int8, Int16, Int32, Int64（对应不同大小的整数），以及Boolean（可空布尔类型）。根据你的数据范围选择最合适的类型。
3. 后续操作： 当列中包含pd.NA时，某些依赖于严格数值类型的操作可能需要注意。例如，进行数学运算时，pd.NA会像np.nan一样传播，导致结果也为pd.NA。
4. 读取数据时指定： 在从CSV、Excel等文件读取数据时，也可以通过pd.read_csv()等函数的dtype参数直接指定列的类型，例如pd.read_csv('data.csv', dtype={'column_name': 'Int64'})。

总结

在Pandas中处理含有None值的整数数组时，为了避免不必要的类型自动转换为浮点数，最佳实践是利用Pandas 1.0及更高版本提供的可空整数类型，如"Int64"。这不仅能够保持数据的原始整数类型，还能通过pd.NA优雅地表示缺失值，从而提高数据处理的准确性和效率。理解并正确运用这些现代Pandas特性，对于维护数据完整性和优化数据分析流程至关重要。

以上就是Pandas DataFrame中含None值整数列的类型保持策略的详细内容，更多请关注php中文网其它相关文章！