在数据处理和分析过程中，我们经常会遇到缺失值或无效值。其中，NaN (Not a Number) 是一种特殊的浮点数值，常用于表示计算结果未定义或数据缺失。当处理从外部系统（如数据库、API接口）获取的JSON数据时，NaN 值可能会以各种形式存在，例如作为Python的 float('nan') 类型，或者在非标准JSON中直接以 NaN 字面量出现。为了确保数据质量和后续处理的准确性，移除这些 NaN 值是数据清洗的关键一步。本教程将专注于如何使用Python，特别是 math 模块，来高效地识别并移除JSON数据中表示为 float('nan') 的值。
JSON（JavaScript Object Notation）标准本身并不支持 NaN、Infinity 或 -Infinity 这些字面量。在标准的JSON中，表示缺失或空值通常使用 null。然而，在实际应用中，尤其当数据来源于支持这些概念的编程语言（如Python、JavaScript）时，NaN 可能会通过以下方式进入我们的处理流程：
本教程将主要关注如何处理已在Python中表示为 float('nan') 的值。
在Python中，float('nan') 有一个非常特殊的性质：它不等于自身。这意味着，float('nan') == float('nan') 的结果是 False。因此，我们不能简单地使用 == 运算符来判断一个值是否为 NaN。例如：
立即学习“Python免费学习笔记（深入）”；
import math
nan_value = float('nan')
print(nan_value == nan_value) # 输出: False
print(nan_value is nan_value) # 输出: True (因为是同一个对象引用)虽然 is 运算符可以判断是否为同一个对象引用，但如果数据中存在多个不同的 float('nan') 实例，is 也无法准确识别所有 NaN 值。为了可靠地识别 float('nan')，Python的 math 模块提供了 math.isnan() 函数。这个函数专门设计用于检测浮点数是否为 NaN。
我们的目标是从字典中移除所有值为 float('nan') 的键值对，同时保留其他类型的值，包括 None。我们可以编写一个辅助函数来实现这一点。
import math
import json # 用于演示JSON加载和输出
def remove_nans(obj: dict) -> dict:
"""
从字典中移除所有值为 Python float('nan') 的键值对。
同时保留值为 None（对应JSON中的 null）的键值对。
Args:
obj (dict): 输入字典。
Returns:
dict: 移除了 NaN 值的字典。
"""
cleaned_obj = {}
for key, value in obj.items():
# 检查值是否为浮点数且为 NaN
# 只有当值是 float 类型，并且 math.isnan() 返回 True 时，才认为是 NaN
if not (isinstance(value, float) and math.isnan(value)):
cleaned_obj[key] = value
return cleaned_obj
代码解析：
假设我们有一个包含多个记录的JSON文件，其中一些字段包含 NaN 值（在Python中已解析为 float('nan')）。
模拟输入数据（Python字典列表）：
# 模拟从JSON文件加载后的数据
# 注意：实际的JSON文件不能直接包含 NaN 字面量，
# 这里的 float('nan') 是假设 JSON 解析器已将其转换为 Python 浮点数 NaN。
data_with_nans = [
{
"name": "John Doe",
"age": 30,
"height": None, # 对应 JSON 的 null
"weight": float('nan'),
"city": "New York"
},
{
"name": "Jim Hanks",
"age": float('nan'),
"height": float('nan'),
"weight": float('nan'),
"occupation": "Actor"
},
{
"name": "Jane Smith",
"age": 25,
"height": 1.70,
"weight": 60.5
}
]
print("--- 原始数据 ---")
for item in data_with_nans:
print(item)
# 应用 remove_nans 函数处理数据
processed_data = [remove_nans(row) for row in data_with_nans]
print("\n--- 处理后的数据 ---")
for item in processed_data:
print(item)
# 如果需要将处理后的数据再次输出为JSON格式（假设允许 NaN 的序列化）
# import json
# try:
# json_output = json.dumps(processed_data, indent=2, allow_nan=True)
# print("\n--- 处理后并序列化为JSON ---")
# print(json_output)
# except ValueError as e:
# print(f"\n序列化为JSON时发生错误: {e}")
# print("注意：标准JSON不支持NaN字面量，如果 allow_nan=False 会报错。")输出结果：
--- 原始数据 ---
{'name': 'John Doe', 'age': 30, 'height': None, 'weight': nan, 'city': 'New York'}
{'name': 'Jim Hanks', 'age': nan, 'height': nan, 'weight': nan, 'occupation': 'Actor'}
{'name': 'Jane Smith', 'age': 25, 'height': 1.7, 'weight': 60.5}
--- 处理后的数据 ---
{'name': 'John Doe', 'age': 30, 'height': None, 'city': 'New York'}
{'name': 'Jim Hanks', 'occupation': 'Actor'}
{'name': 'Jane Smith', 'age': 25, 'height': 1.7, 'weight': 60.5}从输出可以看出，所有 float('nan') 值的键值对都被成功移除了，而 None 值（对应JSON的 null）以及其他有效数据都被保留。
# 如果也想移除 None 值
if value is not None and not (isinstance(value, float) and math.isnan(value)):
cleaned_obj[key] = valuedef remove_nans_recursive(obj):
if isinstance(obj, dict):
return {k: remove_nans_recursive(v) for k, v in obj.items()
if not (isinstance(v, float) and math.isnan(v))}
elif isinstance(obj, list):
return [remove_nans_recursive(elem) for elem in obj]
else:
return obj处理JSON数据中的 NaN 值是数据清洗中一个常见且重要的任务。由于 float('nan') 在Python中具有不等于自身的特殊性质，我们不能依赖简单的等值比较。通过利用 math.isnan() 函数，并结合 isinstance() 进行类型检查，我们可以构建一个健壮且高效的解决方案，精确地识别并移除数据中的 float('nan') 值。掌握这种方法，能够帮助您更好地管理和清洗数据，为后续的数据分析和应用奠定坚实的基础。
以上就是Python教程：高效移除JSON数据中的NaN值的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
725
收藏
