Python教程：从JSON数据中精确移除浮点NaN值

引言：理解JSON数据中的NaN问题

在数据处理和交换中，json（javascript object notation）是一种广泛使用的数据格式。然而，在处理从不同源头获取的数据时，我们常常会遇到各种不一致或缺失的值。其中，浮点型“非数字”（not a number, 简称nan）是一个特殊且需要精确处理的类型。尽管标准的json规范不直接支持nan字面量（通常会用null代替或作为字符串存储），但在python等编程语言中解析json时，如果原始数据源包含nan或类似表示，它们可能会被转换为python的float('nan')。

NaN与null（在Python中表示为None）是两种截然不同的概念。null表示一个值不存在或为空，而NaN特指浮点运算中产生的无效或未定义结果（例如0/0）。由于NaN在比较行为上的特殊性（NaN == NaN结果为False），我们不能简单地使用value is None或value == float('nan')来检测它。因此，需要一种专门的方法来准确识别并移除这些浮点NaN值，以确保数据清洁度和后续处理的准确性。

Python中NaN的识别与处理

在Python中，浮点NaN由float('nan')表示。其核心特性是它不等于自身，也不等于任何其他值，包括另一个NaN。

import math
print(float('nan') == float('nan')) # 输出：False
print(float('nan') > 0)             # 输出：False
print(float('nan') < 0)             # 输出：False

这种特殊的比较行为使得常规的相等性检查无法奏效。为了可靠地检测一个值是否为NaN，Python标准库提供了math.isnan()函数。这个函数能够准确判断一个浮点数是否为NaN。

import math
print(math.isnan(float('nan'))) # 输出：True
print(math.isnan(123.45))     # 输出：False
print(math.isnan(None))       # 报错：TypeError, 因为None不是浮点数

因此，math.isnan()是我们在JSON数据中识别并过滤NaN值的关键工具。

立即学习“Python免费学习笔记（深入）”；

核心解决方案：基于字典推导式的数据清洗

为了从JSON对象（在Python中通常表示为字典）中移除NaN值，我们可以结合math.isnan()函数和Python的字典推导式。这种方法简洁高效，能够遍历字典的所有键值对，并根据条件选择性地保留非NaN的条目。

假设我们有一个包含多个JSON对象的数据集，每个对象可能含有float('nan')和None。我们的目标是只移除float('nan')。

示例数据准备

首先，我们模拟一个从JSON文件或字符串加载到Python的数据结构。请注意，为了在Python中直接处理，原始JSON中的NaN字面量需要被解析为float('nan')。如果原始JSON文件包含非标准的NaN字符串，可能需要额外的预处理步骤（例如，在加载时使用json.JSONDecoder的parse_constant参数，或者在加载后对字符串进行转换）。本教程假设数据已被正确解析为包含float('nan')的Python对象。

知我AI

一款多端AI知识助理，通过一键生成播客/视频/文档/网页文章摘要、思维导图，提高个人知识获取效率；自动存储知识，通过与知识库聊天，提高知识利用效率。

101

查看详情

import math
import json

# 模拟从JSON文件加载的数据
# 注意：这里的NaN在Python中被解析为float('nan')
raw_json_data = [
    {
        "name": "John Doe",
        "age": 30,
        "height": None,           # JSON null，在Python中是None
        "weight": float('nan'),   # Python NaN
        "occupation": "Engineer"
    },
    {
        "name": "Jim Hanks",
        "age": float('nan'),
        "height": float('nan'),
        "weight": float('nan'),
        "status": None
    },
    {
        "name": "Jane Smith",
        "age": 25,
        "city": "New York"
    }
]

print("--- 原始数据 (Python表示) ---")
for item in raw_json_data:
    print(item)

remove_nans_from_object函数实现

我们将创建一个函数，它接受一个字典作为输入，并返回一个移除了所有float('nan')键值对的新字典。

import math

def remove_nans_from_object(obj):
    """
    从字典中移除所有值为浮点NaN的键值对。
    此函数不移除值为None（JSON中的null）的键值对。

    参数:
        obj (dict): 待处理的字典对象。

    返回:
        dict: 移除了NaN值的新字典。
    """
    # 使用字典推导式遍历所有键值对
    # 条件：如果值不是浮点数，或者值是浮点数但不是NaN，则保留该键值对
    return {key: value for key, value in obj.items() if not (isinstance(value, float) and math.isnan(value))}

代码解释：

• obj.items()：迭代字典obj中的所有键值对。
• isinstance(value, float)：首先检查当前值value是否为浮点类型。这是必要的，因为math.isnan()只接受浮点数作为参数，对非浮点数调用会引发TypeError。
• math.isnan(value)：如果value是浮点数，则进一步判断它是否为NaN。
• not (...)：这个逻辑表达式确保我们只保留那些“不是浮点NaN”的键值对。换句话说，如果一个值是float('nan')，则isinstance(value, float) and math.isnan(value)为True，not True为False，该键值对就不会被包含在新字典中。

批量处理数据

一旦定义了remove_nans_from_object函数，就可以使用列表推导式将其应用于包含多个JSON对象的列表：

# 应用清洗函数到整个数据集
cleaned_json_data = [remove_nans_from_object(item) for item in raw_json_data]

print("\n--- 清洗后的数据 (Python表示) ---")
for item in cleaned_json_data:
    print(item)

# 如果需要将清洗后的数据重新输出为JSON格式
print("\n--- 清洗后的数据 (JSON格式输出) ---")
# json.dumps 默认会将 float('nan') 转换为 null，但在我们这里，NaN已经被移除了。
# 因此，直接将清洗后的Python对象序列化即可。
for item in cleaned_json_data:
    print(json.dumps(item, indent=2))

输出示例：

--- 原始数据 (Python表示) ---
{'name': 'John Doe', 'age': 30, 'height': None, 'weight': nan, 'occupation': 'Engineer'}
{'name': 'Jim Hanks', 'age': nan, 'height': nan, 'weight': nan, 'status': None}
{'name': 'Jane Smith', 'age': 25, 'city': 'New York'}

--- 清洗后的数据 (Python表示) ---
{'name': 'John Doe', 'age': 30, 'height': None, 'occupation': 'Engineer'}
{'name': 'Jim Hanks', 'status': None}
{'name': 'Jane Smith', 'age': 25, 'city': 'New York'}

--- 清洗后的数据 (JSON格式输出) ---
{
  "name": "John Doe",
  "age": 30,
  "height": null,
  "occupation": "Engineer"
}
{
  "name": "Jim Hanks",
  "status": null
}
{
  "name": "Jane Smith",
  "age": 25,
  "city": "New York"
}

可以看到，所有float('nan')的键值对都被成功移除，而None（JSON中的null）值则被保留。

注意事项

1. NaN与None的区别：本教程提供的方案专门针对float('nan')。如果您的需求是同时移除None值（JSON中的null），则需要修改条件：

   def remove_nans_and_none_from_object(obj):
       return {key: value for key, value in obj.items() if not (isinstance(value, float) and math.isnan(value)) and value is not None}

   登录后复制
2. JSON解析：确保在应用清洗逻辑之前，原始JSON文件中的NaN字面量已经被正确解析为Python的float('nan')。如果它们作为字符串（例如"NaN"）存在，您需要在解析后或清洗前进行额外的转换。例如，使用json.loads()时，可以结合parse_constant参数进行自定义处理，或者在数据加载后对字符串值进行检查和转换。

   # 示例：如果JSON中NaN是字符串 "NaN"
   # raw_json_string = '[{"value": "NaN"}, {"value": 123}]'
   # data = json.loads(raw_json_string) # 此时 value 仍然是字符串 "NaN"
   # # 需要额外的处理，例如：
   # for item in data:
   #     if isinstance(item.get("value"), str) and item["value"].lower() == "nan":
   #         item["value"] = float('nan')

   登录后复制
3. 嵌套结构：上述remove_nans_from_object函数仅处理字典的顶层键值对。如果JSON数据包含嵌套的字典或列表，且其中也可能存在NaN，则需要实现一个递归函数来遍历并清洗所有层级的数据。
4. 性能考量：对于非常大的数据集，列表推导式和字典推导式通常比显式循环更高效和Pythonic。对于极端规模的数据，可以考虑使用生成器表达式或专门的数据处理库（如Pandas）来优化性能。

总结

精确移除JSON数据中的浮点NaN值是数据清洗过程中的一个重要环节。通过利用Python的math.isnan()函数和简洁高效的字典推导式，我们可以构建出鲁棒的解决方案来处理这类特殊值。本教程不仅提供了核心代码实现，还强调了NaN与None的区别以及在实际应用中可能遇到的注意事项，帮助开发者更好地管理和维护数据质量，确保后续数据分析和应用能够基于干净、准确的数据进行。

以上就是Python教程：从JSON数据中精确移除浮点NaN值的详细内容，更多请关注php中文网其它相关文章！