如何用Python处理JSON嵌套数据？json_normalize技巧

[
  {
    "user_id": "U001",
    "user_name": "Alice",
    "contact": {
      "email": "alice@example.com",
      "phone": "123-456-7890"
    },
    "orders": [
      {
        "order_id": "O101",
        "date": "2023-01-15",
        "items": [
          {"item_id": "P001", "name": "Laptop", "price": 1200, "qty": 1},
          {"item_id": "P002", "name": "Mouse", "price": 25, "qty": 2}
        ]
      },
      {
        "order_id": "O102",
        "date": "2023-01-20",
        "items": [
          {"item_id": "P003", "name": "Keyboard", "price": 75, "qty": 1}
        ]
      }
    ]
  },
  {
    "user_id": "U002",
    "user_name": "Bob",
    "contact": {
      "email": "bob@example.com",
      "phone": "987-654-3210"
    },
    "orders": [
      {
        "order_id": "O201",
        "date": "2023-02-01",
        "items": [
          {"item_id": "P004", "name": "Monitor", "price": 300, "qty": 1}
        ]
      }
    ]
  }
]

import pandas as pd
from pandas import json_normalize
import json

data = [
  {
    "user_id": "U001",
    "user_name": "Alice",
    "contact": {
      "email": "alice@example.com",
      "phone": "123-456-7890"
    },
    "orders": [
      {
        "order_id": "O101",
        "date": "2023-01-15",
        "items": [
          {"item_id": "P001", "name": "Laptop", "price": 1200, "qty": 1},
          {"item_id": "P002", "name": "Mouse", "price": 25, "qty": 2}
        ]
      },
      {
        "order_id": "O102",
        "date": "2023-01-20",
        "items": [
          {"item_id": "P003", "name": "Keyboard", "price": 75, "qty": 1}
        ]
      }
    ]
  },
  {
    "user_id": "U002",
    "user_name": "Bob",
    "contact": {
      "email": "bob@example.com",
      "phone": "987-654-3210"
    },
    "orders": [
      {
        "order_id": "O201",
        "date": "2023-02-01",
        "items": [
          {"item_id": "P004", "name": "Monitor", "price": 300, "qty": 1}
        ]
      }
    ]
  }
]

# 第一次拍平：将用户和订单关联起来
# record_path 指定要展开的列表路径
# meta 指定要保留的父级键
orders_df = json_normalize(
    data,
    record_path='orders',
    meta=['user_id', 'user_name', ['contact', 'email'], ['contact', 'phone']],
    sep='_' # 用于连接meta中多层嵌套键的名称
)

# 第二次拍平：将订单和商品关联起来
# 此时的输入数据是orders_df，但我们需要操作的是其中的'items'列
# 这一步稍微有点技巧，因为json_normalize通常直接处理list of dicts
# 这里需要对orders_df的每一行进行迭代或再次应用json_normalize
# 更直接的方法是先将所有items提取出来，再normalize
all_items = []
for idx, row in orders_df.iterrows():
    order_items = row['items']
    # 将订单ID和日期等信息添加到每个item中，以便后续关联
    for item in order_items:
        item['order_id'] = row['order_id']
        item['order_date'] = row['date']
        item['user_id'] = row['user_id'] # 再次添加用户ID，方便最终合并
    all_items.extend(order_items)

items_df = json_normalize(all_items)

# 最后，将用户、订单、商品信息合并成一个宽表
# 通常我们会选择一个合适的键进行合并，这里是user_id和order_id
# 但由于第二次拍平已经包含了这些信息，我们只需要选择需要的列
# 也可以考虑先将所有数据normalize到最细粒度（item），再选择列
final_df = items_df[[
    'user_id', 'order_id', 'order_date',
    'item_id', 'name', 'price', 'qty'
]]

print(final_df)

# 假设我们想直接从最顶层的数据中，一步到位地获取所有商品的详细信息，
# 并关联上用户ID、用户姓名、订单ID和订单日期。
# 这就需要record_path指向['orders', 'items']
# meta则需要包含 user_id, user_name, 以及 orders下的 order_id 和 date

# 注意：当record_path指向一个多层路径时，meta中的路径也需要相应调整
# 比如，如果record_path是 ['orders', 'items']，那么meta中的 'order_id'
# 实际上是从 'orders' 这一层级获取的，所以需要写成 ['orders', 'order_id']
# 但json_normalize在处理这种多层record_path时，meta参数的解读会有些不同
# 它会默认你提供的meta字段是相对于record_path的“父级”层级。
# 简单来说，如果record_path是A->B，那么meta中的字段就是从A这个层级取的。
# 但如果meta字段本身也是嵌套的，比如 contact.email，就需要用列表表示 ['contact', 'email']

# 实际操作中，直接用['orders', 'items']作为record_path，并把所有父级信息都放进meta，
# 可能会有点复杂，因为meta的路径是相对于record_path的父级而言的。
# 通常更推荐分步处理，或者先将数据结构预处理一下。
# 但如果结构允许，可以这样尝试：

items_flat_df = json_normalize(
    data,
    record_path=['orders', 'items'], # 展开到最细粒度的items
    meta=[
        'user_id',
        'user_name',
        ['contact', 'email'],
        ['contact', 'phone'],
        ['orders', 'order_id'], # 从orders层级获取order_id
        ['orders', 'date']      # 从orders层级获取date
    ],
    errors='ignore' # 忽略可能存在的路径错误，避免中断
)

# 这样处理后，你会发现['orders', 'order_id']和['orders', 'date']可能会出现重复，
# 因为json_normalize会为每个item重复其父级orders的信息。
# 实际输出时，它会尝试将这些父级信息关联到每个展开的子项上。
# 但需要注意的是，当record_path是多层嵌套时，meta的路径是相对于record_path的*直接父级*而言的。
# 也就是说，如果record_path是 ['orders', 'items']，那么 meta 里的 'order_id' 
# 是从 'orders' 这个层级取出来的，而不是从最顶层。
# 这也是为什么我个人倾向于分步拍平，或者在第二次拍平前，先将第一次拍平的结果进行预处理，
# 把需要保留的父级信息直接注入到子级列表的每个字典中。
# 比如，在上面第一次拍平后，迭代`orders_df`，把`order_id`和`user_id`加到每个`item`字典里，
# 这样第二次拍平`items`时，它们就自然成为列了。这种手动注入的方式，虽然多了一步，
# 但在处理逻辑上会更直观，尤其在JSON结构非常复杂且不规则时。

`meta`参数则负责从原始JSON的父级层中提取你想要保留的字段。它可以是一个字符串（如`'user_id'`），也可以是一个路径列表（如`['contact', 'email']`），用于提取嵌套的父级字段。`json_normalize`会把这些`meta`字段的值复制到每个展开的行中，确保你不会丢失上下文信息。当你需要将不同层级的数据关联起来时，`meta`是必不可少的。

### json_normalize遇到缺失值或不规则结构时如何应对？

实际工作中，我们拿到的JSON数据很少是完美的。键可能缺失，或者某些字段的结构突然变了，这在日志数据或者第三方API返回中尤其常见。`json_normalize`在处理这些“不完美”时，默认行为是相当稳健的。

当`json_normalize`在尝试访问`record_path`或`meta`中指定的键，而该键不存在时，它会默认用`NaN`（Not a Number）或`None`来填充对应的列。这通常是可接受的，因为它避免了程序崩溃，并清晰地标识了数据缺失的位置。

如果你希望在遇到这种缺失或不规则情况时，`json_normalize`的行为有所不同，可以使用`errors`参数。
*   `errors='ignore'` (默认值): 这是最常用的选项，它会忽略错误，将无法解析的字段填充为`NaN`，然后继续处理。这对于数据质量不高的场景非常有用，因为它能让你尽可能多地提取出有效数据。
*   `errors='raise'`: 如果你对数据结构有严格要求，任何一个指定路径的键缺失都应该被视为错误并中断程序，那么可以选择这个选项。它会抛出一个`KeyError`或其他相关异常。这在开发和测试阶段，或者你确信数据应该总是符合特定结构时很有用，能帮助你快速发现数据源的问题。

举个例子，如果我们的JSON数据中，有的用户没有`contact`信息，或者`orders`列表是空的：

```json
[
  {
    "user_id": "U003",
    "user_name": "Charlie",
    "orders": [] # 空订单列表
  },
  {
    "user_id": "U004",
    "user_name": "Diana",
    "contact": { "email": "diana@example.com" } # 缺少phone
  }
]

data_irregular = [
  {
    "user_id": "U003",
    "user_name": "Charlie",
    "orders": []
  },
  {
    "user_id": "U004",
    "user_name": "Diana",
    "contact": { "email": "diana@example.com" }
  }
]

# 第一次拍平
orders_df_irregular = json_normalize(
    data_irregular,
    record_path='orders',
    meta=['user_id', 'user_name', ['contact', 'email'], ['contact', 'phone']],
    sep='_',
    errors='ignore' # 明确指定忽略错误
)

print(orders_df_irregular)