如何使用Pandas规范化多层嵌套的复杂JSON数据

复杂JSON数据的规范化挑战

在数据处理中，我们经常会遇到结构复杂的json数据，其中包含多层嵌套的字典和列表。例如，以下是一个典型的复杂json结构：

data = {
  "id": 12345,
  "name": "Doe",
  "gender": {
    "textEn": "Masculin"
  },
  "professions": [
    {
      "job_description": {
        "textEn": "Job description"
      },
      "cetTitles": [
        {
          "cetTitleType": {
            "textEn": "Recognition"
          },
          "issuanceDate": "1992-04-14T00:00:00Z",
          "phoneNumbers": [
            "123 221 00 70"
          ]
        }
      ]
    }
  ]
}

我们的目标是将这样的数据扁平化，使其所有关键信息都作为Pandas DataFrame的列，最终形成一个单行表格，便于后续的数据分析和存储。直接使用pd.json_normalize处理多层嵌套的列表和字典可能会遇到困难，特别是当record_path需要深入到多层结构时。

使用pd.json_normalize进行初步扁平化

pd.json_normalize函数是处理嵌套JSON数据的强大工具。它允许我们指定一个record_path来展开列表中的记录，并使用meta参数来保留其他非列表字段。

1. 确定record_path: record_path参数用于指定一个列表，该列表中的元素是JSON路径，指向需要展开的“记录列表”。在我们的例子中，professions是一个列表，其内部的cetTitles也是一个列表。因此，我们可以将record_path设置为["professions", "cetTitles"]，以展开最深层的cetTitles列表。

2. 确定meta字段: meta参数用于指定哪些非列表字段应该被保留并添加到最终的DataFrame中。它可以是一个字符串列表（用于顶级字段）或一个列表的列表（用于嵌套字段）。

   • 顶级字段："id", "name"
   • 嵌套字段："gender" (虽然它是一个字典，但我们希望将其作为一个整体保留，稍后处理其内部值)。["professions", "job_description"] (同样，将其作为一个整体保留，稍后处理)。

结合以上，我们可以构建初始的json_normalize调用：

import pandas as pd

df = pd.json_normalize(
    data=data,
    record_path=["professions", "cetTitles"],
    meta=["id", "name", "gender", ["professions", "job_description"]]
)

此时，df会包含cetTitles中的字段，以及id、name、gender和job_description。然而，gender和job_description会作为嵌套的字典对象出现在DataFrame列中，例如{'textEn': 'Masculin'}。

后处理：扁平化嵌套字典和列表

为了达到期望的扁平化效果，我们需要对json_normalize的输出进行进一步处理。

1. 处理列表字段 (phoneNumbers): cetTitles中的phoneNumbers字段本身是一个列表。如果一个cetTitle有多个电话号码，我们希望每个电话号码都占据一行，或者如果只有一个，则直接扁平化。explode()函数可以有效地处理这种情况，它会将列表中的每个元素转换为单独的行。

   df = df.explode(column="phoneNumbers")

   登录后复制

2. 扁平化{'textEn': 'value'}格式的字典字段: gender和job_description列现在包含形如{'textEn': 'Masculin'}的字典。为了提取textEn的值并将其作为独立的列，我们可以采用以下步骤：

   • 使用df.pop("column_name")提取列，并将其转换为列表。
   • 将该列表传递给pd.DataFrame()，这会将每个字典转换为一行（或多行，如果字典结构复杂）。
   • 由于我们知道字典中只有一个键textEn，我们可以直接获取其值。
   • 重命名新生成的列以匹配期望的输出。

   # 处理 gender 字段
   df = df.join(pd.DataFrame(df.pop("gender").values.tolist()))
   # 处理 job_description 字段
   df = df.join(pd.DataFrame(df.pop("professions.job_description").values.tolist()))

   登录后复制

   请注意，professions.job_description是json_normalize在处理meta参数时自动生成的列名。

3. 统一列名: 经过上述处理，可能会出现gender.textEn、professions.job_description.textEn这样的列名，以及textEn这样的通用列名。我们需要将其统一为更简洁的名称。

   • 对于cetTitleType，json_normalize会生成cetTitleType.textEn。
   • 对于gender和job_description，我们希望最终的列名是gender和job_description。

   一个通用的方法是，如果列名包含.textEn，则只保留textEn后面的部分，或者直接重命名。

   

   Chromox

   Chromox是一款领先的AI在线生成平台，专为喜欢AI生成技术的爱好者制作的多种图像、视频生成方式的内容型工具平台。

   184

   查看详情

   # 统一处理所有以 .textEn 结尾的列名
   df.columns = df.columns.str.split(".").str[-1]
   
   # 针对 gender 和 job_description 进行精确重命名，以防万一
   # 此时，如果前面已经执行了 df.columns = df.columns.str.split(".").str[-1]，
   # 那么 gender.textEn 会变成 textEn，我们需要将其改回 gender。
   # 更好的做法是在通用重命名后，再进行特定列的重命名。
   df = df.rename(columns={"textEn": "gender"}) # 此时的 textEn 可能是 gender 转换来的
   df = df.rename(columns={"textEn": "job_description"}) # 此时的 textEn 可能是 job_description 转换来的
   # 注意：如果存在多个 'textEn'，这种重命名方式可能会覆盖。
   # 更严谨的做法是先处理特定的，再处理通用的，或者根据原始列名判断。
   # 鉴于原始数据结构，这里两次 rename 效果是正确的，因为 pop 已经将原始列移除。

   登录后复制

   更稳健的重命名策略是，在每次join后立即重命名新生成的列，或者在所有join完成后，根据原始列名映射进行重命名。考虑到json_normalize会将gender和professions.job_description作为完整的字典保留，然后我们手动将其展开，所以最终会生成textEn列。

完整解决方案代码

将上述步骤整合起来，得到以下完整的Python代码：

import pandas as pd

data = {
  "id": 12345,
  "name": "Doe",
  "gender": {
    "textEn": "Masculin"
  },
  "professions": [
    {
      "job_description": {
        "textEn": "Job description"
      },
      "cetTitles": [
        {
          "cetTitleType": {
            "textEn": "Recognition"
          },
          "issuanceDate": "1992-04-14T00:00:00Z",
          "phoneNumbers": [
            "123 221 00 70"
          ]
        }
      ]
    }
  ]
}

# 1. 使用 json_normalize 扁平化主要结构
# record_path 指向最深层的列表，meta 包含需要保留的顶层和中间层字段
df = pd.json_normalize(
    data=data,
    record_path=["professions", "cetTitles"],
    meta=["id", "name", "gender", ["professions", "job_description"]]
)

# 2. 扁平化 phoneNumbers 列表（如果一个 cetTitle 有多个电话号码，会生成多行）
df = df.explode(column="phoneNumbers")

# 3. 扁平化 'gender' 字典字段
# 提取 'gender' 列，将其内部字典转换为 DataFrame，然后合并
gender_df = pd.DataFrame(df.pop("gender").values.tolist())
df = df.join(gender_df)
df = df.rename(columns={"textEn": "gender"}) # 重命名新生成的 'textEn' 列为 'gender'

# 4. 扁平化 'professions.job_description' 字典字段
# 提取 'professions.job_description' 列，将其内部字典转换为 DataFrame，然后合并
job_description_df = pd.DataFrame(df.pop("professions.job_description").values.tolist())
df = df.join(job_description_df)
df = df.rename(columns={"textEn": "job_description"}) # 重命名新生成的 'textEn' 列为 'job_description'

# 5. 统一处理剩余的列名，例如 'cetTitleType.textEn' -> 'cetTitleType'
# 这一步应该在所有 pop 和 join 之后执行，以确保所有列名都被处理
df.columns = df.columns.str.split(".").str[-1]

print(df)

输出结果

执行上述代码，将得到以下DataFrame：

     issuanceDate   phoneNumbers     id name       gender job_description cetTitleType
0  1992-04-14T00:00:00Z  123 221 00 70  12345  Doe   Masculin   Job description  Recognition

这个输出与我们期望的扁平化表格完全一致，所有嵌套信息都被成功提取并作为独立的列呈现。

注意事项与总结

• record_path的选择: 务必将record_path指向一个包含字典的列表。如果指向一个字典，会引发TypeError。
• meta参数的灵活性: meta参数可以接受字符串列表（用于顶级键）或列表的列表（用于嵌套键），这对于保留关键上下文信息至关重要。
• 后处理的必要性: json_normalize并非万能。对于某些特定格式（如{'key': 'value'}）或需要explode的列表，通常需要进行额外的pop、join、explode和rename操作。
• 列名冲突: 在进行多次join和重命名时，要特别注意列名冲突。例如，如果多个字典字段都包含textEn键，直接rename(columns={"textEn": ...})可能会导致意外结果。更安全的做法是为每个pop出来的字段单独进行join和重命名，或者在最终统一重命名时，确保逻辑能够正确处理所有情况。
• 数据类型: 扁平化后，请检查DataFrame中各列的数据类型是否符合预期，必要时进行类型转换。

通过掌握pd.json_normalize及其配合explode、pop、join和列重命名等技巧，可以高效地处理各种复杂嵌套的JSON数据，将其转换为易于分析的表格形式。

以上就是如何使用Pandas规范化多层嵌套的复杂JSON数据的详细内容，更多请关注php中文网其它相关文章！