高效列出 Python 中 Parquet 文件分区的方法-Python教程-PHP中文网

高效列出 Python 中 Parquet 文件分区的方法

DDD

发布： 2025-09-18 20:11:01

原创

525人浏览过

高效列出 python 中 parquet 文件分区的方法

本文旨在介绍如何高效地在 Python 中列出 Parquet 文件的分区，避免使用 Pandas 读取整个数据集带来的性能瓶颈。我们将探讨使用 pyarrow 库直接读取 Parquet 文件元数据的方法，并提供代码示例，帮助你快速获取分区列表，从而更高效地处理分区 Parquet 数据。

使用 pyarrow 获取 Parquet 文件分区

当处理大型分区 Parquet 文件时，使用 pandas.read_parquet 读取整个数据集仅仅为了获取分区列表是一种低效的做法。pyarrow 库提供了一种更高效的方法，可以直接读取 Parquet 文件的元数据，从而获取分区信息，而无需加载实际的数据内容。

以下是使用 pyarrow 获取 Parquet 文件分区的示例代码：

import pyarrow.parquet as pq
import os

def get_parquet_partitions(parquet_path):
    """
    获取 Parquet 文件或目录的分区列表。

    Args:
        parquet_path (str): Parquet 文件或目录的路径。

    Returns:
        list: 分区列表。
    """
    try:
        # 尝试读取 Parquet 文件
        parquet_file = pq.ParquetFile(parquet_path)
        partitions = parquet_file.metadata.row_group(0).column(0).path_in_schema.split('/')[0].split('=')[1]

        # 提取分区值
        partition_values = [partitions]

        return partition_values
    except:
        # 尝试读取 Parquet 目录
        partitions = []
        for subdir in os.listdir(parquet_path):
            subdir_path = os.path.join(parquet_path, subdir)
            if os.path.isdir(subdir_path) and '=' in subdir:
                try:
                    partition_value = subdir.split('=')[1]
                    partitions.append(partition_value)
                except IndexError:
                    print(f"Skipping invalid subdirectory: {subdir}")
        return partitions

# 示例用法
parquet_path = "myparquet.parquet"  # 替换为你的 Parquet 文件或目录路径
partitions = get_parquet_partitions(parquet_path)
print(partitions)

登录后复制

代码解释：

立即学习“Python免费学习笔记（深入）”；

法语写作助手

法语助手旗下的AI智能写作平台，支持语法、拼写自动纠错，一键改写、润色你的法语作文。

查看详情

导入必要的库: pyarrow.parquet 用于读取 Parquet 文件，os 用于处理文件路径。
get_parquet_partitions 函数: 接受 Parquet 文件或目录的路径作为输入。
读取 Parquet 文件元数据: 使用 pq.ParquetFile(parquet_path) 打开 Parquet 文件，并访问其元数据。parquet_file.metadata.row_group(0).column(0).path_in_schema.split('/')[0].split('=')[1] 获取第一个行组的第一个列的 schema 路径，并从中提取分区值。
处理 Parquet 目录: 如果提供的路径是一个目录，则遍历该目录下的所有子目录，并假设每个子目录名包含分区信息（例如，partition_col=1）。提取子目录名中的分区值。
返回分区列表: 函数返回一个包含所有分区值的列表。

注意事项：