从NumPy数组列表高效构建带命名列的Pandas DataFrame

本教程详细指导如何将包含多个numpy数组的列表，高效地整合为一个统一的pandas dataframe。我们将利用python的字典推导式结合pandas的`concat`、`rename`和`reset_index`函数，为每个原始数组自动生成一个标识列，并优化dataframe的列名，从而实现复杂数据结构的扁平化与标准化，便于后续分析。

在数据处理和分析的场景中，我们经常会遇到需要将一系列结构相似但各自独立的NumPy数组整合成一个统一的Pandas DataFrame的需求。更进一步，我们可能希望在最终的DataFrame中增加一个列，用于标识每个数据行来源于哪个原始数组。本教程将详细介绍一种高效且灵活的方法来解决这一问题。

初始数据结构

假设我们有一个包含多个NumPy数组的列表，这些数组可能具有不同的行数（即不同的形状），但通常具有相同的列数。例如：

import numpy as np
import pandas as pd

data = [np.array([[1, 2, 3], [1, 3, 2], [1, 1, 2]]),
        np.array([[1, 3, 3], [2, 1, 2]]),
        np.array([[1, 3, 4], [2, 1, 2], [1, 3, 2], [1, 1, 2]])]

print("原始数据列表中的第一个数组:\n", data[0])
print("\n原始数据列表中的第二个数组:\n", data[1])

我们的目标是将这些数组合并成一个DataFrame，并添加一个名为array_name的列，指示每行数据来自array1、array2或array3等。

解决方案概述

为了实现这一目标，我们将综合运用以下Pandas和Python的特性：

1. 字典推导式 (Dictionary Comprehension)：用于为每个NumPy数组生成一个带名称的Pandas DataFrame。
2. pd.concat()：将这些带名称的DataFrame合并为一个。
3. DataFrame.rename()：重命名DataFrame的列，使其更具描述性。
4. DataFrame.reset_index()：将由pd.concat生成的层级索引转换为普通列。

详细步骤与代码实现

我们将分步构建解决方案，并解释每一步的作用。

1. 使用字典推导式创建带名称的DataFrame字典

首先，我们需要将列表中的每个NumPy数组转换为Pandas DataFrame，并为它们分配一个唯一的名称。这可以通过字典推导式结合enumerate函数来实现。enumerate(data, start=1)会为每个数组生成一个索引（从1开始），我们可以用它来构建如array1、array2这样的名称。

# 步骤1: 创建一个字典，键是数组名称，值是对应的DataFrame
df_dict = {f'array{x}': pd.DataFrame(a) for x, a in enumerate(data, start=1)}

print("生成的DataFrame字典的第一个键值对:")
print(f"键: {list(df_dict.keys())[0]}, 值:\n{df_dict[list(df_dict.keys())[0]]}")

在这个字典中，每个键（例如'array1'）代表一个数组的逻辑名称，对应的值是一个由原始NumPy数组转换而来的Pandas DataFrame。

2. 使用 pd.concat() 合并DataFrame并生成层级索引

接下来，我们使用pd.concat()函数来合并这个字典中的所有DataFrame。当pd.concat()接收一个字典作为输入时，它会默认将字典的键作为外层索引（也称为层级索引或MultiIndex）添加到结果DataFrame中。我们还可以通过names参数为这个新的索引级别指定一个名称，例如'array_name'。

# 步骤2: 使用pd.concat合并字典中的所有DataFrame，并为新生成的索引级别命名
concatenated_df = pd.concat(df_dict, names=['array_name'])

print("\n合并后的DataFrame（带有层级索引）:\n", concatenated_df)

此时，DataFrame的索引将是一个MultiIndex，其中第一层是array_name（如array1），第二层是原始DataFrame的行索引（0, 1, 2...）。列名仍然是默认的数字（0, 1, 2）。

Veed Video Background Remover

Veed推出的视频背景移除工具

69

查看详情

3. 重命名列

为了使列名更具可读性，我们将默认的数字列名（0, 1, 2）重命名为element1、element2、element3。这可以通过DataFrame.rename()方法结合一个lambda函数实现。

# 步骤3: 重命名列
renamed_df = concatenated_df.rename(columns=lambda x: f'element{x+1}')

print("\n重命名列后的DataFrame:\n", renamed_df)

现在，DataFrame的列名已经变成了element1、element2、element3。

4. 将层级索引转换为普通列

最后一步是将array_name这个层级索引转换为一个普通的DataFrame列。这可以通过DataFrame.reset_index()方法实现。reset_index(0)表示将MultiIndex的第一个级别（即array_name）转换为一个常规列，并保留其他索引级别作为行索引。

# 步骤4: 将'array_name'索引级别转换为普通列
final_df = renamed_df.reset_index(0)

print("\n最终的DataFrame:\n", final_df)

完整代码示例

将上述步骤整合到一起，完整的解决方案代码如下：

import numpy as np
import pandas as pd

# 原始数据
data = [np.array([[1, 2, 3], [1, 3, 2], [1, 1, 2]]),
        np.array([[1, 3, 3], [2, 1, 2]]),
        np.array([[1, 3, 4], [2, 1, 2], [1, 3, 2], [1, 1, 2]])]

# 核心解决方案
out = (pd.concat({f'array{x}': pd.DataFrame(a) for x, a in enumerate(data, start=1)},
                 names=['array_name'])
         .rename(columns=lambda x: f'element{x+1}')
         .reset_index(0)
      )

print(out)

结果输出

执行上述代码，将得到以下DataFrame：

  array_name  element1  element2  element3
0     array1         1         2         3
1     array1         1         3         2
2     array1         1         1         2
0     array2         1         3         3
1     array2         2         1         2
0     array3         1         3         4
1     array3         2         1         2
2     array3         1         3         2
3     array3         1         1         2

可以看到，我们成功地将多个NumPy数组合并成一个DataFrame，并添加了一个array_name列来标识数据来源，同时优化了列名。

注意事项与总结

• 灵活性：这种方法非常灵活，可以处理列表中NumPy数组形状不一致（行数不同）的情况。Pandas会智能地处理这些差异。
• 命名约定：f'array{x}'和f'element{x+1}'是示例性的命名约定。您可以根据实际需求调整这些字符串格式，例如使用f'data_set_{x}'或f'col_{x}'。
• 性能：对于大型数据集，pd.concat通常比循环迭代和append操作更高效。
• 索引重置：reset_index(0)是关键一步，它将pd.concat创建的MultiIndex的第一层（即我们希望作为新列的array_name）转换为一个普通列。如果不指定0，reset_index()会重置所有索引层级。

通过本教程，您应该已经掌握了如何将NumPy数组列表高效地转换为带命名列的Pandas DataFrame。这种技术在数据预处理、特征工程和数据分析的许多场景中都非常有用，能够帮助您更好地组织和理解复杂的数据集。

以上就是从NumPy数组列表高效构建带命名列的Pandas DataFrame的详细内容，更多请关注php中文网其它相关文章！