利用Pandas和NumPy高效构建坐标DataFrame

本文详细介绍了两种从现有DataFrame和索引列表构建新坐标DataFrame的方法。首先通过迭代字典构建，然后利用Pandas的`from_dict`方法实现。接着，重点阐述了如何运用NumPy的向量化操作，以更简洁、高效的方式直接从原始数据中提取并重构所需的X、Y坐标对。文章旨在提供清晰的教程，帮助用户根据数据规模和性能需求选择最合适的实现策略。

在数据处理和分析中，我们经常需要根据一系列索引或映射关系，从一个大型数据结构中提取特定数据点，并将其组织成新的结构。本教程将以一个具体场景为例，演示如何从一个包含节点信息（如X、Y坐标）的Pandas DataFrame中，根据一个由索引对组成的列表，高效地构建一个新的坐标DataFrame。最终目标是为路径规划或可视化准备数据。

场景描述

假设我们有一个名为 df 的DataFrame，它存储了多个节点的详细信息，包括 X 和 Y 坐标：

    Node       X      Y  Demand  Profit
1      2  5.7735   0.00    40.0    16.0
2      3  2.8867   5.00    40.0    16.0
3      4 -2.8868   5.00    40.0    16.0
... (其他节点数据)

同时，我们还有一个名为 tours 的列表，其中包含了一系列子列表，每个子列表是一个长度为2的整数对，例如 [0, 4]。这个整数对的第一个元素代表在 df 的 X 列中要查找的行索引（基于位置 iloc），第二个元素代表在 df 的 Y 列中要查找的行索引。需要注意的是，这两个索引可能指向 df 中的不同行。

我们的任务是创建一个新的DataFrame coord，它只有 X 和 Y 两列，每一行对应 tours 中的一个索引对所确定的 X, Y 坐标。

方法一：迭代构建与字典转换

这种方法通过遍历 tours 列表，逐一提取对应的 X 和 Y 值，然后将它们存储在一个字典中，最后将字典转换为DataFrame。

1. 初始化数据

首先，我们定义示例数据：

import pandas as pd
import numpy as np

tours = [[0, 4], [0, 5], [0, 6], [1, 13], [2, 0], [3, 8], [4, 9], [5, 10],
         [6, 7], [7, 1], [8, 2], [9, 3], [10, 11], [11, 14], [12, 0], [13, 12], [14, 0]]

# 原始DataFrame，这里为了演示，使用简化版，实际数据可能更多
data = {
    'Node': [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16],
    'X': [5.7735, 2.8867, -2.8868, -5.7735, -2.8867, 2.8868, 8.6603, 0.0000, -8.6603, -8.6603, 0.0000, 8.6603, 5.3405, 3.3198, 6.4952],
    'Y': [0.00, 5.00, 5.00, 0.00, -5.00, -5.00, 5.00, 10.00, 5.00, -5.00, -10.00, -5.00, 0.75, 4.25, -1.25],
    'Demand': [40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 10.0, 10.0, 10.0],
    'Profit': [16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 24.0, 24.0, 24.0, 24.0, 10.0, 10.0, 11.0]
}
df = pd.DataFrame(data, index=range(len(data['Node']))) # 确保索引从0开始，方便iloc使用
print("原始DataFrame df:")
print(df)

2. 迭代与字典填充

通过 for 循环遍历 tours 列表，使用 enumerate 获取当前迭代的索引 t，这可以作为新字典的键。对于每个 tour 元素，tour[0] 用于查找 df 的 X 列中的值，tour[1] 用于查找 df 的 Y 列中的值。这里使用 .iloc[] 进行基于位置的索引。

# 方法一：迭代构建与字典转换
d = {}
for t, tour in enumerate(tours):
    xi = tour[0] # X坐标在df中的行索引
    yi = tour[1] # Y坐标在df中的行索引

    # 从df中根据iloc索引提取X和Y值
    x_val = df["X"].iloc[xi]
    y_val = df["Y"].iloc[yi]

    d[t] = (x_val, y_val)

print("\n构建的字典 d:")
print(d)

3. 字典转换为DataFrame

构建好字典 d 后，可以使用 pd.DataFrame.from_dict() 方法将其转换为DataFrame。关键在于设置 orient='index'，这表示字典的键将成为DataFrame的索引，而值（这里是元组 (x_val, y_val)）将作为行数据。同时，通过 columns=['X', 'Y'] 参数明确指定新DataFrame的列名。

小羊标书

一键生成百页标书，让投标更简单高效

62

查看详情

coord_iterative = pd.DataFrame.from_dict(d, orient='index', columns=['X', 'Y'])
print("\n方法一生成的coord DataFrame:")
print(coord_iterative)

这种方法直观易懂，代码逻辑清晰，适用于理解每一步操作的场景，尤其是在数据量不大时。

方法二：NumPy 向量化操作

对于大规模数据，使用NumPy的向量化操作通常能提供显著的性能提升和更简洁的代码。这种方法避免了显式的Python循环。

1. 准备NumPy数组

首先，将 tours 列表转换为NumPy数组，以便进行高效的切片和索引操作。同时，将 df 中需要提取的 X 和 Y 列也转换为NumPy数组，这可以减少Pandas Series的开销。

# 方法二：NumPy 向量化操作
tours_np = np.array(tours)
# 提取df中X和Y列的数据为NumPy数组
# 注意：df的索引需要与tours中的索引匹配，这里df的索引是0-based
df_xy_values = df[["X", "Y"]].to_numpy()

print("\ntours_np 数组:")
print(tours_np)
print("\ndf_xy_values 数组 (X和Y列):")
print(df_xy_values)

2. 向量化索引与DataFrame构建

NumPy允许使用数组作为索引。tours_np[:, 0] 提取了 tours 中所有子列表的第一个元素（即用于查找X的索引），tours_np[:, 1] 提取了所有子列表的第二个元素（即用于查找Y的索引）。

• df_xy_values[tours_np[:, 0], 0]：
  • tours_np[:, 0] 得到一个一维数组，包含了所有X坐标的行索引。
  • df_xy_values[...] 使用这些行索引从 df_xy_values 中选择行。
  • , 0 表示从这些选定的行中，进一步选择第0列（即原始的 X 值）。
• df_xy_values[tours_np[:, 1], 1]：
  • tours_np[:, 1] 得到一个一维数组，包含了所有Y坐标的行索引。
  • df_xy_values[...] 使用这些行索引从 df_xy_values 中选择行。
  • , 1 表示从这些选定的行中，进一步选择第1列（即原始的 Y 值）。

最后，将这两个结果数组直接传入 pd.DataFrame 构造函数，并指定列名。

# 使用NumPy的高级索引直接提取X和Y值
# tours_np[:, 0] 获取所有X的索引
# tours_np[:, 1] 获取所有Y的索引
# df_xy_values[行索引, 列索引]
x_coords = df_xy_values[tours_np[:, 0], 0]
y_coords = df_xy_values[tours_np[:, 1], 1]

coord_vectorized = pd.DataFrame({"X": x_coords, "Y": y_coords})
print("\n方法二生成的coord DataFrame (NumPy 向量化):")
print(coord_vectorized)

这种方法极其高效，尤其是在处理大量数据时，因为它充分利用了NumPy底层C语言实现的优化。代码也更为紧凑。

对比与选择

• 迭代构建与字典转换：
  • 优点：逻辑清晰，易于理解和调试。
  • 缺点：对于非常大的数据集，Python的循环开销可能导致性能瓶颈。
• NumPy 向量化操作：
  • 优点：性能卓越，代码简洁，是处理大型数值数据集的首选方法。
  • 缺点：对于初学者来说，NumPy的高级索引可能需要一些时间来理解。

在实际应用中，如果数据量不大，两种方法都可以接受。但如果追求极致性能或处理GB级别的数据，强烈推荐使用NumPy向量化方法。

注意事项

1. 索引类型：本教程中，df.iloc[] 和 NumPy 索引都依赖于基于位置的整数索引。请确保 tours 中的索引值与 df 的实际行位置匹配。如果 df 有自定义索引且您希望按标签查找，则需要使用 df.loc[] 并可能需要一个从标签到位置的映射。
2. 数据类型：确保从 df 中提取的 X 和 Y 列是数值类型，以便后续的计算或绘图。
3. 内存效率：NumPy向量化方法在某些情况下可能需要一次性分配较大的内存来存储中间结果，但通常其速度优势会弥补这一点。

总结

本教程展示了两种在Pandas和NumPy中，根据索引列表从现有DataFrame中提取并构建新坐标DataFrame的有效方法。迭代构建方法提供直观的实现，而NumPy向量化方法则提供了卓越的性能和代码简洁性。理解并掌握这两种技术，将有助于您更灵活、高效地处理数据，为后续的数据可视化（如绘制路径）奠定坚实的基础。根据您的具体需求和数据规模，选择最适合的方法，可以显著提高开发效率和程序性能。

以上就是利用Pandas和NumPy高效构建坐标DataFrame的详细内容，更多请关注php中文网其它相关文章！