利用Pandas与NumPy高效构建坐标DataFrame

本文旨在指导读者如何基于现有DataFrame和索引列表，高效地构建一个新的坐标DataFrame。我们将探讨两种主要方法：基于循环和字典的迭代方法，以及利用NumPy高级索引和向量化操作的更优方法，旨在提高数据处理的效率和代码简洁性，为后续数据可视化（如路线绘制）奠定基础。

在数据分析和处理中，我们经常需要从一个大型数据集中根据特定的索引或规则提取子集，并将其组织成新的结构。本教程将以一个具体场景为例，演示如何从一个包含节点信息的Pandas DataFrame中，根据一个索引列表（tours）提取对应的X和Y坐标，并构建一个新的DataFrame。

场景描述

假设我们拥有以下两个核心数据结构：

1. 一个名为 tours 的列表，其中每个子列表包含两个整数，分别代表X坐标和Y坐标在原始DataFrame df 中的行索引。例如，[0, 4] 表示从 df 的第0行获取X值，从 df 的第4行获取Y值。

   tours = [[0, 4], [0, 5], [0, 6], [1, 13], [2, 0], [3, 8], [4, 9], [5, 10],
            [6, 7], [7, 1], [8, 2], [9, 3], [10, 11], [11, 14], [12, 0], [13, 12], [14, 0]]

   登录后复制

2. 一个名为 df 的Pandas DataFrame，包含了多个节点的详细信息，其中包括 X 和 Y 坐标。

   import pandas as pd
   import numpy as np
   
   data = {
       'Node': [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16],
       'X': [5.7735, 2.8867, -2.8868, -5.7735, -2.8867, 2.8868, 8.6603, 0.0000, -8.6603, -8.6603, 0.0000, 8.6603, 5.3405, 3.3198, 6.4952],
       'Y': [0.00, 5.00, 5.00, 0.00, -5.00, -5.00, 5.00, 10.00, 5.00, -5.00, -10.00, -5.00, 0.75, 4.25, -1.25],
       'Demand': [40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 10.0, 10.0, 10.0],
       'Profit': [16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 24.0, 24.0, 24.0, 24.0, 10.0, 10.0, 11.0]
   }
   df = pd.DataFrame(data)
   # 调整DataFrame的索引以匹配问题描述中的iloc行为
   # 原始df的索引是1-15，但iloc[0]会访问到Node=2的行。
   # 为了使iloc[0]访问到Node=2的行，我们需要确保df的默认整数索引是0开始的。
   # 示例数据中已经确保了这一点。

   登录后复制

我们的目标是创建一个新的DataFrame coord，其中包含 tours 中每个索引对对应的 X 和 Y 坐标。

方法一：迭代与字典转换

这种方法通过循环遍历 tours 列表，在每次迭代中根据索引从 df 中提取 X 和 Y 值，并将这些值存储在一个字典中。最后，将字典转换为DataFrame。

实现步骤：

1. 初始化一个空字典 d。
2. 遍历 tours 列表，使用 enumerate 获取当前元素的索引 t 和子列表 tour。
3. 从 tour 中提取 xi (X的索引) 和 yi (Y的索引)。
4. 使用 df["X"].iloc[xi] 和 df["Y"].iloc[yi] 从 df 中获取对应的X和Y值。
5. 将获取到的 (X, Y) 对作为值，t 作为键存入字典 d。
6. 使用 pd.DataFrame.from_dict() 方法，指定 orient='index' 和 columns=['X', 'Y'] 将字典转换为DataFrame。orient='index' 确保字典的键成为DataFrame的索引，值成为行数据。

示例代码：

d = {}
for t, tour in enumerate(tours):
    xi = tour[0]
    yi = tour[1]
    # 注意：df.iloc[index] 是基于位置的索引，与问题描述中的预期行为一致
    d[t] = df["X"].iloc[xi], df["Y"].iloc[yi]

coord_iterative = pd.DataFrame.from_dict(d, orient='index', columns=['X', 'Y'])
print("--- 方法一：迭代与字典转换 ---")
print(coord_iterative)

优点：

• 逻辑清晰，易于理解，尤其适合初学者。
• 对于小型数据集，性能影响不明显。

缺点：

小羊标书

一键生成百页标书，让投标更简单高效

62

查看详情

• 涉及显式循环，对于大型数据集效率较低。Python的循环通常比向量化操作慢。

方法二：向量化操作与NumPy高级索引

为了提高效率，特别是处理大数据时，推荐使用Pandas和NumPy提供的向量化操作。这种方法避免了显式Python循环，转而利用底层C实现的优化操作。

实现步骤：

1. 将 tours 列表转换为NumPy数组。这使得我们可以利用NumPy的强大索引功能。
2. 从原始DataFrame df 中提取 X 和 Y 列，并将其转换为NumPy数组 arr。这样做可以避免在循环中反复进行Pandas Series的索引操作。
3. 利用NumPy的高级索引功能，一步到位地从 arr 中提取所有需要的X和Y值。
   • tours[:, 0] 提取 tours 数组中所有子列表的第一个元素（即X的索引列表）。
   • tours[:, 1] 提取 tours 数组中所有子列表的第二个元素（即Y的索引列表）。
   • arr[tours[:, 0], 0] 表示使用X的索引列表去 arr 的第0列（即X值）中查找对应的值。
   • arr[tours[:, 1], 1] 表示使用Y的索引列表去 arr 的第1列（即Y值）中查找对应的值。
4. 将这些提取出的X和Y值直接构建成一个新的Pandas DataFrame。

示例代码：

# 将tours转换为NumPy数组，方便进行高级索引
tours_np = np.array(tours)

# 提取df的X和Y列并转换为NumPy数组
# 注意：这里假设df的索引是0-based的整数索引，与iloc行为一致
arr = df[["X", "Y"]].to_numpy()

# 使用NumPy高级索引直接获取X和Y坐标
# tours_np[:, 0] 得到所有X的索引
# tours_np[:, 1] 得到所有Y的索引
# arr[row_indices, column_index]
# arr[tours_np[:, 0], 0] 从arr的第0列（X值）中，按照tours_np[:, 0]提供的行索引提取值
# arr[tours_np[:, 1], 1] 从arr的第1列（Y值）中，按照tours_np[:, 1]提供的行索引提取值
coord_vectorized = pd.DataFrame({
    "X": arr[tours_np[:, 0], 0],
    "Y": arr[tours_np[:, 1], 1]
})

print("\n--- 方法二：向量化操作与NumPy高级索引 ---")
print(coord_vectorized)

优点：

• 高效性： 充分利用了NumPy的底层优化，执行速度远快于Python循环，尤其适用于大数据集。
• 简洁性： 代码更为紧凑和优雅。
• Pandas/NumPy生态系统优势： 与Pandas和NumPy的数据结构无缝集成。

缺点：

• 对于初学者来说，NumPy的高级索引可能需要一些时间来理解。

性能比较与选择

在实际应用中，对于数据量较小（例如几百到几千行）的场景，两种方法在性能上的差异可能不明显，此时选择可读性更好的迭代方法也无妨。然而，当处理的数据量达到数万、数十万甚至更高时，向量化操作的性能优势将变得极其显著，能够大幅缩短程序运行时间。

因此，推荐在大多数情况下优先使用方法二（向量化操作与NumPy高级索引），因为它代表了Pandas和NumPy处理数据的最佳实践。

总结与注意事项

通过本教程，我们学习了两种从现有DataFrame中提取指定坐标并构建新DataFrame的方法。

1. 迭代方法：通过循环和字典辅助构建，易于理解，但效率相对较低。
2. 向量化方法：利用NumPy的高级索引，代码简洁且性能卓越，是处理大量数据的首选。

在实践中，选择哪种方法取决于具体的数据规模和对性能的要求。对于最终目标是绘制路线图的场景，生成的 coord DataFrame将直接作为绘图库（如Matplotlib, Seaborn, Plotly等）的输入，其准确性和高效生成是至关重要的。

注意事项：

• 索引范围：确保 tours 列表中的索引值不会超出 df DataFrame的有效行索引范围，否则会导致 IndexError。
• 数据类型：在将数据转换为NumPy数组时，确保数据类型兼容，以避免潜在的类型转换问题。
• 可读性与性能平衡：虽然向量化操作更高效，但在某些极端复杂的逻辑中，如果过度追求单行代码而牺牲可读性，可能会增加维护成本。始终在性能和代码可读性之间找到最佳平衡点。

以上就是利用Pandas与NumPy高效构建坐标DataFrame的详细内容，更多请关注php中文网其它相关文章！