Pandas与NumPy：高效构建基于索引的坐标DataFrame

本文详细介绍了如何从一个包含索引对的列表和一个现有dataframe中，高效地提取x和y坐标，并构建一个新的坐标dataframe。教程对比了基于循环的字典构建方法与利用numpy进行向量化操作的优化方案，强调了后者在处理大规模数据时的性能优势和代码简洁性，最终目标是为后续的路径绘制提供精确的坐标数据。

在数据分析和路径规划等场景中，我们经常需要根据一组索引从现有数据集中提取特定的坐标信息，并将其组织成一个新的数据结构。本教程将探讨如何利用Python的Pandas和NumPy库，从一个包含索引对的列表和一个DataFrame中，高效地构建一个包含X和Y坐标的新DataFrame。

1. 数据准备

首先，我们定义输入数据：一个名为 tours 的列表，其中每个子列表包含两个整数，分别代表X和Y坐标在另一个DataFrame df 中的行索引；以及一个名为 df 的Pandas DataFrame，它包含了我们所需的X和Y坐标以及其他相关信息。

import pandas as pd
import numpy as np

# 索引对列表
tours = [[0, 4], [0, 5], [0, 6], [1, 13], [2, 0], [3, 8], [4, 9], [5, 10],
         [6, 7], [7, 1], [8, 2], [9, 3], [10, 11], [11, 14], [12, 0], [13, 12], [14, 0]]

# 原始数据DataFrame
data = {
    'Node': [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16],
    'X': [5.7735, 2.8867, -2.8868, -5.7735, -2.8867, 2.8868, 8.6603, 0.0000, -8.6603, -8.6603, 0.0000, 8.6603, 5.3405, 3.3198, 6.4952],
    'Y': [0.00, 5.00, 5.00, 0.00, -5.00, -5.00, 5.00, 10.00, 5.00, -5.00, -10.00, -5.00, 0.75, 4.25, -1.25],
    'Demand': [40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 10.0, 10.0, 10.0],
    'Profit': [16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 24.0, 24.0, 24.0, 24.0, 24.0, 24.0, 10.0, 10.0, 11.0]
}
df = pd.DataFrame(data, index=range(1, 16)) # 注意原始df的索引是从1开始，这里我们保持一致

重要提示： 原始 df 的索引是从1开始的，但在使用 .iloc[] 进行基于位置的索引时，它仍然从0开始计数。这意味着 df.iloc[0] 对应的是 df 的第一行（即索引为1的行）。tours 中的索引 [0, 4] 指的是 df.iloc[0] 的X值和 df.iloc[4] 的Y值。

2. 方法一：基于循环和字典的构建（初步尝试与改进）

一种直观的方法是遍历 tours 列表，在循环中根据索引从 df 中提取X和Y值，然后将这些值存储到一个字典中，最后再将字典转换为DataFrame。

2.1 初始尝试及问题

最初的尝试可能如下所示：

# 初始尝试
d = {}
for t, tour in enumerate(tours):
    xi = tour[0]
    yi = tour[1]
    key = t
    d[key] = df["X"].iloc[xi], df["Y"].iloc[yi]

# print(d)
# coord_initial = pd.DataFrame(d.items(), columns=['X', 'Y'])
# print(coord_initial)

这种方法在将字典 d 转换为DataFrame coord_initial 时会遇到问题。pd.DataFrame(d.items(), columns=['X', 'Y']) 会将字典的键（t）作为第一列，而将值（一个包含X和Y的元组）作为第二列，导致Y列存储的是元组，而非期望的两个独立列。

输出示例（错误）：

     X                Y
0    0   (5.7735, -5.0)
...

2.2 改进后的字典转换方法

为了正确地将字典转换为DataFrame，其中字典的键作为索引，值（元组）拆分为两列，我们需要使用 pd.DataFrame.from_dict() 并指定 orient='index'：

d_improved = {}
for t, tour in enumerate(tours):
    xi = tour[0]
    yi = tour[1]
    # 从df中根据iloc索引提取X和Y值
    d_improved[t] = df["X"].iloc[xi], df["Y"].iloc[yi]

coord_loop_dict = pd.DataFrame.from_dict(d_improved, orient='index', columns=['X', 'Y'])
print("方法一：基于循环和字典构建的DataFrame")
print(coord_loop_dict)

优点：

神卷标书

神卷标书，专注于AI智能标书制作、管理与咨询服务，提供高效、专业的招投标解决方案。支持一站式标书生成、模板下载，助力企业轻松投标，提升中标率。

39

查看详情

• 逻辑清晰，易于理解，适合初学者。
• 对于小规模数据，性能影响不显著。

缺点：

• 使用Python循环遍历数据，对于大规模数据集，效率较低，可能成为性能瓶颈。
• 代码相对冗长。

3. 方法二：利用NumPy进行向量化优化（推荐方法）

为了提高性能和代码简洁性，我们可以利用NumPy的向量化操作。这种方法避免了显式的Python循环，将数据操作委托给底层的C语言实现，从而获得显著的速度提升。

核心思想是：

1. 将 tours 列表转换为NumPy数组，以便进行高效的数组操作。
2. 将 df 中需要提取的 X 和 Y 列也转换为NumPy数组。
3. 利用NumPy的高级索引（Advanced Indexing）功能，一次性从 df 的NumPy数组中提取所有对应的X和Y值。

# 将tours列表转换为NumPy数组
tours_np = np.array(tours)

# 提取df中X和Y列的数据，转换为NumPy数组
# 这样arr[i, 0]就是第i行的X值，arr[i, 1]就是第i行的Y值
arr = df[["X", "Y"]].to_numpy()

# 使用高级索引一次性获取所有X和Y坐标
# tours_np[:, 0] 提取所有X索引
# tours_np[:, 1] 提取所有Y索引
# arr[tours_np[:, 0], 0] 表示：对于tours_np中的每个X索引，去arr中取对应行的第0列（即X值）
# arr[tours_np[:, 1], 1] 表示：对于tours_np中的每个Y索引，去arr中取对应行的第1列（即Y值）
x_coords = arr[tours_np[:, 0], 0]
y_coords = arr[tours_np[:, 1], 1]

# 构建最终的DataFrame
coord_numpy = pd.DataFrame({"X": x_coords, "Y": y_coords})

print("\n方法二：利用NumPy向量化构建的DataFrame")
print(coord_numpy)

代码解析：

• tours_np = np.array(tours): 将 tours 转换为一个 (N, 2) 形状的NumPy数组，其中 N 是 tours 中子列表的数量。
• arr = df[["X", "Y"]].to_numpy(): 从 df 中选择 X 和 Y 列，并将其转换为一个NumPy数组。这个数组的行索引与 df 的 .iloc 索引一致。
• tours_np[:, 0]：获取 tours_np 数组的所有第一列元素，即所有X坐标的索引。
• tours_np[:, 1]：获取 tours_np 数组的所有第二列元素，即所有Y坐标的索引。
• arr[tours_np[:, 0], 0]：这是一个NumPy高级索引的例子。它会遍历 tours_np[:, 0] 中的每个索引 i，然后从 arr 中取出 arr[i, 0]（即第 i 行的X值）。最终结果是一个包含所有所需X值的NumPy数组。
• arr[tours_np[:, 1], 1]：同理，这会取出所有所需Y值。
• pd.DataFrame({"X": x_coords, "Y": y_coords})：使用两个NumPy数组直接构建新的DataFrame。

优点：

• 性能卓越： NumPy的底层实现是C语言，向量化操作避免了Python的循环开销，对于处理大量数据时效率极高。
• 代码简洁： 几行代码即可完成复杂的逻辑，提高了代码的可读性和可维护性。
• Pandas兼容： 结果直接是Pandas DataFrame，方便后续的数据分析和操作。

4. 总结与最佳实践

本教程展示了两种从列表索引和DataFrame中提取坐标并构建新DataFrame的方法。

• 基于循环和字典的方法 (pd.DataFrame.from_dict(d, orient='index', columns=['X','Y']))：易于理解，适合数据量较小或逻辑复杂需要逐步调试的场景。
• 利用NumPy向量化操作的方法 (pd.DataFrame({"X": arr[tours_np[:, 0], 0], "Y": arr[tours_np[:, 1], 1]}))：在处理大规模数据集时表现出卓越的性能优势和代码简洁性。这是在Python数据科学中推荐的实践方式。

对于最终目标——使用 X 和 Y 坐标绘制完整路径——这两种方法都能生成所需的 coord DataFrame。然而，考虑到数据处理的效率和代码的优雅性，强烈建议采用NumPy向量化方案。它不仅能更快地生成坐标数据，也为后续的绘图操作（例如使用Matplotlib或Seaborn）提供了标准且高效的数据结构。

以上就是Pandas与NumPy：高效构建基于索引的坐标DataFrame的详细内容，更多请关注php中文网其它相关文章！