使用 Pandas 高效关联与提取多文件数据-Python教程-PHP中文网

使用 pandas 高效关联与提取多文件数据

本文详细介绍了如何利用 Python Pandas 库高效地从多个结构化文本文件中关联和提取特定数据。通过将文件内容加载为 DataFrame，并利用其强大的 merge 操作，可以实现基于共同字段的数据匹配和整合，最终按需输出关联后的结果，显著提升处理复杂数据关联任务的效率和可维护性。

在日常的数据处理工作中，我们经常会遇到需要从多个文件中提取并关联信息的需求。例如，从一个IP地址列表中查找其对应的MAC地址，再通过MAC地址查找其关联的端口信息。手动编写嵌套循环来处理这类任务不仅效率低下，而且代码复杂难以维护。Python的Pandas库提供了一种强大且高效的解决方案，通过数据框（DataFrame）和合并（merge）操作，可以简洁地完成这类多文件数据关联任务。

1. 理解数据结构与目标

假设我们有三个文件，分别包含以下信息：

file1.txt: 包含一系列IP地址，每行一个。
```
1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11
```
登录后复制

file2.txt: 包含IP地址与MAC地址的映射关系，以及其他网络信息。

Protocol  Address   Age (min)  Addr            Type   Interface
Internet  1.1.1.1         5    6026.aa11.1111  A      Ethernet1/49
Internet  1.1.1.2         -    0006.f2d2.2d2f  A      Vlan1
Internet  1.1.1.3         -    6026.aa33.3333  A      Vlan1
Internet  1.1.1.4         0    Incomplete      A
Internet  1.1.1.5         0    Incomplete      A
Internet  1.1.1.6         64   fa16.6edb.6666  A      Vlan1
Internet  1.1.1.11        23   fa16.7e7d.7777  A      Vlan1

登录后复制

其中，Address 列是IP地址，Addr 列是对应的MAC地址。

file3.txt: 包含MAC地址与端口的映射关系。

Unicast Entries
 vlan     mac address     type        protocols               port
---------+---------------+--------+---------------------+-------------------------
 1        6026.aa11.1111   static  ip,ipx,assigned,other Switch
 1        0006.f2d2.2d2f   dynamic ip,ipx,assigned,other Ethernet1/24
 1        6026.aa33.3333   dynamic ip,ipx,assigned,other Ethernet1/12
 1        fa16.6edb.6666   dynamic ip,ipx,assigned,other Ethernet1/8
 1        fa16.7e7d.7777   dynamic ip,ipx,assigned,other Ethernet1/10

登录后复制

其中，mac address 列是MAC地址，port 列是对应的端口。

我们的目标是：

读取 file1.txt 中的每个IP地址。
在 file2.txt 中找到该IP地址，并提取其对应的MAC地址（Addr 列）。
在 file3.txt 中找到该MAC地址，并提取其对应的端口（port 列）。
最终输出格式为 ip <IP地址> addr <MAC地址> port <端口>。

2. 使用 Pandas 加载数据

首先，我们需要导入 Pandas 库，并将各个文件的内容加载到 DataFrame 中。对于实际文件，通常使用 pd.read_csv() 或 pd.read_fwf() 等函数。为了演示方便，这里我们直接从字符串数据创建 DataFrame。

小绿鲸英文文献阅读器

英文文献阅读器，专注提高SCI阅读效率

199

查看详情

import pandas as pd
import io

# 模拟 file1.txt 的内容
file1_content = """1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11"""

# 模拟 file2.txt 的内容
file2_content = """Protocol  Address   Age (min)  Addr            Type   Interface
Internet  1.1.1.1         5    6026.aa11.1111  A      Ethernet1/49
Internet  1.1.1.2         -    0006.f2d2.2d2f  A      Vlan1
Internet  1.1.1.3         -    6026.aa33.3333  A      Vlan1
Internet  1.1.1.4         0    Incomplete      A
Internet  1.1.1.5         0    Incomplete      A
Internet  1.1.1.6         64   fa16.6edb.6666  A      Vlan1
Internet  1.1.1.11        23   fa16.7e7d.7777  A      Vlan1"""

# 模拟 file3.txt 的内容
file3_content = """vlan     mac address     type        protocols               port
---------+---------------+--------+---------------------+-------------------------
 1        6026.aa11.1111   static  ip,ipx,assigned,other Switch
 1        0006.f2d2.2d2f   dynamic ip,ipx,assigned,other Ethernet1/24
 1        6026.aa33.3333   dynamic ip,ipx,assigned,other Ethernet1/12
 1        fa16.6edb.6666   dynamic ip,ipx,assigned,other Ethernet1/8
 1        fa16.7e7d.7777   dynamic ip,ipx,assigned,other Ethernet1/10"""

# 加载 file1.txt
# 由于 file1 只有一列，直接读取即可，并命名列为 'ipv4'
df1 = pd.read_csv(io.StringIO(file1_content), header=None, names=['ipv4'])

# 加载 file2.txt
# file2 是固定宽度格式，需要指定列宽或使用空格作为分隔符
# 这里使用 read_fwf 更合适，但为了与原始答案保持一致，我们手动构造DataFrame
# 实际应用中，如果列名清晰且分隔符一致，read_csv(sep=r'\s+') 也是一个选择
df2 = pd.read_csv(io.StringIO(file2_content), sep=r'\s+', engine='python')

# 加载 file3.txt
# file3 也有一些特殊的分隔符和标题行，需要处理
# 同样，这里手动构造DataFrame，实际可使用 read_csv 或 read_fwf
# 注意：file3_content 的第一行是标题，第二行是分隔线，实际读取时需要跳过分隔线
df3_lines = file3_content.splitlines()
df3 = pd.read_csv(io.StringIO("\n".join(df3_lines[2:])), sep=r'\s+', engine='python')

# 打印加载后的数据框，检查是否正确
print("df1:\n", df1)
print("\ndf2:\n", df2)
print("\ndf3:\n", df3)

登录后复制

实际文件加载示例： 如果文件是真实存在的，你可以这样加载：

# df1 = pd.read_csv('file1.txt', header=None, names=['ipv4'])
# df2 = pd.read_csv('file2.txt', sep=r'\s+', engine='python') # 假设是空格分隔
# df3 = pd.read_csv('file3.txt', sep=r'\s+', skiprows=[1], engine='python') # 跳过第二行分隔线

登录后复制

3. 使用 Pandas merge 操作关联数据

Pandas 的 merge 函数是进行数据关联的核心工具，它类似于 SQL 中的 JOIN 操作。我们需要进行两次合并：

将 df1 (IP地址列表) 与 df2 (IP-MAC映射) 合并，基于 df1 的 ipv4 列和 df2 的 Address 列。
将第一次合并的结果与 df3 (MAC-Port映射) 合并，基于结果 DataFrame 的 Addr 列和 df3 的 mac address 列。

我们使用 how="inner" 参数，这意味着只保留在两个 DataFrame 中都存在匹配键的行，这符合我们“查找并关联”的需求。

# 第一次合并：df1 (ipv4) 与 df2 (Address)
# 关联键：df1['ipv4'] == df2['Address']
merged_df_1_2 = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")
print("\n第一次合并结果 (df1与df2):\n", merged_df_1_2)

# 第二次合并：merged_df_1_2 (Addr) 与 df3 (mac address)
# 关联键：merged_df_1_2['Addr'] == df3['mac address']
final_merged_df = merged_df_1_2.merge(df3, how="inner", left_on="Addr", right_on="mac address")
print("\n最终合并结果 (df1, df2, df3):\n", final_merged_df)

登录后复制

4. 提取并格式化输出结果

经过两次合并后，final_merged_df 包含了所有我们需要的关联信息。现在，我们只需选择所需的列 (ipv4, Addr, port) 并按照指定格式输出。

# 选择需要的列
result_columns = final_merged_df[["ipv4", "Addr", "port"]]

# 打印最终结果
print("\n最终提取结果:")
for index, row in result_columns.iterrows():
    print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port']}")

登录后复制

预期输出：

ip 1.1.1.1 addr 6026.aa11.1111 port Switch
ip 1.1.1.2 addr 0006.f2d2.2d2f port Ethernet1/24
ip 1.1.1.3 addr 6026.aa33.3333 port Ethernet1/12
ip 1.1.1.6 addr fa16.6edb.6666 port Ethernet1/8
ip 1.1.1.11 addr fa16.7e7d.7777 port Ethernet1/10

登录后复制

5. 注意事项与总结

数据清洗与预处理： 在实际应用中，文件中的数据可能不总是干净的。例如，列名可能包含空格或特殊字符，数据类型可能不一致，或者存在缺失值。在使用 read_csv 等函数时，可能需要结合 skiprows, header, sep, names, dtype 等参数进行预处理。对于本例中的 file3.txt，其标题下有一行分隔符，需要用 skiprows 跳过。
合并类型 (how 参数)：
- inner (内连接): 只保留两个DataFrame中都存在的匹配键的行。
- left (左连接): 保留左DataFrame的所有行，以及右DataFrame中匹配的行。如果右DataFrame没有匹配项，则结果中对应列为 NaN。
- right (右连接): 与左连接类似，但以右DataFrame为基准。
- outer (外连接): 保留两个DataFrame中的所有行，如果某侧没有匹配项，则结果中对应列为 NaN。根据具体需求选择合适的连接方式。
性能优化： 对于非常大的文件，Pandas 的 read_csv 和 merge 操作通常比纯 Python 循环更高效，因为它们底层是用 C/C++ 实现的优化算法。
列名一致性： 确保用于合并的列名在 left_on 和 right_on 参数中正确指定。如果列名相同，可以直接使用 on='column_name'。