Python Pandas：高效整合变长列表数据至DataFrame的教程-Python教程-PHP中文网

Python Pandas：高效整合变长列表数据至DataFrame的教程

花韻仙語

发布： 2025-11-15 13:52:02

原创

675人浏览过

python pandas：高效整合变长列表数据至dataframe的教程

本文详细阐述了如何使用Python的`itertools.zip_longest`和Pandas库，高效地将具有不同长度的列表数据（作为新列和新行数据）整合到现有DataFrame中。教程着重解决在循环中或处理大数据时，直接赋值可能导致的性能碎片化警告问题，提供了一种基于字典构建和DataFrame拼接的优化方案，确保了数据处理的效率与稳定性。

一、问题背景与挑战

在数据分析和处理过程中，将外部数据源集成到现有Pandas DataFrame是常见操作。然而，当这些外部数据以列表形式存在，并且其内部子列表长度不一致时，会带来一定的挑战。例如，我们可能需要将一组新的列名（如list1）与一组变长列表数据（如list2）添加到现有DataFrame中。

示例数据：

import pandas as pd
from itertools import zip_longest

# 原始DataFrame
df = pd.DataFrame([
    ['Alex', 33, 'Male'], 
    ['Marly', 28, 'Female'], 
    ['Charlie', 30, 'Female'], 
    ['Mimi', 37, 'Female'], 
    ['James', 44, 'Male'], 
    ['Jone', 25, 'Male']
], columns=['Name', 'Age', 'Gender'])

print("原始DataFrame:")
print(df)

# 待添加的列名
list1 = ['col1', 'col2', 'col3', 'col4']

# 待添加的行数据，子列表长度不一
list2 = [[1, 2, 3], [2, 3], [1, 8, 4, 3], [22, 35, 32], [65], [2, 45, 55]]

登录后复制

我们的目标是将list1中的元素作为新的列标题，list2中的数据填充到这些新列中，其中list2中较短的子列表应使用默认值（例如0）进行填充，最终得到一个扩展后的DataFrame。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

查看详情

立即学习“Python免费学习笔记（深入）”；

期望结果：

      Name  Age  Gender  col1  col2  col3  col4
0     Alex   33    Male     1     2     3     0
1    Marly   28  Female     2     3     0     0
2  Charlie   30  Female     1     8     4     3
3     Mimi   37  Female    22    35    32     0
4    James   44    Male    65     0     0     0
5     Jone   25    Male     2    45    55     0

登录后复制

直接尝试使用 df[list1] = pd.DataFrame(list2, index=df.index) 这种方式，在list2子列表长度不一致时会遇到数据对齐问题。更重要的是，在处理大规模数据或在循环中频繁执行此类操作时，Pandas可能会发出 PerformanceWarning: DataFrame is highly fragmented 的警告。

以上就是Python Pandas：高效整合变长列表数据至DataFrame的教程的详细内容，更多请关注php中文网其它相关文章！