解决Pandas DataFrame高度碎片化警告：高效创建多列的方法

本文深入探讨Pandas中PerformanceWarning: DataFrame is highly fragmented警告的成因，该警告通常在对大型DataFrame反复添加新列时出现。文章通过分析低效的逐列创建方法，提出并演示了利用pd.concat和df.join组合操作来一次性高效生成大量新列的优化策略，从而避免性能问题和警告，提升数据处理效率。

理解DataFrame碎片化警告

在使用Pandas处理大量数据时，开发者可能会遇到一个PerformanceWarning: DataFrame is highly fragmented的警告。这个警告通常意味着DataFrame的内存布局变得不连续或“碎片化”，这会严重影响后续操作的性能。当用户对一个大型DataFrame反复执行修改其结构的操作，例如通过df['new_column'] = ...的方式逐个添加大量新列时，Pandas为了适应这些新增的列，可能需要频繁地重新分配内存或复制数据，从而导致内存碎片化。

该警告的完整信息通常会建议考虑使用pd.concat(axis=1)一次性连接所有列，或者通过newframe = frame.copy()来获取一个去碎片化的DataFrame。这表明逐列添加操作本质上效率低下，尤其是在涉及数百甚至上千个新列的场景下。

低效的逐列创建方式

考虑以下场景：一个DataFrame包含一列长字符串，需要将其解析成数百个甚至近千个新的子字符串列。一种直观但低效的方法是循环或通过重复赋值的方式逐个创建新列，如下所示：

import pandas as pd
import numpy as np
import string

# 模拟一个包含长字符串的DataFrame，例如100万行，每行5000字符
np.random.seed(0)
df = pd.DataFrame({
    "long_string": ["".join(np.random.choice(
        [*string.printable[:62]], size=5000)) for _ in range(10000)] # 示例使用1万行
})

def parse_long_string_inefficient(df_input):
    """
    低效的逐列解析长字符串函数。
    此方法会触发PerformanceWarning。
    """
    # 假设需要创建972个新列
    # 实际代码中会有972行类似的赋值语句，例如：
    df_input['a001'] = df_input['long_string'].str[0:2]
    df_input['a002'] = df_input['long_string'].str[2:4]
    df_input['a003'] = df_input['long_string'].str[4:13]
    # ... 省略大量类似的代码 ...
    df_input['a972'] = df_input['long_string'].str[4994:]
    return df_input

# 调用此函数时，Pandas可能会发出PerformanceWarning
# 示例：
# df_fragmented = parse_long_string_inefficient(df.copy())
# print(df_fragmented.head())

上述代码中，每次df_input['aXXX'] = ...的赋值操作都可能触发DataFrame的内部结构调整。当这种操作重复数百次时，Pandas会因为不断地尝试在现有内存布局中插入新列而导致性能急剧下降，并最终发出碎片化警告。这是因为Pandas的insert操作在处理大量列时效率不高。

察言观数AskTable

企业级AI数据表格智能体平台

33

查看详情

使用pd.concat和df.join进行优化

为了避免DataFrame碎片化并提高性能，最佳实践是避免多次修改DataFrame的结构。相反，我们应该一次性构建所有新的列，然后将它们作为一个整体添加到原始DataFrame中。pd.concat函数结合df.join是实现这一目标的高效方法。

核心思想：

1. 预先定义所有新列的名称及其对应的字符串切片范围。
2. 利用字典推导式（Dictionary Comprehension）生成一个包含所有新列Series的字典，其中键是新列名，值是切片后的Series。
3. 使用pd.concat(..., axis=1)将这些Series一次性合并成一个新的DataFrame。
4. 最后，使用df.join()将这个新生成的DataFrame与原始DataFrame连接起来。

以下是具体的实现代码：

import pandas as pd
import numpy as np
import string

# 1. 模拟一个包含长字符串的DataFrame
np.random.seed(0)
df = pd.DataFrame({
    "long_string": ["".join(np.random.choice(
        [*string.printable[:62]], size=5000)) for _ in range(10000)]

以上就是解决Pandas DataFrame高度碎片化警告：高效创建多列的方法的详细内容，更多请关注php中文网其它相关文章！