使用Pandas高效生成两列数字组合的DataFrame

本文详细介绍了如何利用pandas库高效地创建一个包含两列数字组合的dataframe。针对给定范围，通过巧妙运用列表推导式和字典构建数据，最终生成一个左列重复、右列循环的二维表格。教程提供了清晰的代码示例和输出解释，旨在帮助用户掌握pandas数据构建的专业方法。

创建具有指定范围数字组合的DataFrame

在数据处理和分析中，我们经常需要生成特定模式的数据集，例如创建两列数字，其中一列按顺序重复，另一列则在指定范围内循环，以形成所有可能的组合。本教程将介绍如何使用Pandas库以高效且Pythonic的方式实现这一目标。

问题描述

假设我们有两个范围 range1 和 range2，目标是生成一个DataFrame，其结构如下：

• 第一列（例如 Column1）应包含 1 到 range1 的每个数字，每个数字重复 range2 次。
• 第二列（例如 Column2）应包含 1 到 range2 的每个数字，并循环重复 range1 次。

例如，如果 range1 = 2 且 range2 = 3，期望的输出DataFrame应为：

   Column1  Column2
0        1        1
1        1        2
2        1        3
3        2        1
4        2        2
5        2        3

传统（非推荐）方法及其局限性

一些初学者可能会尝试使用嵌套循环来生成这些数字，并尝试在循环内部构建DataFrame或写入CSV文件。例如：

import pandas as pd

d1 = 2
d2 = 3
for i in range(1, d1 + 1):
    for j in range(1, d2 + 1):
        print(i, j)
        # 这种方式会在每次循环时创建新的DataFrame并覆盖文件，效率极低且不符合预期
        # pd.DataFrame([(i, j)], columns=['proteinA', 'proteinB']).to_csv('prediction_test_123.csv')

这种方法的主要问题在于：

bee餐饮点餐外卖小程序

bee餐饮点餐外卖小程序是针对餐饮行业推出的一套完整的餐饮解决方案，实现了用户在线点餐下单、外卖、叫号排队、支付、配送等功能，完美的使餐饮行业更高效便捷！功能演示：1、桌号管理登录后台，左侧菜单 “桌号管理”，添加并管理你的桌号信息，添加以后在列表你将可以看到 ID 和 密钥，这两个数据用来生成桌子的二维码2、生成桌子二维码例如上面的ID为 308，密钥为 d3PiIY，那么现在去左侧菜单微信设置

1

查看详情

1. 效率低下： 在循环内部重复创建DataFrame对象或执行文件I/O操作（如 to_csv）是非常低效的，尤其是在处理大量数据时。
2. 不符合Pandas范式： Pandas鼓励使用向量化操作和一次性构建整个DataFrame，而不是逐行添加。
3. 结果错误： 如果尝试在循环中 to_csv，每次都会覆盖之前的内容，最终文件将只包含最后一行数据。

使用Pandas的推荐方法

Pandas提供了更优雅和高效的方式来生成此类数据。我们可以利用列表推导式来预先构建好所有数据，然后一次性传入 pd.DataFrame 构造函数。

核心思路

1. 构建 Column1： 对于 range1 中的每个数字 i，我们需要将其重复 range2 次。这可以通过一个嵌套的列表推导式实现：[i for i in range(1, range1 + 1) for _ in range(range2)]。
2. 构建 Column2： 对于 range2 中的数字序列 [1, 2, ..., range2]，我们需要将其重复 range1 次。这可以通过 list(range(1, range2 + 1)) * range1 实现。
3. 创建DataFrame： 将这两列数据放入一个字典中，然后使用 pd.DataFrame() 构造函数创建DataFrame。

代码示例

import pandas as pd

# 定义范围
range1 = 2
range2 = 3

# 使用列表推导式和列表乘法高效生成数据
data = {
    'Column1': [i for i in range(1, range1 + 1) for _ in range(range2)],
    'Column2': list(range(1, range2 + 1)) * range1
}

# 创建DataFrame
df = pd.DataFrame(data)

# 打印结果
print(df)

输出结果

运行上述代码，将得到以下DataFrame：

   Column1  Column2
0        1        1
1        1        2
2        1        3
3        2        1
4        2        2
5        2        3

进一步思考与应用

这种方法不仅适用于简单的数字序列，还可以扩展到更复杂的场景：

• 自定义序列： 如果 Column1 或 Column2 需要基于非连续或自定义序列，可以调整列表推导式中的迭代器。
• 多列组合： 类似的方法可以扩展到三列或更多列的组合，通过更复杂的列表推导式或使用 itertools.product 等工具来生成所有组合。
• 性能： 这种向量化的数据生成方式比循环逐行添加数据要快得多，尤其是在处理大规模数据集时。

总结

本教程展示了如何利用Pandas库结合Python的列表推导式和列表操作，高效地创建一个具有特定数字组合模式的DataFrame。通过一次性构建所有数据，并将其传递给 pd.DataFrame 构造函数，我们能够避免低效的循环操作，并遵循Pandas的推荐实践，从而编写出更简洁、高效和可维护的代码。掌握这种数据生成技巧对于任何Pandas用户来说都是一项基本而重要的技能。

以上就是使用Pandas高效生成两列数字组合的DataFrame的详细内容，更多请关注php中文网其它相关文章！