使用Pandas和Python高效生成混合型虚拟数据：数值与文本结合实战

在数据分析、机器学习模型开发或系统测试中，经常需要创建具有特定结构和数据类型的虚拟数据集。这些数据集通常包含数值型（如整数、浮点数）和分类型（如文本、枚举值）数据。正确地生成这些混合数据类型，并将其整合到如pandas dataframe这样的结构中，是数据预处理的关键一步。

虚拟数据生成概述

生成虚拟数据通常涉及以下几个步骤：

1. 定义所需数据的规模（行数）。
2. 为每个列确定数据类型和生成规则。
3. 利用相应的库（如NumPy用于数值，Python内置random模块用于分类）生成数据。
4. 将生成的数据整合到Pandas DataFrame中。
5. 将DataFrame导出为文件（如CSV）。

数值型数据生成

对于数值型数据，NumPy库提供了强大的工具。numpy.random.randint函数可以生成指定范围内的随机整数数组，非常适合创建像“面积”或“价格”这样的数值列。

示例：生成平方英尺和价格数据

import numpy as np

# 定义数据行数
SIZE = 50000

# 生成“Sq. feet”列：75到325之间的随机整数
sq_feet_data = np.random.randint(low=75, high=325, size=SIZE)

# 生成“Price”列：200000到1250000之间的随机整数
price_data = np.random.randint(low=200000, high=1250000, size=SIZE)

这里，low参数指定了随机数的下限（包含），high参数指定了上限（不包含），size参数则指定了生成数组的形状（这里是长度为SIZE的一维数组）。

立即学习“Python免费学习笔记（深入）”；

分类型数据生成

分类型数据（如文本标签）的生成需要从预定义的列表中随机选择元素。一个常见的错误是尝试对整个列应用单次随机选择，或错误地使用random.randrange。random.randrange通常用于生成指定范围内的随机整数索引，而不是直接选择列表中的元素。

正确的做法是使用random.choice函数，并结合列表推导式，为每一行独立地从预定义列表中随机选择一个元素，从而生成一个包含SIZE个随机选择的列表。

示例：生成“Borough”列

阿里云-虚拟数字人

阿里云-虚拟数字人是什么？ ...

2

查看详情

假设我们有一个行政区划名称的列表：

import random

BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]

# 使用列表推导式生成“Borough”列：从BOROUGHS列表中随机选择SIZE次
borough_data = [random.choice(BOROUGHS) for _ in range(SIZE)]

这里的列表推导式[random.choice(BOROUGHS) for _ in range(SIZE)]会迭代SIZE次，每次都从BOROUGHS列表中随机选择一个元素，并将这些选择汇集成一个新的列表，其长度恰好是SIZE。

构建与导出DataFrame

一旦所有列的数据都已生成，就可以使用Pandas的DataFrame构造函数将它们组合起来，并最终导出为CSV文件。

完整示例代码

import random
import pandas as pd
import numpy as np

# 定义数据行数
SIZE = 50_000

# 定义分类数据列表
BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]

# 设置NumPy随机种子以确保数值数据的可复现性
np.random.seed(1)

# 创建DataFrame
data3 = pd.DataFrame({
    "Sq. feet": np.random.randint(low=75, high=325, size=SIZE),
    "Price": np.random.randint(low=200000, high=1250000, size=SIZE),
    "Borough": [random.choice(BOROUGHS) for _ in range(SIZE)] # 使用列表推导式生成分类数据
})

# 将DataFrame保存为CSV文件
# index=False 避免将DataFrame的索引写入CSV文件
data3.to_csv("realestate.csv", index=False)

# 打印DataFrame的前几行以验证
print(data3.head())

预期输出示例

   Sq. feet    Price      Borough
0       112   345382      Pimlico
1       310   901500    Battersea
2       215   661033      Holborn
3       147  1038431  Westminster
4       212   296497      Holborn

可以看到，“Borough”列现在包含了预期的文本值，并且每行都是随机选择的。

注意事项与最佳实践

• 使用常量： 将重复使用的数字（如50000）定义为顶部常量（如SIZE），这不仅提高了代码的可读性，也便于后续修改和维护。
• 随机种子： 对于需要可复现结果的场景（尤其是数值数据），使用np.random.seed()设置随机种子非常重要。这样，每次运行代码时，NumPy生成的随机数序列都将是相同的。
• 列表推导式： 列表推导式是Python中一种简洁高效的创建列表的方法，尤其适用于根据现有列表或迭代器生成新列表。在生成大量随机分类数据时，它比传统的for循环更具可读性和性能优势。
• random.choice与random.randrange：
  • random.choice(sequence)：从非空序列中随机选择一个元素。
  • random.randrange(start, stop, step)：生成指定范围内的随机整数。理解两者的区别对于避免常见错误至关重要。

总结

通过结合使用NumPy进行数值数据生成和Python内置random模块（配合列表推导式）进行分类数据生成，我们可以高效且灵活地构建复杂的混合型虚拟数据集。Pandas DataFrame作为数据容器，使得数据的组织、操作和导出变得极其便捷。掌握这些技术，将大大提升数据准备阶段的效率和准确性。

以上就是使用Pandas和Python高效生成混合型虚拟数据：数值与文本结合实战的详细内容，更多请关注php中文网其它相关文章！