1. 虚拟数据生成概述
在数据分析、机器学习模型开发或系统测试中，虚拟数据（Dummy Data）扮演着重要角色。它允许开发者在没有真实数据的情况下进行原型设计、功能验证和性能测试。一个常见的需求是生成包含不同数据类型的虚拟数据集，例如数值型（如面积、价格）和分类型（如区域、类别）。
2. 挑战：生成随机分类文本数据列
当需要生成大量数值型虚拟数据时，numpy.random.randint等函数提供了简洁高效的方法。然而，在生成分类文本数据列时，新手用户常会遇到困惑。一个常见的错误是尝试通过类似random.randrange(len(some_string))的方式来生成一整列的随机文本值。
错误示例分析：
考虑以下代码片段：
立即学习“Python免费学习笔记（深入）”；
import random
import pandas as pd
import numpy as np
WORDS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]
word = random.choice(WORDS) # 假设这里word被随机赋值为 "Chelsea"
np.random.seed(1)
data3 = pd.DataFrame({
"Sq. feet" : np.random.randint(low=75, high=325, size=50000),
"Price" : np.random.randint(low=200000, high=1250000, size=50000),
"Borough" : random.randrange(len(word)) # 错误：len("Chelsea") 为 7，random.randrange(7) 产生一个 0-6 之间的整数（例如 5）。
# 这个单一的整数 5 会被广播到 "Borough" 列的所有 50,000 行。
})
print(data3.head())上述代码的预期输出是Borough列包含来自WORDS列表的随机文本值，但实际输出却是所有行的Borough列都显示同一个数字（例如5）。这是因为random.randrange(len(word))仅执行一次，返回一个单一的整数，这个整数随后被Pandas的广播机制应用到整个Borough列。为了生成一列随机的文本值，我们需要为每一行独立地选择一个随机值。
3. 正确的解决方案：使用列表推导式生成随机分类数据
解决上述问题的关键是为DataFrame的每一行生成一个独立的随机选择。这可以通过Python的列表推导式（List Comprehension）结合random.choice()函数来实现。
random.choice(sequence)函数用于从给定的非空序列中随机选择一个元素。通过将其置于列表推导式中，我们可以生成一个包含所需数量的随机元素的列表。
修正后的代码示例：
import random
import pandas as pd
import numpy as np
# 定义数据集大小
SIZE = 50_000
# 定义分类数据列表，建议使用更具描述性的变量名
BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]
# 设置随机种子以确保结果可复现
np.random.seed(1)
# 构建DataFrame
data = pd.DataFrame({
"Sq. feet": np.random.randint(low=75, high=325, size=SIZE),
"Price": np.random.randint(low=200000, high=1250000, size=SIZE),
# 使用列表推导式为每一行生成一个随机的区域名称
"Borough": [random.choice(BOROUGHS) for _ in range(SIZE)]
})
# 将DataFrame保存为CSV文件
# index=False 避免将DataFrame的索引写入CSV文件
output_file_path = "realestate_dummy_data.csv"
data.to_csv(output_file_path, index=False)
print("生成的前5行数据：")
print(data.head())
print(f"\n数据已成功保存到：{output_file_path}")代码输出示例：
生成的前5行数据： Sq. feet Price Borough 0 112 345382 Pimlico 1 310 901500 Battersea 2 215 661033 Holborn 3 147 1038431 Westminster 4 212 296497 Holborn 数据已成功保存到：realestate_dummy_data.csv
从输出中可以看出，Borough列现在包含了来自BOROUGHS列表的随机文本值，而不是重复的数字。
4. 关键概念与最佳实践
- numpy.random.randint(low, high, size): 用于生成指定范围[low, high)内，大小为size的整数数组。非常适合批量生成数值型虚拟数据。
- random.choice(sequence): 从给定的序列（如列表）中随机选择一个元素。
- 列表推导式 [expression for item in iterable]: 一种简洁的创建列表的方法。在本例中，[random.choice(BOROUGHS) for _ in range(SIZE)]会迭代SIZE次，每次迭代都调用random.choice(BOROUGHS)生成一个随机区域名，并将其收集到一个列表中。
- 变量常量化: 对于在代码中多次使用的固定值（如数据集大小50000），将其定义为常量（如SIZE = 50_000）是一种良好的编程习惯。这不仅提高了代码的可读性，也便于日后修改和维护。
- 描述性变量名: 将WORDS重命名为BOROUGHS等，使变量的用途一目了然。
- np.random.seed(seed_value): 设置随机数生成器的种子。这对于需要可复现结果的实验和测试至关重要。每次使用相同的种子，生成的随机数序列将是相同的。
- df.to_csv(filepath, index=False): 将DataFrame保存为CSV文件。index=False参数用于防止将DataFrame的行索引作为一列写入CSV文件，这通常是希望避免的。
5. 总结
通过本文，我们学习了如何使用pandas、numpy和random库有效地生成包含数值和分类文本的混合虚拟数据集。关键在于理解如何正确地为分类列生成随机值，即利用列表推导式结合random.choice()函数，为每一行数据独立地选择一个随机元素。遵循文中提到的最佳实践，可以编写出更健壮、可读性更强且易于维护的数据生成代码。
