1. 虚拟数据生成概述
在数据分析、机器学习模型开发或测试阶段，我们经常需要创建虚拟数据集。这些数据集通常包含多种数据类型，例如数值型（如面积、价格）和类别型（如区域、产品类型）。使用python的pandas和numpy库可以高效地完成这项任务。
2. 生成数值型数据
对于数值型数据，numpy.random.randint或numpy.random.uniform等函数是理想的选择。它们允许我们指定数值范围和所需的数据量。
例如，生成50,000行房屋面积和价格数据：
import numpy as np import pandas as pd SIZE = 50000 # 定义数据行数，推荐使用变量而非硬编码 np.random.seed(1) # 设置随机种子以确保结果可复现 # 生成面积数据：75到325之间的随机整数 sq_feet_data = np.random.randint(low=75, high=325, size=SIZE) # 生成价格数据：200,000到1,250,000之间的随机整数 price_data = np.random.randint(low=200000, high=1250000, size=SIZE)
3. 生成文本类别型数据的常见误区
在生成文本类别型数据时，一个常见的错误是尝试使用类似random.randrange(len(word))的方式。这种方法的问题在于：
- random.choice(WORDS)：首先从WORDS列表中随机选择一个单词，例如"Pimlico"。
- len(word)：计算这个单词的长度，例如len("Pimlico")得到7。
- random.randrange(len(word))：生成一个0到6（不包括7）之间的随机整数。
- 将这个单一的随机整数（例如5）广播到所有50,000行，而不是为每一行生成一个随机的区域名称。
因此，最终结果会是一个所有行的“Borough”列都显示相同数字（例如5）的数据框，这显然不是我们期望的随机文本类别数据。
立即学习“Python免费学习笔记（深入）”；
4. 正确生成文本类别型数据的方法：列表推导式与random.choice()
要为每一行独立生成随机的文本类别数据，我们需要使用random.choice()函数结合列表推导式。random.choice(list)从给定的列表中随机选择一个元素。通过在列表推导式中重复执行此操作SIZE次，我们可以生成一个包含SIZE个随机类别值的列表。
import random
BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden",
"Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]
# 使用列表推导式为每一行生成一个随机区域
borough_data = [random.choice(BOROUGHS) for _ in range(SIZE)]这里的_是一个占位符变量，表示我们不需要在循环内部使用迭代器的值。range(SIZE)确保了random.choice(BOROUGHS)操作被执行了SIZE次，从而生成了一个长度为SIZE的随机区域列表。
5. 整合所有数据并导出为CSV
将数值型和文本类别型数据整合到一个Pandas DataFrame中，并导出为CSV文件：
# 整合所有数据到DataFrame
data_frame = pd.DataFrame({
"Sq. feet": sq_feet_data,
"Price": price_data,
"Borough": borough_data
})
# 打印DataFrame的前几行以验证结果
print(data_frame.head())
# 将DataFrame保存为CSV文件
# index=False 避免将DataFrame的索引写入CSV文件
data_frame.to_csv("realestate.csv", index=False)
print("\n虚拟数据已成功生成并保存到 realestate.csv")完整示例代码:
import random
import pandas as pd
import numpy as np
# 定义数据行数，使用常量可提高代码可维护性
SIZE = 50_000
# 定义区域列表，建议使用更具描述性的变量名
BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn",
"Camden", "Islington", "Angel", "Battersea", "Knightsbridge",
"Bermondsey", "Newham"]
# 设置随机种子以确保结果可复现
np.random.seed(1)
# 构建DataFrame
data_frame = pd.DataFrame({
"Sq. feet": np.random.randint(low=75, high=325, size=SIZE),
"Price": np.random.randint(low=200000, high=1250000, size=SIZE),
# 正确生成文本类别数据：使用列表推导式和random.choice
"Borough": [random.choice(BOROUGHS) for _ in range(SIZE)]
})
# 打印DataFrame的前几行
print(data_frame.head())
# 将DataFrame保存为CSV文件，不包含索引
data_frame.to_csv("realestate.csv", index=False)
print("\n虚拟数据已成功生成并保存到 realestate.csv")输出示例:
Sq. feet Price Borough 0 112 345382 Pimlico 1 310 901500 Battersea 2 215 661033 Holborn 3 147 1038431 Westminster 4 212 296497 Holborn
6. 注意事项与最佳实践
- 使用常量定义重复值： 对于像数据行数SIZE这样的重复使用的数值，将其定义为一个常量（例如SIZE = 50_000）放置在代码顶部是一个好习惯。这不仅提高了代码的可读性，也便于未来修改参数时只需更改一处。
- 清晰的变量命名： 将WORDS重命名为更具体的BOROUGHS，可以使代码意图更加明确。
- 随机种子： 使用np.random.seed()可以确保每次运行代码时，随机数生成的结果都是相同的，这对于调试和结果复现至关重要。
- 列表推导式： [expression for item in iterable]是Python中一种简洁高效的创建列表的方法，非常适用于批量生成数据。对于本例中的类别数据生成，它比传统的for循环更具可读性和效率。
7. 总结
通过本教程，我们学习了如何使用pandas和numpy库生成包含数值和文本类别数据的虚拟数据集。关键在于理解random.choice()与列表推导式结合使用的强大功能，以避免在生成类别数据时常见的单一值广播错误。遵循这些最佳实践，可以确保生成的数据集既准确又易于维护，为后续的数据分析和模型开发工作打下坚实基础。
