引言：数据概览的重要性
在数据分析和机器学习项目中，深入理解数据集的结构和内容是至关重要的第一步。对于一个Pandas DataFrame，了解每列的数据类型（Dtype）以及其中包含的唯一值（Unique Values）及其数量，能够帮助我们快速识别潜在的数据质量问题、数据类型不匹配，或者发现分类变量的基数（Cardinality）。手动检查每个列既耗时又容易出错，尤其当DataFrame包含数十甚至上百个列时。因此，构建一个自动化的、可扩展的列特征统计表显得尤为必要。
核心方法：构建列特征统计表
为了生成一个包含列名、数据类型、唯一值列表和唯一值数量的汇总表，我们可以通过迭代DataFrame的每一列来实现。以下是具体的实现步骤和示例代码。
1. 准备示例DataFrame
首先，我们创建一个示例DataFrame，以便演示后续的操作：
import pandas as pd
# 创建示例DataFrame
df = pd.DataFrame({
'letter': ['a','b','c','a','b','c'],
'state': ['CA','FL','CA','FL','CA','FL'],
'scores': [11.6,12.8,13.9,14.2,15.8,16.2],
'age': [12,28,19,14,12,28]
})
print("原始DataFrame:")
print(df)2. 迭代并提取列信息
我们将遍历DataFrame的所有列。对于每一列，我们需要获取其数据类型、提取所有唯一的取值，并将这些唯一值转换为字符串形式以便于在汇总表中显示。同时，统计唯一值的数量也是一个非常有用的指标。
立即学习“Python免费学习笔记（深入）”；
# 初始化列表用于存储提取的信息
column_names = []
data_types = []
unique_values_list = []
unique_counts = []
# 遍历DataFrame的每一列
for col in df.columns:
column_names.append(col) # 列名
data_types.append(str(df[col].dtype)) # 数据类型
# 获取唯一值，并转换为字符串列表，然后用逗号连接
unique_vals = df[col].unique()
# 将每个唯一值转换为字符串，以防出现非字符串类型（如数字、布尔值）
unique_vals_str = [str(x) for x in unique_vals]
unique_values_list.append(', '.join(unique_vals_str))
unique_counts.append(len(unique_vals)) # 唯一值数量3. 构建结果DataFrame
最后，我们将收集到的所有信息汇聚到一个新的Pandas DataFrame中，形成我们所需的列特征统计表。
# 构建结果DataFrame
summary_df = pd.DataFrame({
'Column Name': column_names,
'Dtype': data_types,
'Unique Values': unique_values_list,
'Unique Count': unique_counts
})
print("\n列特征统计表:")
print(summary_df)输出示例：
原始DataFrame: letter state scores age 0 a CA 11.6 12 1 b FL 12.8 28 2 c CA 13.9 19 3 a FL 14.2 14 4 b CA 15.8 12 5 c FL 16.2 28 列特征统计表: Column Name Dtype Unique Values Unique Count 0 letter object a,b,c 3 1 state object CA, FL 2 2 scores float64 11.6, 12.8, 13.9, 14.2,... 6 3 age int64 12, 28, 19, 14 4
注：scores列的唯一值列表可能因显示宽度被截断，但实际内部存储是完整的。
封装为可复用函数
为了提高代码的可复用性和可维护性，特别是当需要对多个DataFrame执行相同操作时，将上述逻辑封装为一个函数是最佳实践。
def get_dataframe_summary(df: pd.DataFrame) -> pd.DataFrame:
"""
为Pandas DataFrame生成一个列特征统计表，包括列名、数据类型、
唯一的取值列表和唯一值的数量。
参数:
df (pd.DataFrame): 需要分析的DataFrame。
返回:
pd.DataFrame: 包含列特征统计信息的DataFrame。
"""
column_names = []
data_types = []
unique_values_list = []
unique_counts = []
for col in df.columns:
column_names.append(col)
data_types.append(str(df[col].dtype))
unique_vals = df[col].unique()
unique_vals_str = [str(x) for x in unique_vals]
unique_values_list.append(', '.join(unique_vals_str))
unique_counts.append(len(unique_vals))
summary_df = pd.DataFrame({
'Column Name': column_names,
'Dtype': data_types,
'Unique Values': unique_values_list,
'Unique Count': unique_counts
})
return summary_df
# 使用函数
summary_table = get_dataframe_summary(df)
print("\n使用函数生成的列特征统计表:")
print(summary_table)注意事项与进阶考量
-
处理大量唯一值： 如果某一列包含大量唯一值（例如，一个ID列），将其所有唯一值都列出来可能会导致“Unique Values”列非常长，影响可读性。在这种情况下，可以考虑对显示进行截断，例如只显示前N个唯一值，并在末尾加上“...”表示省略，或者仅显示唯一值的数量。
# 示例：截断唯一值显示 # unique_values_list.append(', '.join(unique_vals_str[:5]) + ('...' if len(unique_vals_str) > 5 else '')) - 性能考量： 对于具有数百万行甚至更多行的大型DataFrame，df[col].unique()操作可能会消耗较多的内存和计算资源。在极端情况下，如果性能成为瓶颈，可以考虑抽样或者使用更优化的库（如datatable）进行初步的数据探索。然而，对于大多数常见的数据集大小，Pandas的性能是足够的。
-
更全面的数据概览： 本教程侧重于数据类型和唯一值。在实际数据探索中，通常还需要结合其他Pandas函数，如：
- df.info()：提供非空值数量和内存使用情况。
- df.describe()：为数值型列提供统计摘要（均值、标准差、最小值、最大值等）。
- df.value_counts()：对于分类列，提供每个唯一值的频次分布。
- df.isnull().sum()：统计每列的缺失值数量。 通过整合这些信息，可以构建一个更全面的数据质量报告。
总结
生成DataFrame列的类型和唯一值统计表是数据探索阶段的一个基础而强大的工具。通过本文介绍的方法，我们可以快速、自动化地获取这些关键信息，从而更好地理解数据集的结构、识别潜在问题，并为后续的数据清洗、特征工程和模型构建奠定基础。将此功能封装为可复用函数，进一步提升了其在实际项目中的应用价值。
