本教程旨在介绍如何使用 pandas 库高效地统计 dataframe 中每一列的唯一值及其出现频率，并将结果整合成一个嵌套字典结构。我们将探讨一种简洁且避免在 dataframe 层面进行复杂迭代的方法，而是利用 pandas series 的内置优化功能，实现将列名映射到其对应唯一值计数字典的目标，从而优化数据处理和分析流程。
引言
在数据分析和处理中，我们经常需要了解 DataFrame 中各列数据的分布情况，特别是每列中不同值的出现频率。例如，在一个包含用户行为数据的 DataFrame 中，我们可能需要统计每个产品ID或事件类型出现的次数。将这些统计结果以嵌套字典的形式组织起来，即外层字典的键是列名，内层字典的键是列中的唯一值，值是其出现次数，是一种非常清晰和实用的数据结构。
问题阐述与目标
我们的目标是给定一个 Pandas DataFrame，生成一个如下结构的字典：
{'列名1': {'唯一值A': 计数A, '唯一值B': 计数B, ...},
'列名2': {'唯一值X': 计数X, '唯一值Y': 计数Y, ...}}例如，对于以下 DataFrame：
import pandas as pd
data = {'Col1': [1, 2, 2, 3, 1],
'Col2': ['A', 'B', 'B', 'A', 'C']}
df = pd.DataFrame(data)我们期望得到：
{'Col1': {1: 2, 2: 2, 3: 1},
'Col2': {'A': 2, 'B': 2, 'C': 1}}在实现过程中，我们希望采用一种高效且简洁的方式，尽量避免显式的行级别循环或复杂的 DataFrame 转换操作（如 apply 或 agg）。
解决方案详解
Pandas 提供了一种非常直接且高效的方法来解决这个问题，它利用了字典推导式（dictionary comprehension）和 Series 的 value_counts() 方法。
核心思想是：
- 遍历 DataFrame 的每一列（通过列名）。
- 对于每一列，将其视为一个 Pandas Series。
- 使用 Series 的 value_counts() 方法来统计该 Series 中每个唯一值的出现频率。
- 将 value_counts() 的结果（一个 Series）转换为字典 (.to_dict())。
- 将列名作为键，将转换后的字典作为值，构建最终的嵌套字典。
value_counts() 方法是 Pandas Series 提供的一个强大功能，它返回一个包含唯一值及其对应计数的 Series，默认按计数降序排列。此方法在底层经过高度优化，效率非常高。
示例代码
下面是实现上述目标的完整代码示例：
import pandas as pd
# 1. 准备示例数据
data = {'Col1': [1, 2, 2, 3, 1],
'Col2': ['A', 'B', 'B', 'A', 'C'],
'Col3': [True, False, True, None, True]} # 增加一列包含不同类型和缺失值
df = pd.DataFrame(data)
print("原始 DataFrame:")
print(df)
print("-" * 30)
# 2. 生成唯一值计数字典的解决方案
# 使用字典推导式遍历DataFrame的每一列
result_dict = {col: df[col].value_counts().to_dict() for col in df.columns}
print("\n生成的唯一值计数字典:")
print(result_dict)
print("-" * 30)
# 3. 验证 Col3 的结果，注意 None/NaN 的处理
# 默认情况下，value_counts() 会忽略 NaN 值
result_dict_with_nan = {col: df[col].value_counts(dropna=False).to_dict() for col in df.columns}
print("\n包含 NaN 计数的唯一值计数字典 (Col3):")
print(result_dict_with_nan['Col3'])输出结果：
原始 DataFrame:
Col1 Col2 Col3
0 1 A True
1 2 B False
2 2 B True
3 3 A None
4 1 C True
------------------------------
生成的唯一值计数字典:
{'Col1': {1: 2, 2: 2, 3: 1}, 'Col2': {'A': 2, 'B': 2, 'C': 1}, 'Col3': {True: 3, False: 1}}
------------------------------
包含 NaN 计数的唯一值计数字典 (Col3):
{True: 3, False: 1, None: 1}方法优势
- 简洁性与可读性： 单行字典推导式使得代码极其简洁，易于理解。
- 效率高： 尽管字典推导式涉及对列名的迭代，但每个 df[col].value_counts() 操作都是在 Pandas 内部使用 C 语言实现的，高度优化，因此整体性能非常出色，尤其对于大数据集。它避免了 Python 层面低效的逐行或逐元素循环。
- 避免中间状态： 直接生成目标字典结构，不需要创建额外的中间 DataFrame 或 Series，减少内存消耗和计算步骤。
- 灵活性： value_counts() 方法本身提供了 normalize（计算频率而非计数）、sort（是否排序）、ascending（升序或降序）、bins（分箱）和 dropna（是否包含 NaN 值）等参数，可以根据具体需求进行调整。
注意事项
- 缺失值（NaN）处理： value_counts() 默认会忽略 NaN 值。如果需要将 NaN 也计入统计，可以设置 dropna=False，如示例代码中所示。
- 数据类型： value_counts() 适用于各种数据类型（数值、字符串、布尔值等）。
- 大数据量DataFrame： 对于拥有极多列（例如数千列）的 DataFrame，字典推导式中的列迭代可能会带来轻微的开销。但在绝大多数实际应用场景中，这种方法都是性能和简洁性的最佳平衡点。
总结
通过利用 Pandas Series 的 value_counts() 方法和 Python 的字典推导式，我们可以高效且优雅地统计 DataFrame 中每一列的唯一值及其频率，并将其组织成一个结构清晰的嵌套字典。这种方法不仅代码简洁，而且在性能上表现出色，是处理此类数据聚合任务的推荐实践。理解并掌握这种技巧，将有助于提升您在 Pandas 数据处理中的效率和代码质量。
