pandas中实现数据分类汇总的核心工具是groupby()方法。1. 使用groupby()按一个或多个列分组数据；2. 通过.agg()方法定义聚合逻辑，如sum()、mean()、count()等；3. 可使用reset_index()或多级索引参数as_index=false来处理汇总后的多级索引结构；4. 面对复杂需求时，可结合lambda函数实现条件聚合，或通过自定义函数配合agg()或apply()完成更灵活的计算。这些工具和方法构成了pandas强大的分类汇总功能，能够满足多样化的数据分析需求。
Pandas里实现数据分类汇总，核心工具就是groupby()方法。它能让你根据一个或多个列的值把数据巧妙地分成若干组，然后对每一组独立地执行各种聚合操作，比如求和、计算平均值、计数等等。这就像是把一大堆散乱的乐高积木，按照颜色、形状分好类，再数数每种颜色有多少块，或者看看每种形状的积木总共有多高，非常实用。
Pandas的groupby()方法是实现数据分类汇总的基石。通常，我们会先用groupby()指定分组的键，然后紧接着使用.agg()方法来定义具体的聚合逻辑。
import pandas as pd
import numpy as np
# 假设我们有一些销售数据
data = {
'Region': ['East', 'West', 'East', 'North', 'West', 'East', 'North', 'West'],
'Product': ['A', 'B', 'A', 'C', 'B', 'A', 'C', 'D'],
'Sales': [100, 150, 120, 80, 200, 110, 90, 180],
'Quantity': [10, 15, 12, 8, 20, 11, 9, 18]
}
df = pd.DataFrame(data)
# 简单的按区域汇总销售额
regional_sales = df.groupby('Region')['Sales'].sum()
print("按区域汇总销售额：\n", regional_sales)
# 也可以同时按多个维度分组，并进行多种聚合
# 比如，按区域和产品类型，计算总销售额和平均销量
multi_dim_summary = df.groupby(['Region', 'Product']).agg(
TotalSales=('Sales', 'sum'),
AverageQuantity=('Quantity', 'mean')
)
print("\n按区域和产品汇总销售额与平均销量：\n", multi_dim_summary)
# 如果聚合逻辑更复杂，例如需要自定义函数，可以使用 .apply()
# 比如，我们想计算每个区域内，销售额超过100的产品数量
def count_high_sales_products(group):
return (group['Sales'] > 100).sum()
high_sales_count = df.groupby('Region').apply(count_high_sales_products)
print("\n每个区域销售额超过100的产品数量：\n", high_sales_count)
聚合函数怎么选，才能切中要害？
选择合适的聚合函数，其实就是看你最终想从数据里“提炼”出什么信息。Pandas提供了非常丰富的内置聚合函数，覆盖了我们日常分析的绝大部分场景。
最常见的有：
-
sum()：计算总和，比如总销售额、总库存。 -
mean()：计算平均值，比如平均客单价、平均响应时间。 -
count()：计算非空值的数量，看某个类别有多少条记录。 -
size()：计算组的大小，包括NaN值，这能告诉你每个分组有多少行。 -
min()/max()：找出最小值或最大值，比如最低价、最高气温。 -
median()：中位数，对异常值不那么敏感的中心趋势度量。 -
std()/var()：标准差和方差，衡量数据的波动性。
当你需要同时进行多种聚合时，agg()方法就显得格外强大。你可以给它传入一个字典，键是新的列名，值是一个元组，元组里包含你想要聚合的列和聚合函数。这样输出的结果就非常清晰，避免了多层索引的麻烦。
# 还是用上面的df
# 假设我们想看每个区域的总销售额、平均销量和产品种类数量
comprehensive_summary = df.groupby('Region').agg(
TotalSales=('Sales', 'sum'),
AverageQuantity=('Quantity', 'mean'),
ProductCount=('Product', 'nunique') # nunique计算唯一值的数量
)
print(comprehensive_summary)这里nunique就非常巧妙，它能帮你快速统计每个区域有多少种不同的产品。选择聚合函数，关键在于你的分析目标：想看总量就sum，想看分布就mean或median，想看覆盖面就count或size。没有绝对的最佳选择，只有最适合你当前问题的那一个。
分类汇总后的多级索引，是福是祸？又该如何驯服它？
groupby()操作之后，一个很常见的情况就是结果DataFrame会带有多级索引（MultiIndex）。这在某些分析场景下，比如你需要进一步筛选或展示层级关系时，确实非常方便。它能清晰地展示数据是如何被层层分组的。
然而，在另一些情况下，特别是当你需要将汇总结果用于后续的合并、写入文件，或者直接作为扁平化表格展示时，多级索引可能会显得有点“碍事”。它让列的访问变得复杂，也可能不符合某些工具或数据库的导入要求。
驯服它的方法主要有两种：
本书是全面讲述PHP与MySQL的经典之作，书中不但全面介绍了两种技术的核心特性，还讲解了如何高效地结合这两种技术构建健壮的数据驱动的应用程序。本书涵盖了两种技术新版本中出现的最新特性，书中大量实际的示例和深入的分析均来自于作者在这方面多年的专业经验，可用于解决开发者在实际中所面临的各种挑战。
-
reset_index()：这是最直接、最常用的方法。它会把所有索引层级都转换为普通的列，从而得到一个扁平化的DataFrame。你可以指定drop=True来丢弃旧的索引，或者不指定让它们变成新列。# 承接上文的 multi_dim_summary print("原始多级索引汇总：\n", multi_dim_summary) # 使用 reset_index() 将索引转换为列 flattened_summary = multi_dim_summary.reset_index() print("\n扁平化后的汇总：\n", flattened_summary) -
as_index=False：在groupby()的时候就直接告诉Pandas，别把分组键作为索引。这样，它会把分组键保留为普通列，直接输出一个扁平化的结果，省去了后续reset_index()的步骤。# 再次按区域和产品类型分组，但这次不使用索引 no_index_summary = df.groupby(['Region', 'Product'], as_index=False).agg( TotalSales=('Sales', 'sum'), AverageQuantity=('Quantity', 'mean') ) print("\n直接生成扁平化汇总（as_index=False）：\n", no_index_summary)
选择哪种方式取决于你的习惯和具体需求。如果我一开始就知道我最终需要一个扁平的表格，我可能会倾向于直接用as_index=False。但如果我需要逐步探索数据，或者多级索引能更好地表达我的数据结构，那我就先让它保持多级索引，等到需要扁平化时再reset_index()。这就像是，你知道最终要吃面条，可以直接煮面，也可以先煮一大锅高汤，再捞出来放面。各有各的便利。
面对更复杂的聚合需求，例如条件聚合或自定义函数，Pandas还能怎么玩？
有时候，简单的sum()或mean()满足不了我们刁钻的需求。比如，我只想统计某个特定条件下才满足的销售额，或者需要一个完全定制的计算逻辑。这时候，Pandas依然能灵活应对。
-
条件聚合（Conditional Aggregation）： 你可以在
agg()内部结合布尔索引来实现条件聚合。这通常需要你传入一个具名聚合（named aggregation），然后在一个lambda函数中嵌入条件判断。# 假设我们想计算每个区域中，只有销售额超过100的订单的总销售额 conditional_sales = df.groupby('Region').agg( HighValueSales=('Sales', lambda x: x[x > 100].sum()), # 还可以计算高价值订单的数量 HighValueOrdersCount=('Sales', lambda x: (x > 100).sum()) ) print("\n每个区域高价值订单的汇总：\n", conditional_sales)这里，
lambda x: x[x > 100].sum()就是精髓。x代表分组后的Series（比如某个Region下的所有Sales值），我们对这个Series进行布尔索引，只选择大于100的值，然后再求和。这种方式非常简洁高效。 -
自定义函数（Custom Functions）： 当你的聚合逻辑非常复杂，无法用简单的lambda表达式表达时，你可以定义一个普通的Python函数，然后将其传递给
agg()或apply()。-
传递给
agg()：如果你的函数接受一个Series并返回一个标量值，那就可以直接用在agg()里。# 比如，我们想计算每个区域销售额的中位数与平均值的差值 def median_mean_diff(series): return series.median() - series.mean() diff_summary = df.groupby('Region').agg( SalesDiff=('Sales', median_mean_diff) ) print("\n每个区域销售额中位数与平均值的差值：\n", diff_summary) -
使用
apply()：apply()是groupby()操作中最灵活的。它会将每个分组作为一个完整的DataFrame（或Series）传递给你的函数。这意味着你可以在函数内部进行任何Pandas操作，甚至更复杂的逻辑，只要最终返回一个DataFrame、Series或标量。# 假设我们想找出每个区域销售额最高的两个产品及其销售额 def top_n_sales(group_df, n=2): return group_df.nlargest(n, 'Sales')[['Product', 'Sales']] top_products_by_region = df.groupby('Region').apply(top_n_sales, n=2) print("\n每个区域销售额最高的两个产品：\n", top_products_by_region)apply()的强大之处在于，它给你的函数提供的是整个分组的上下文，而不仅仅是某一列。这使得你可以执行跨列的计算、复杂的过滤或排序，甚至返回一个结构完全不同的结果。不过，apply()通常比内置聚合函数或agg()的性能要差一些，因为它在Python循环中执行。所以，能用内置函数或agg()解决的，尽量优先考虑它们。但当逻辑实在太复杂时，apply()就是你的救星。
-
总之，Pandas的分类汇总功能，从简单的sum()到复杂的apply()，提供了一整套工具来帮助你深入挖掘数据。理解并灵活运用它们，数据分析的效率和深度都能得到显著提升。
