利用Python高效处理大型商品数据集统计
本文介绍如何高效处理大型商品数据集，统计相同商品（标题、颜色、尺码）的数量，并按商品总数量进行降序排列。原始数据包含商品标题、颜色、尺码和数量，目标是生成一个新的数据集，包含商品组合数量和每个商品标题的总数量，最终结果按总数量降序排列。
问题描述：
已知一个包含商品信息的列表data，其结构为('标题', '颜色', '尺码', '数量')。我们需要将其转换为另一个列表result，result的结构为('标题', '颜色', '尺码', '该组合数量', '标题总数量')，并按标题总数量降序排列。
高效解决方案：
Python的collections.Counter对象是解决此问题的理想工具。它可以高效地统计序列中每个元素的出现次数，避免了低效的循环遍历。
以下代码展示了如何使用Counter实现数据转换和排序：
from collections import Counter
data = [
('连衣裙', '白色', 's', 1),
('连衣裙', '白色', 's', 1),
('连衣裙', '黑色', 'm', 1),
('裤子', '白色', 's', 1),
]
# 使用Counter统计每个(标题, 颜色, 尺码)组合的数量
item_counts = Counter(tuple(item[:-1]) for item in data)
# 使用Counter统计每个标题的总数量
title_counts = Counter(item[0] for item in data)
# 构建结果列表
result = [(title, color, size, item_counts[(title, color, size)], title_counts[title])
for title, color, size, _ in data]
# 按标题总数量降序排序
result.sort(key=lambda x: (-x[4], x[0], x[1], x[2]))
print(result)
这段代码首先使用Counter分别统计商品组合和标题的出现次数。然后，它构建result列表，包含每个商品的组合数量和标题总数量。最后，它使用sort函数并自定义key函数，按照标题总数量降序排列结果。此方法即使面对数千条记录的大型数据集也能保持高效。
输出结果：
[('连衣裙', '白色', 's', 2, 3), ('连衣裙', '黑色', 'm', 1, 3), ('裤子', '白色', 's', 1, 1)]
该方案充分利用了Counter的高效性，避免了嵌套循环，从而能够有效处理大型数据集的统计需求。
