利用Python高效处理和排序大型商品数据集
本文演示如何将一个包含商品信息的列表高效地转换为另一个包含商品统计信息并按特定规则排序的列表。原始数据包含商品标题、颜色、尺码和数量，目标是统计相同标题、颜色和尺码的商品数量，并计算每个标题下所有商品的总数量，最终结果按总数量降序排列。
示例原始数据：
data = [
('连衣裙', '白色', 'S', 1),
('连衣裙', '白色', 'S', 1),
('连衣裙', '黑色', 'M', 1),
('裤子', '白色', 'S', 1),
]
目标输出格式：
立即学习“Python免费学习笔记（深入）”；
中国工商网电子商务购物中心系统EMall
下载
完全公开源代码，并无任何许可限制 特别基于大型电子商务网站的系统开发 Microsoft SQL Server 2000后台数据库，充分应用了存储过程的巨大功效 基于类模块的扩展数据访问能力支持任何类型的大型数据库 加密用户登录信息(cookie) 易于安装的系统和应用功能 100%的asp.net的代码，没有COM，java或者其他的格式 完全基于MS建议的系统安全设计 最佳的应用程序,数据库
result = [
('连衣裙', '白色', 'S', 2, 3),
('连衣裙', '黑色', 'M', 1, 3),
('裤子', '白色', 'S', 1, 1),
]
其中，最后一个数字代表该标题下所有商品的总数量。为了高效处理大型数据集，我们将使用Python的collections.Counter对象进行计数。
以下代码实现了这一功能：
from collections import Counter
data = [
('连衣裙', '白色', 'S', 1),
('连衣裙', '白色', 'S', 1),
('连衣裙', '黑色', 'M', 1),
('裤子', '白色', 'S', 1),
]
# 使用Counter统计每个(标题, 颜色, 尺码)组合的数量
item_counts = Counter(tuple(item[:-1]) for item in data)
# 使用Counter统计每个标题的总数量
title_totals = Counter(item[0] for item in data)
# 创建结果列表，包含标题、颜色、尺码、数量和标题总数量
result = [
(*item, count, title_totals[item[0]])
for item, count in item_counts.items()
]
# 按标题总数量降序排序，然后按标题、颜色、尺码升序排序
result.sort(key=lambda x: (-x[4], x[0], x[1], x[2]))
print(result)
这段代码首先利用Counter高效地统计每个商品组合和每个标题的出现次数。然后，它构造一个新的列表，包含所有必要的信息，并根据总数量进行排序。这种方法充分利用了Counter的效率，能够轻松处理包含数千条甚至更多记录的大型数据集。
