本文详解如何在 Pandas 中对含时间戳的日志数据进行智能去重——按 article_id 分组，严格保留每个文章的最新一条记录（即 created_at 最大的行），避免因未排序导致 drop_duplicates 行为异常。
本文详解如何在 pandas 中对含时间戳的日志数据进行智能去重——按 `article_id` 分组，严格保留每个文章的最新一条记录（即 `created_at` 最大的行），避免因未排序导致 `drop_duplicates` 行为异常。
在处理用户行为日志（如文章审核、状态变更等）时，常遇到同一 article_id 被多次操作的情况——例如某篇文章被先后标记为 -1（排除）、1（包含）、再 -1（重新排除）。此时若仅用 df.drop_duplicates(subset=['article_id'], keep='last')，Pandas 会按原始行序取最后出现的行，而非按业务逻辑中的“最新时间”；而原始数据往往未按时间排序，导致结果随机、不可控（如提问中从 17349 行骤减至 8035 行却丢失大量有效用户信息），这正是问题根源。
✅ 正确做法是：先按时间升序排序，再按 article_id 去重并保留 last。因为 drop_duplicates(..., keep='last') 在已排序数据中，会自然选取该 article_id 组内时间最晚的一条记录（即排序后该组的最后一个元素）。
以下是完整、健壮的实现步骤：
import pandas as pd
# 1. 读取数据（注意：created_at 列需解析为 datetime）
df = pd.read_csv("log.csv", parse_dates=["created_at"])
# 2. 关键步骤：按 created_at 升序排序（确保最新记录排在每组末尾）
df = df.sort_values("created_at", ascending=True).reset_index(drop=True)
# 3. 去重：对每个 article_id，只保留排序后最后一行（即时间最晚的记录）
df_latest = df.drop_duplicates(subset=["article_id"], keep="last")
# 4. （可选）格式化时间列，如仅保留日期部分
df_latest["created_at"] = df_latest["created_at"].dt.strftime("%Y-%m-%d")? 重要说明与注意事项：
立即学习“Python免费学习笔记（深入）”；
- ✅ sort_values(..., ascending=True) 是必需前置步骤。若误用 ascending=False（降序），则 keep='last' 将取到最早的记录，完全违背业务目标。
- ⚠️ parse_dates=["created_at"] 必须启用，否则字符串类型的时间无法正确排序（如 "2023-12-05T20:06:36.387Z" 会按字典序比较，导致 2023-12-05 > 2023-12-06 错误）。
- ? 若需保留原始索引或调试中间过程，可在 sort_values 后添加 ignore_index=False，但通常建议 reset_index(drop=True) 保证索引连续整洁。
- ? 对于超大数据集（如提问中 17k+ 行），该流程性能优异，sort_values 和 drop_duplicates 均为 Pandas 高度优化的向量化操作，无需循环。
执行后，示例数据中 article_id == 3 的 5 条记录将仅保留 created_at 为 2023-12-05T20:06:56.200Z 的最后一行，其他 article_id 同理——最终输出精确反映每篇文章的终态决策，为后续分析（如统计通过率、用户活跃度）提供可信数据基础。
