Pandas 中按 org_id 分组并聚合多列：实现字符串去重拼接的完整方案

本文详解如何在 pandas 中对 DataFrame 按 org_id 分组，对各列（尤其是非数值列）安全执行“去重 + 竖线分隔”聚合，规避 agg() 报错，并确保时间戳、空值等场景鲁棒处理。

本文详解如何在 pandas 中对 dataframe 按 `org_id` 分组，对各列（尤其是非数值列）安全执行“去重 + 竖线分隔”聚合，规避 `agg()` 报错，并确保时间戳、空值等场景鲁棒处理。

在使用 pandas 进行数据聚合时，常需对分组后的字符串类字段进行“去重后拼接”操作（如用 | 连接多个地址或 ID）。但直接对混合类型（含 datetime64, object, None）列应用 .unique() 易触发 FutureWarning 或 TypeError——这是因为 .unique() 对某些数据类型（如带时区的 datetime 或含 NaN 的列）无法直接返回可 join 的字符串数组。

正确做法是为每列定制聚合函数，确保输入统一转为字符串、自动过滤缺失值，并保留唯一性。以下是推荐的稳健实现：

✅ 推荐聚合策略（兼顾通用性与健壮性）

import pandas as pd
import numpy as np

# 定义安全的去重拼接函数
def join_unique_safe(series):
    # 移除 NaN/None，转为字符串，去重，拼接
    cleaned = series.dropna().astype(str).unique()
    return ' | '.join(cleaned)

# 指定各列聚合方式：对所有列统一应用该函数
agg_dict = {col: join_unique_safe for col in df.columns if col != 'org_id'}

# 执行分组聚合（保留 org_id 作为索引，再重置）
df_grouped = df.groupby('org_id', as_index=False).agg(agg_dict)

⚠️ 注意：created_on 和 modified_on 列虽为时间戳，但 astype(str) 会将其转为 ISO 格式字符串（如 '2016-10-18T15:38:34.322+02:00'），若需保留原生 datetime 类型，应单独处理（见下文进阶说明）。

? 示例运行效果（基于原始数据）

假设原始 DataFrame df 包含两行相同 org_id 的记录，执行上述代码后输出如下：

✅ 所有字符串列均完成去重拼接；
✅ 时间戳列被安全转为字符串并保留精度；
✅ 若某列存在 NaN，dropna() 自动跳过，不中断流程。

?️ 进阶注意事项

• 避免全列统一处理时间列：若需后续对 created_on 做时间运算（如取最早创建时间），应单独指定聚合方式：

  

  SkyReels

  SkyReels是全球首个融合3D引擎与生成式AI的AI视频创作平台

  下载

  agg_dict = {
      'org_name': join_unique_safe,
      'category': join_unique_safe,
      'location_id': join_unique_safe,
      'street_x': join_unique_safe,
      'created_on': 'min',           # 取最早时间
      'modified_on': 'max',         # 取最新修改时间
      'loc_status': lambda x: x.mode().iloc[0] if not x.mode().empty else None  # 取众数状态
  }

• 性能提示：对超大表，dropna().astype(str).unique() 比嵌套 apply 更高效；若列中含大量重复长字符串，可先 .map(hash) 加速去重（需权衡哈希冲突风险）。

• 空组处理：groupby(...).agg(...) 默认忽略全空组；若需保留空组占位，添加 observed=False 参数（pandas ≥ 1.4）。

掌握此模式后，你可灵活适配各类“分组 + 字符串归并”场景，从组织信息整合到多地址合并，均能一次写对、稳定运行。