unique()返回numpy.ndarray,不支持Pandas链式方法;需转Series才能排序;drop_duplicates()保留原结构更适清洗;nunique()默认忽略NaN,dropna=False可包含NaN;二者用途不同:unique()取值集合,nunique()统计数量。

用 unique() 拿出所有不重复值,但结果是 NumPy 数组
它不返回 Pandas 对象,而是 numpy.ndarray,所以不能直接链式调用 .sort_values() 或 .str.upper() 这类 Pandas 方法。常见错误是写成 df['col'].unique().sort_values(),报错 AttributeError: 'numpy.ndarray' object has no attribute 'sort_values'。
如果真要排序或进一步处理,得先转回 Series:pd.Series(df['col'].unique()).sort_values()。不过更常用的是配合 drop_duplicates()——后者保留原始 dtype 和索引结构,适合后续计算。
-
unique()忽略 NaN,默认去重(NaN 被视为一个值) - 对 datetime、category 类型也有效,但返回的数组元素类型可能和原列不完全一致(比如 category 列返回 object 数组)
- 性能上比
drop_duplicates()略快,但差别通常可忽略
用 nunique() 统计不重复个数,注意 NaN 默认不算
nunique() 返回的是整数,不是列表。最常踩的坑是误以为它和 len(unique()) 完全等价——其实默认情况下,nunique() 把 NaN 当作缺失值跳过,而 len(df['col'].unique()) 会把 NaN 算作一个唯一值。
比如一列是 [1, 2, np.nan, np.nan]:nunique() 返回 2,len(unique()) 返回 3(因为 np.nan 在数组里只出现一次)。
- 想让
nunique()把 NaN 当作一个值统计,加参数dropna=False - 支持
axis=1按行统计,但仅限于 DataFrame;Series 只能按列(即自身)统计 - 在 groupby 后使用时,
nunique()是聚合函数,unique()会报错(不能直接聚合)
别混淆 unique() 和 drop_duplicates()
unique() 是“抽出来”,drop_duplicates() 是“删掉重复、留下首次出现的行”。它们目的不同:前者用于观察有哪些值,后者用于清洗数据。
例如 df.drop_duplicates(subset=['A']) 返回的是 DataFrame 子集,保留原始索引;而 df['A'].unique() 返回的是纯值列表,无索引、无列名。
-
drop_duplicates()支持keep='last'或keep=False,unique()没有这类控制 -
drop_duplicates()可以基于多列去重,unique()只能作用于单列或单 Series - 对含 list/dict 的列,
unique()会报TypeError(不可哈希),drop_duplicates()同样不支持——得先转成字符串或 tuple
groupby 后怎么安全地取唯一值?用 apply(set) 还是 nunique()?
如果目标是“每组有多少个不同值”,直接用 .nunique();如果目标是“每组有哪些值”,就别用 .unique()——它在 groupby.agg() 里可能被自动降维或报错,尤其遇到空组时。
稳妥做法是 df.groupby('A')['B'].apply(lambda x: list(x.unique())),或者更清晰的 df.groupby('A')['B'].apply(set).apply(list)。但要注意 set 不保序,且不能包含 unhashable 类型。
- 空组下
nunique()返回0,unique()返回空数组[],行为一致 - 大数据量时,
apply(set)比多次调用unique()稍慢,但可读性更好 - 若需去重后还带计数,直接用
value_counts()配合 groupby 更直接
unique() 或 nunique();至于要不要保留 NaN、要不要排序、要不要进 groupby 流程——这些细节一旦漏掉,结果就差一个 NaN 或者少一行数据。










