array_unique默认松散比较导致字符串数字混合项去重失败,需用sort_regular;它仅支持一维数组,关联键会重排,多维无效;大数据量时distinct通常更快,但跨表或含php逻辑时必须用php去重。

array_unique 为什么去不掉字符串数字混合的重复项
因为 array_unique 默认用松散比较(==),"1" 和 1 被当成相等,结果只留一个。这不是 bug,是设计如此。
- 加第三个参数
SORT_REGULAR强制严格比较:array_unique($arr, SORT_REGULAR) - 如果数组是关联结构且要保留键名,注意它会重排索引——想保留原始键要用
array_values()或手写遍历 - 对多维数组完全无效,
array_unique只处理一维,嵌套数组会被转成Array字符串再比,必然全重复
数据库 DISTINCT 比 PHP 去重快还是慢
绝大多数情况,DISTINCT 更快,但前提是“去重逻辑能下推到 SQL 层”。一旦你先查出全部数据再在 PHP 里 array_unique,就等于把压力从数据库搬到应用内存,还多了一次网络传输。
- 字段少、条件简单时,直接
SELECT DISTINCT col1, col2 FROM table是最优解 - 如果要去重的字段需要计算(比如
UPPER(name)),PHP 处理反而灵活;但要注意 MySQL 8.0+ 支持函数索引,可提前优化 -
DISTINCT在大数据量时可能触发临时表或 filesort,看EXPLAIN的Using temporary提示——这时不如加联合索引
什么时候必须用 PHP 去重,不能靠 SQL
当去重依据跨多张表、含 PHP 端业务规则(比如“用户等级 > 3 才算有效记录”)、或数据来源根本不是单个查询(如 API 合并、缓存拼接、日志文件读取)时,SQL 就无能为力了。
- 避免用
array_unique处理上万条数据:它内部是 O(n²) 比较,大数组卡顿明显 - 替代方案:用
array_flip(array_flip($arr))(仅限一维值去重),或预建isset($seen[$v])哈希标记 - 若需保留首次出现位置,别用
array_unique,老老实实 foreach + isset 判断
JSON 数据里去重容易漏掉的细节
从接口或文件读进来的 JSON,常是 stdClass 对象或嵌套数组,array_unique 直接报 Array to string conversion 错误。
立即学习“PHP免费学习笔记(深入)”;
- 先用
json_decode($json, true)强制转成关联数组,否则对象无法被array_unique处理 - 如果 JSON 里有浮点数和整数混用(
1vs1.0),SORT_REGULAR仍会判为不同;需统一类型再处理 - 时间戳字符串(
"2024-01-01")和DateTime对象不能直接比,得先格式化成同一种字符串
array_unique 还是 DISTINCT,而是搞清“重复”的定义本身——是字段值相同?还是业务语义相同?后者往往得写定制逻辑,没法偷懒。










