0

0

JavaScript 数组对象去重:基于多字段组合的唯一性过滤

霞舞

霞舞

发布时间:2026-03-07 16:35:12

|

704人浏览过

|

来源于php中文网

原创

本文介绍如何在 javascript 中对对象数组执行多字段联合去重(如 name + lastname + city),保留首次出现的元素,剔除后续重复项,适用于真实业务中复杂的去重场景。

本文介绍如何在 javascript 中对对象数组执行多字段联合去重(如 name + lastname + city),保留首次出现的元素,剔除后续重复项,适用于真实业务中复杂的去重场景。

在实际开发中,单纯依据 id 或 eventUid 去重往往无法满足业务需求——例如用户导入数据时,需根据「姓名+姓氏+城市」组合判断是否为同一人,即使 eventUid 不同也应视为重复。此时,标准的 Set + JSON.stringify 或 Map 单键方案容易因字段冗余、大小写/空格差异或性能问题而失效。

推荐采用 filter() + findLastIndex() 组合方案,逻辑清晰、兼容性好(需 ES2023+ 支持 findLastIndex;若需兼容旧环境,可降级为 findIndex 配合 slice().reverse()),且天然支持任意字段组合比对。

✅ 核心实现

const input = [
  {
    "eventUid": "0fdb73d9-629f-4151-acab-7b48c24ef2D0",
    "name": "John",
    "lastName": "Doe",
    "city": "Ukraine"
  },
  {
    "eventUid": "0fdb73d9-629f-4151-aBab-7b48c24ef2e0",
    "name": "Marcel",
    "lastName": "Pilate",
    "city": "Ukraine"
  },
  {
    "eventUid": "0fcc73d9-629f-4151-aBab-7b48c24ef2e0",
    "name": "John",
    "lastName": "Doe",
    "city": "Ukraine"
  }
];

const filtered = input.filter((item, index) =>
  input.findLastIndex(innerItem =>
    innerItem.name === item.name &&
    innerItem.lastName === item.lastName &&
    innerItem.city === item.city
  ) === index
);

console.log(filtered);
// 输出两个对象:John Doe(Ukraine)仅保留第一个,Marcel Pilate 保留

? 原理说明

  • filter() 遍历每个元素,并传入当前 item 和其索引 index;
  • 对每个 item,调用 findLastIndex() 在整个数组中查找最后一个满足字段组合相等的元素位置;
  • 若该位置恰好等于当前 index,说明这是该组合最后一次出现 → 即首次出现的位置(因为后续重复项的 findLastIndex 结果会指向更前的索引,不等于自身 index);
  • 因此,filter 仅保留“自己就是该组合最后一次出现”的元素——等价于保留首次出现项(因数组顺序固定,最后一个匹配项若为当前项,意味着它前面无相同项)。

? 小技巧:该逻辑本质是「反向保底」——不是找第一个,而是排除所有非末位匹配项,从而自然留下首次项。

⚠️ 注意事项与增强建议

  • 大小写与空格敏感:上述示例严格区分大小写(如 "Ukraine" ≠ "ukraine")。生产环境建议标准化处理:

    立即学习Java免费学习笔记(深入)”;

    百度GBI
    百度GBI

    百度GBI-你的大模型商业分析助手

    下载
    const normalize = str => String(str).trim().toLowerCase();
    // 替换比较逻辑为:
    normalize(innerItem.city) === normalize(item.city)
  • 空值/undefined 安全:添加存在性校验,避免 undefined === undefined 误判:

    innerItem.name != null && item.name != null && 
    innerItem.name === item.name && 
    // ... 其他字段
  • 兼容旧浏览器(:
    findLastIndex 可替换为:

    const lastIndex = [...input].reverse()
      .findIndex(innerItem => 
        innerItem.name === item.name && 
        innerItem.lastName === item.lastName && 
        innerItem.city === item.city
      );
    const actualLastIndex = lastIndex === -1 ? -1 : input.length - 1 - lastIndex;
    return actualLastIndex === index;
  • 性能考量:时间复杂度为 O(n²),适用于千级以内数据。超大数据量建议使用 Map 构建复合键缓存:

    const seen = new Map();
    const filtered = input.filter(item => {
      const key = `${item.name}|${item.lastName}|${item.city}`;
      if (seen.has(key)) return false;
      seen.set(key, true);
      return true;
    });

✅ 总结

基于多字段的对象数组去重,关键在于定义明确的「唯一性标识」。filter + findLastIndex 方案简洁、语义直观、无需额外依赖,是现代 JavaScript 的推荐实践。结合标准化处理与边界防护后,可稳健落地于表单去重、数据清洗、事件聚合等高频场景。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

453

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

331

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

77

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

40

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

67

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

47

2025.11.27

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

23

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
React 教程
React 教程

共58课时 | 5.8万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 3.3万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 3.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号