Java数据去重应优先利用集合唯一性：HashSet要求重写hashCode和equals，适合无序去重；TreeSet基于红黑树，需Comparable或Comparator，适合排序去重；Stream.distinct()函数式简洁，依赖equals方法。
Java中实现数据去重，核心在于合理利用集合的唯一性特性，而不是靠手动遍历比对。重点不是“怎么写一个去重方法”，而是“选对集合、理解原理、避开坑”。
HashSet：最常用也最容易出错的去重方式
HashSet底层基于HashMap，插入和查找平均时间复杂度为O(1)，适合大多数基础去重场景。但它要求元素正确重写hashCode()和equals()方法——否则自定义对象去重会失效。
- 字符串、Integer等JDK内置类型已重写，可直接用
- 自定义类（如User）必须同时重写hashCode和equals，且逻辑要一致（比如都基于id字段）
- 注意：HashSet不保证顺序，若需按插入顺序保留，改用LinkedHashSet
TreeSet：需要排序+去重时的自然选择
TreeSet基于红黑树，天然有序，自动去重。它不要求元素重写hashCode，但要求可比较——要么实现Comparable接口，要么传入Comparator。
- 适合对去重后结果有排序要求的场景（如去重并升序输出日志级别）
- 性能略低于HashSet（O(log n)插入），大数据量时需权衡
- 注意null值：默认Comparator不支持null，需显式处理或自定义Comparator
Stream.distinct()：函数式风格的简洁方案
JDK 8+推荐方式，代码简洁，语义清晰，底层仍依赖对象的equals方法。
立即学习“Java免费学习笔记（深入）”；
- 基本类型或String列表：list.stream().distinct().collect(Collectors.toList())
- 对象列表：确保对象已正确重写equals（和hashCode，以防后续存入HashSet）
- 若想按某字段去重（如只看name），不能直接用distinct，需配合Collectors.toMap或TreeSet自定义逻辑
去重不是目的，明确“依据什么判重”才是关键
实际业务中，“重复”的定义往往不唯一：是ID相同？还是姓名+手机号组合相同？或是JSON字符串内容一致？
- 简单字段唯一：用HashSet + 自定义key（如user.getId() + "-" + user.getPhone()）
- 复杂对象深度比较：考虑用Objects.equals()或Apache Commons Lang的EqualsBuilder
- 数据库主键已存在：去重逻辑应前置到入库前，避免先加再删的低效操作
