本文深入探讨了在java中高效处理文本文件内重复数据的方法，特别是当重复的判断依据是每行记录的第一个字段时。文章将介绍如何利用java stream api中的`collectors.tomap`来灵活地识别和移除重复行，并提供了两种实现方案：直接对字符串进行操作，以及通过构建领域对象来提升代码的可读性和可维护性，从而实现精确的数据去重和整理。
在数据处理场景中，我们经常需要从文本文件中读取数据并去除其中的重复记录。一个常见的需求是，当一行记录的某个特定字段（例如，第一个逗号分隔的值）与另一行记录的该字段相同时，我们认为这两行是重复的，并希望删除其中一行。Java的Stream.distinct()方法虽然可以去除流中的重复元素，但它依赖于对象的equals()和hashCode()方法，对于基于部分字段的自定义去重逻辑，distinct()并不适用。此时，我们需要更灵活的策略来处理这类问题。
方案一：利用 Collectors.toMap 进行字符串去重
当处理以逗号分隔的字符串数据时，我们可以利用Collectors.toMap来构建一个映射，其中键是用于判断重复的字段，值是原始的行字符串。Collectors.toMap的强大之处在于其mergeFunction参数，它允许我们定义当遇到重复键时如何解决冲突。
考虑以下文本数据示例：
123456,greenwitch street,near dominos store,Opp sandwitch company,Neyork,US,876890 123480,Postwitch street,near KFC store,Opp masala company,Newyork,US,876891 123456,Newyork street,near 100th avenue,King master company,Texas,US,10005
在这个例子中，第一行和第三行的第一个字段（123456）是相同的。我们的目标是删除第三行，保留第一行。
立即学习“Java免费学习笔记（深入）”；
以下是使用Collectors.toMap实现此逻辑的Java代码：
import java.util.List;
import java.util.Map;
import java.util.function.Function;
import java.util.stream.Collectors;
public class DuplicateRowRemover {
public static void main(String[] args) {
List<String> sourceList = List.of(
"123456,greenwitch street,near dominos store,Opp sandwitch company,Neyork,US,876890",
"123480,Postwitch street,near KFC store,Opp masala company,Newyork,US,876891",
"123456,Newyork street,near 100th avenue,King master company,Texas,US,10005"
);
// 使用 Collectors.toMap 进行去重
List<String> uniqueList = sourceList.stream()
.collect(Collectors.toMap(
str -> str.substring(0, str.indexOf(',')), // keyMapper: 提取第一个字段作为键
Function.identity(), // valueMapper: 原始字符串作为值
(existing, replacement) -> existing // mergeFunction: 遇到重复键时，保留现有值
))
.values().stream().toList(); // 从Map的值中获取去重后的列表
System.out.println("去重后的字符串列表:");
uniqueList.forEach(System.out::println);
// 预期输出:
// 123456,greenwitch street,near dominos store,Opp sandwitch company,Neyork,US,876890
// 123480,Postwitch street,near KFC store,Opp masala company,Newyork,US,876891
}
}代码解析：
- keyMapper (str -> str.substring(0, str.indexOf(','))): 这个函数负责从每行字符串中提取出作为唯一标识的键。在这里，我们查找第一个逗号的位置，并截取从开头到该位置的子字符串。
- valueMapper (Function.identity()): 这个函数定义了映射到键上的值。Function.identity()表示直接使用原始的字符串作为值。
- mergeFunction ((existing, replacement) -> existing): 这是解决键冲突的关键。当Collectors.toMap尝试插入一个已经存在的键时，mergeFunction会被调用。它接收两个参数：existing（Map中已有的值）和replacement（尝试插入的新值）。这里我们选择existing，意味着当遇到重复的第一个字段时，我们保留Map中已有的那一行记录，而丢弃新遇到的重复行。如果想保留最新遇到的行，可以返回replacement。
方案二：采用领域对象模型提升可维护性
直接操作字符串虽然简单，但当数据结构复杂或需要进行更多业务逻辑处理时，这种方式会变得难以维护。更专业的做法是定义一个领域对象（Domain Object）来封装每行数据的各个字段。这不仅提高了代码的可读性，也为后续的数据操作提供了类型安全和便利。
首先，定义一个Company类来表示每行数据：
import lombok.Builder;
import lombok.Getter;
// 假设已引入Lombok，用于简化Getter和Builder的生成
@Builder
@Getter
public class Company {
private long id;
private String street;
private String locationDescription;
private String companyName;
private String state;
private String country;
private String zipCode;
/**
* 将逗号分隔的字符串解析为Company对象
* @param line 待解析的字符串行
* @return 解析后的Company对象
*/
public static Company parse(String line) {
String[] arr = line.split(",");
if (arr.length < 7) { // 简单的数据完整性检查
throw new IllegalArgumentException("Invalid line format: " + line);
}
return Company.builder()
.id(Long.parseLong(arr[0]))
.street(arr[1]) // 补充street字段
.locationDescription(arr[2])
.companyName(arr[3])
.state(arr[4])
.country(arr[5])
.zipCode(arr[6])
.build();
}
@Override
public String toString() {
return id + "," + street + "," + locationDescription + "," + companyName + "," + state + "," + country + "," + zipCode;
}
}注意： 上述Company类使用了Lombok注解@Builder和@Getter来自动生成构建器和Getter方法，以减少样板代码。如果项目中没有Lombok，需要手动实现这些方法。parse方法负责将一行字符串解析成Company对象，并包含了基本的格式检查。
接下来，使用Company对象进行去重：
import java.util.List;
import java.util.function.Function;
import java.util.stream.Collectors;
public class CompanyDuplicateRemover {
public static void main(String[] args) {
List<String> sourceList = List.of(
"123456,greenwitch street,near dominos store,Opp sandwitch company,Neyork,US,876890",
"123480,Postwitch street,near KFC store,Opp masala company,Newyork,US,876891",
"123456,Newyork street,near 100th avenue,King master company,Texas,US,10005"
);
// 将字符串流转换为Company对象流，然后进行去重
List<Company> uniqueCompanies = sourceList.stream()
.map(Company::parse) // 将每行字符串解析为Company对象
.collect(Collectors.toMap(
Company::getId, // keyMapper: 使用Company对象的id作为键
Function.identity(), // valueMapper: Company对象本身作为值
(existing, replacement) -> existing // mergeFunction: 遇到重复id时，保留现有Company对象
))
.values().stream().toList(); // 从Map的值中获取去重后的Company对象列表
System.out.println("去重后的Company对象列表:");
uniqueCompanies.forEach(System.out::println);
// 预期输出:
// 123456,greenwitch street,near dominos store,Opp sandwitch company,Neyork,US,876890
// 123480,Postwitch street,near KFC store,Opp masala company,Newyork,US,876891
}
}代码解析：
- map(Company::parse): 这一步将原始的String流转换成了Company对象流。
- keyMapper (Company::getId): 现在，我们可以直接使用Company对象的id属性作为键，这比字符串截取更加直观和类型安全。
- valueMapper (Function.identity()): 值仍然是Company对象本身。
- mergeFunction ((existing, replacement) -> existing): 逻辑与字符串去重相同，保留第一个遇到的Company对象。
注意事项与总结
- 错误处理： 在实际应用中，从文本文件解析数据时，需要考虑文件不存在、行格式不正确、数据类型转换失败（如Long.parseLong可能抛出NumberFormatException）等情况。在Company.parse方法中加入更健壮的错误处理机制（如try-catch块或返回Optional）是必要的。
- 内存消耗： Collectors.toMap方法会将所有去重后的数据存储在内存中的Map里。对于非常大的文件，这可能会导致内存溢出。在这种情况下，可能需要考虑逐行读取文件，并利用外部存储（如数据库或临时文件）来管理重复项，或者采用更复杂的流式处理技术。
- 合并策略： mergeFunction的选择至关重要。(left, right) -> left 表示保留第一次遇到的记录；(left, right) -> right 表示保留最后一次遇到的记录。根据业务需求，您可能需要更复杂的合并逻辑，例如合并两个记录的某些字段，或者抛出异常以指示数据冲突。
- 性能： 对于大规模数据，Stream API结合HashMap（Collectors.toMap底层使用）通常能提供良好的性能。然而，如果键的哈希冲突非常频繁，性能可能会受到影响。
通过本文介绍的两种方法，无论是直接对字符串进行操作，还是采用更具结构化的领域对象，都能够有效地解决基于特定字段的文本文件重复行删除问题。选择哪种方案取决于项目的复杂性、数据结构的稳定性以及对代码可维护性的要求。在多数企业级应用中，采用领域对象模型是更推荐的做法。
