本教程详细介绍了如何在java中处理文本文件，根据每行记录的首个字段（例如id）删除重复行，并将去重后的数据存储到列表中。文章提供了两种主要方法：一是利用java stream api的`collectors.tomap`结合自定义合并函数直接处理字符串列表；二是建议通过引入领域对象（如`company`类）来封装数据，提高代码的可读性和可维护性，并演示了如何解析字符串到对象并进行去重操作。
在数据处理场景中，我们经常需要从文本文件中读取数据，并根据特定规则删除重复记录。一个常见的需求是，当每行记录由多个字段组成，且我们只关注某个特定字段（例如行首的ID）是否重复时，需要删除整行重复的记录。本文将介绍两种在Java中实现这一目标的高效方法。
方法一：使用 Collectors.toMap 直接处理字符串列表
Java 8引入的Stream API为集合操作提供了强大且简洁的工具。对于根据某个键去重并保留第一条记录的场景，Collectors.toMap 是一个非常合适的选择。
Collectors.toMap 方法通常有三个参数：
- keyMapper: 用于从流中的元素提取键的函数。
- valueMapper: 用于从流中的元素提取值的函数。
- mergeFunction: 当遇到重复键时，用于解决冲突的函数。
在这个场景中，我们需要将每行的第一个逗号分隔的值作为键，整行字符串作为值。当键重复时，我们选择保留第一个遇到的值。
立即学习“Java免费学习笔记（深入）”；
import java.util.List;
import java.util.function.Function;
import java.util.stream.Collectors;
public class DuplicateRowRemover {
public static void main(String[] args) {
List<String> sourceList = List.of(
"123456,greenwitch street,near dominos store,Opp sandwitch company,Neyork,US,876890",
"123480,Postwitch street,near KFC store,Opp masala company,Newyork,US,876891",
"123456,Newyork street,near 100th avenue,King master company,Texas,US,10005"
);
List<String> uniqueList = sourceList.stream()
.collect(Collectors.toMap(
str -> str.substring(0, str.indexOf(',')), // keyMapper: 提取第一个逗号前的子字符串作为键
Function.identity(), // valueMapper: 保留原始字符串作为值
(existing, replacement) -> existing // mergeFunction: 遇到重复键时，保留已存在的（即第一个遇到的）
))
.values() // 获取Map中所有的值（即去重后的字符串）
.stream()
.toList(); // 将值转换为List
System.out.println("去重后的字符串列表:");
uniqueList.forEach(System.out::println);
}
}代码解析：
- str -> str.substring(0, str.indexOf(',')): 这个Lambda表达式作为 keyMapper，它从每行字符串中提取出第一个逗号之前的部分作为唯一标识符（键）。
- Function.identity(): 作为 valueMapper，表示我们希望Map的值就是原始的字符串本身。
- (existing, replacement) -> existing: 这是 mergeFunction，它在 Collectors.toMap 遇到相同的键时被调用。existing 是Map中已经存在的与该键关联的值，replacement 是当前尝试插入的新值。我们选择返回 existing，这意味着我们保留了第一个遇到的具有该键的记录，而丢弃了后续的重复记录。
- .values().stream().toList(): 在去重完成后，我们从生成的Map中取出所有的值（这些值就是去重后的原始字符串），并将其收集成一个新的 List。
方法二：引入领域对象提升代码可维护性
直接操作字符串虽然简洁，但当数据结构复杂或需要对字段进行更多操作时，容易出错且可读性差。更健壮的方法是定义一个领域（Domain）对象来封装每行数据，然后对这些对象进行去重操作。这不仅提高了代码的类型安全性和可读性，也为后续的数据处理提供了便利。
首先，我们定义一个 Company 类来表示文本文件中的每条记录：
import lombok.Builder;
import lombok.Getter; // 假设使用Lombok简化代码，如果不用，需要手动生成getter方法
@Builder
@Getter
public class Company {
private long id;
private String street;
private String locationDescription;
private String companyName;
private String state;
private String country;
private String zipCode;
// 静态工厂方法，用于将字符串行解析为Company对象
public static Company parse(String line) {
String[] arr = line.split(",");
if (arr.length < 7) { // 简单的数据完整性检查
throw new IllegalArgumentException("Invalid line format: " + line);
}
return Company.builder()
.id(Long.parseLong(arr[0]))
.street(arr[1]) // 注意：原始问题答案中未包含street，此处根据数据格式补充
.locationDescription(arr[2])
.companyName(arr[3])
.state(arr[4])
.country(arr[5])
.zipCode(arr[6])
.build();
}
@Override
public String toString() {
return id + "," + street + "," + locationDescription + "," + companyName + "," + state + "," + country + "," + zipCode;
}
}说明：
- @Builder 和 @Getter 是Lombok注解，它们会自动生成构造器和Getter方法，减少样板代码。如果项目中没有Lombok，需要手动实现这些方法。
- parse(String line) 静态方法负责将一行字符串解析成 Company 对象。它通过逗号分割字符串，并将各个部分赋值给对应的字段。这里增加了对 street 字段的解析，使其与原始数据格式保持一致。
- toString() 方法重写是为了方便打印 Company 对象时能看到其内容，或者在需要将对象转回字符串时使用。
接下来，我们使用这个 Company 类来处理数据并去重：
import java.util.List;
import java.util.function.Function;
import java.util.stream.Collectors;
// 假设Company类已定义如上
public class CompanyDuplicateRemover {
public static void main(String[] args) {
List<String> sourceList = List.of(
"123456,greenwitch street,near dominos store,Opp sandwitch company,Neyork,US,876890",
"123480,Postwitch street,near KFC store,Opp masala company,Newyork,US,876891",
"123456,Newyork street,near 100th avenue,King master company,Texas,US,10005"
);
List<Company> uniqueCompanies = sourceList.stream()
.map(Company::parse) // 将每行字符串解析为Company对象
.collect(Collectors.toMap(
Company::getId, // keyMapper: 使用Company对象的id作为键
Function.identity(), // valueMapper: 保留Company对象本身作为值
(existing, replacement) -> existing // mergeFunction: 遇到重复ID时，保留第一个Company对象
))
.values() // 获取Map中所有的Company对象
.stream()
.toList(); // 将对象转换为List
System.out.println("去重后的Company对象列表:");
uniqueCompanies.forEach(company -> System.out.println(company.toString())); // 打印Company对象
}
}代码解析：
- .map(Company::parse): 这是关键一步，它将 String 类型的流转换为 Company 对象的流。
- Company::getId: 作为 keyMapper，我们现在可以直接通过 Company 对象的 getId() 方法来获取作为键的ID，这比字符串操作更安全、更直观。
- Function.identity(): 作为 valueMapper，Map中存储的是 Company 对象本身。
- mergeFunction 的逻辑与方法一相同，只是现在处理的是 Company 对象。
注意事项与最佳实践
-
文件I/O处理: 上述示例假定数据已在 List
中。在实际应用中，您需要从文本文件读取数据。可以使用 java.nio.file.Files.lines() 方法来高效地逐行读取文件内容，并直接将其作为Stream的源： import java.io.IOException; import java.nio.file.Files; import java.nio.file.Paths; import java.util.List; import java.util.stream.Collectors; // ... (Company 类和 Collectors.toMap 逻辑) try (var lines = Files.lines(Paths.get("your_text_file.txt"))) { List<Company> uniqueCompanies = lines .map(Company::parse) .collect(Collectors.toMap( Company::getId, Function.identity(), (existing, replacement) -> existing )) .values() .stream() .toList(); // 处理 uniqueCompanies } catch (IOException e) { System.err.println("Error reading file: " + e.getMessage()); } catch (IllegalArgumentException e) { System.err.println("Error parsing line: " + e.getMessage()); } -
错误处理:
- 在 Company.parse() 方法中，Long.parseLong() 可能会抛出 NumberFormatException，如果ID不是有效的数字。
- line.split(",") 后的数组长度可能不足，导致 ArrayIndexOutOfBoundsException。
- str.indexOf(',') 返回 -1 时，substring() 会抛出 StringIndexOutOfBoundsException。 在生产代码中，应捕获这些异常，或在解析前进行严格的数据校验，确保程序的健壮性。
-
性能与内存:
- 对于小到中等大小的文件（例如几GB以内），上述Stream和Map的方法通常效率很高。
- 对于非常大的文件（例如几十GB甚至更大），将所有数据一次性加载到内存中可能会导致 OutOfMemoryError。在这种情况下，可以考虑：
- 分批处理（chunking）：每次读取固定数量的行进行处理。
- 使用外部排序或数据库：将数据导入数据库，利用数据库的唯一索引或去重功能。
- Bloom Filter：对于判断是否存在重复键的场景，可以在内存有限的情况下提供概率性去重。
-
选择方法:
- 如果数据结构简单，且去重后不需要进一步的字段操作，方法一（直接操作字符串）更简洁。
- 如果数据结构复杂，或者去重后还需要对各个字段进行操作、校验、转换等，强烈建议使用方法二（引入领域对象）。这会大大提高代码的可读性、可维护性和扩展性。
总结
本文详细介绍了在Java中根据文本文件行的首个字段删除重复记录的两种有效策略。通过利用Java Stream API的 Collectors.toMap，我们可以灵活地定义去重规则。对于简单场景，直接操作字符串是快速有效的方案；而对于复杂或需要高可维护性的项目，引入领域对象并结合Stream API进行处理，无疑是更专业和健壮的选择。在实际应用中，务必结合文件I/O、错误处理和性能考量，选择最适合您需求的实现方式。
