本教程旨在解决mongodb聚合查询中获取包含重复数据的常见问题。许多开发者在尝试检索所有匹配文档时，错误地使用了group阶段，导致结果去重。文章将详细解释group阶段的工作原理，并提供正确的聚合管道配置，通过移除不必要的group阶段，确保返回所有原始匹配数据，包括其重复项，并提供java示例代码及注意事项。
引言：MongoDB聚合查询与重复数据处理
MongoDB的聚合框架是一个强大而灵活的工具，用于处理和转换集合中的文档。它允许用户构建多阶段的数据处理管道，从过滤、转换到分组和计算。在实际应用中，一个常见的需求是查询并获取所有符合特定条件的文档，包括那些包含重复字段值的文档。然而，开发者有时会错误地引入某些聚合阶段，导致本应保留的重复数据被意外地去重。本文将聚焦于如何正确地在MongoDB聚合查询中获取包含重复项的完整数据。
理解group阶段的作用
在MongoDB聚合管道中，$group（对应于Spring Data MongoDB中的TypedAggregation.group）阶段的主要作用是根据指定的_id表达式对文档进行分组。对于每个唯一的_id值，$group阶段会生成一个包含该_id的新文档，并且可以结合累加器操作符（如$sum, $avg, $push等）来处理属于该组的所有文档。
考虑以下原始聚合管道示例，它旨在查找numBerId字段并获取其值：
Aggregation agg = TypedAggregation.newAggregation(
TypedAggregation.match(Criteria.where("numBerId").regex("^" + numBerId, "i")
.andOperator(Criteria.where("numBerId").ne(""))),
TypedAggregation.group("numBerId"), // 此处引入了分组操作
TypedAggregation.limit(20000),
TypedAggregation.sort(Direction.ASC, "_id"));
Document rawResults = mongo.aggregate(agg, collectionName(), Document.class).getRawResults();
return rawResults.getList("results", Document.class)
.stream()
.map(d -> (String) d.get("_id")) // 从分组结果中提取_id（即numBerId）
.collect(Collectors.toList());在这个示例中，TypedAggregation.group("numBerId")阶段将所有匹配的文档根据其numBerId字段的值进行分组。这意味着，如果多个文档拥有相同的numBerId值，它们将被归为一个组，并且在$group阶段的输出中，每个唯一的numBerId只会出现一次（作为新文档的_id）。因此，最终通过map(d -> (String) d.get("_id"))提取到的列表将只包含去重后的numBerId值，这与获取包含重复项的原始数据的目标相悖。
解决方案：移除group阶段
要获取所有匹配的文档及其字段值，包括重复项，最直接和有效的解决方案是移除聚合管道中不必要的group阶段。当group阶段被移除后，聚合管道将直接返回经过match、sort、limit等阶段处理后的原始文档。
实现细节与示例代码
在移除了group阶段后，聚合管道将直接输出符合match条件的文档。为了从这些文档中提取我们感兴趣的numBerId字段，我们需要调整结果的映射方式。
以下是修正后的Java代码示例：
import org.springframework.data.mongodb.core.MongoTemplate;
import org.springframework.data.mongodb.core.aggregation.Aggregation;
import org.springframework.data.mongodb.core.aggregation.TypedAggregation;
import org.springframework.data.mongodb.core.query.Criteria;
import org.springframework.data.domain.Sort.Direction;
import org.bson.Document;
import java.util.List;
import java.util.stream.Collectors;
public class MongoDBDuplicateDataRetriever {
private final MongoTemplate mongoTemplate; // 假设通过构造函数注入MongoTemplate
public MongoDBDuplicateDataRetriever(MongoTemplate mongoTemplate) {
this.mongoTemplate = mongoTemplate;
}
/**
* 从MongoDB集合中获取所有numBerId字段的值，包括重复项。
*
* @param numBerId 用于匹配的numBerId模式
* @param collectionName 目标集合名称
* @return 包含所有匹配numBerId值的列表（含重复项）
*/
public List<String> getAllNumBerIdsWithDuplicates(String numBerId, String collectionName) {
// 构建聚合管道
Aggregation agg = TypedAggregation.newAggregation(Document.class,
// 匹配阶段：筛选符合条件的文档
TypedAggregation.match(Criteria.where("numBerId").regex("^" + numBerId, "i")
.andOperator(Criteria.where("numBerId").ne(""))),
// 移除 TypedAggregation.group("numBerId") 阶段，以保留重复项
// 排序阶段：对匹配的文档进行排序
TypedAggregation.sort(Direction.ASC, "numBerId"), // 排序字段应为原始文档中的字段
// 限制阶段：限制返回的文档数量
TypedAggregation.limit(20000)
);
// 执行聚合操作并获取原始结果
// getRawResults() 返回一个Document，其中通常包含一个名为"results"的列表，
// 该列表包含了聚合管道输出的每个文档。
Document rawResults = mongoTemplate.aggregate(agg, collectionName, Document.class).getRawResults();
// 从原始结果中提取"results"列表，并映射每个文档的"numBerId"字段
return rawResults.getList("results", Document.class)
.stream()
.map(d -> (String) d.get("numBerId")) // 直接从原始文档中提取numBerId
.collect(Collectors.toList());
}
}代码解释：
- TypedAggregation.group("numBerId") 被移除：这是核心改动。现在，聚合管道在match阶段之后，直接进入sort和limit阶段，不再对numBerId进行分组去重。
- TypedAggregation.sort(Direction.ASC, "numBerId")：排序现在应用于原始文档的numBerId字段。请注意，原始代码中在group之后是对_id（即分组后的numBerId）进行排序，现在我们直接对原始文档的numBerId字段进行排序。
-
结果提取：
- mongoTemplate.aggregate(agg, collectionName, Document.class).getRawResults() 仍然用于获取原始聚合结果。
- rawResults.getList("results", Document.class) 会返回一个包含所有匹配文档的列表。
- stream().map(d -> (String) d.get("numBerId")).collect(Collectors.toList())：关键在于这里，我们现在是从每个原始文档中提取numBerId字段的值，而不是从分组后的_id中提取。这样就能确保所有匹配的numBerId值，包括重复的，都被收集到列表中。
进一步优化与注意事项
-
投影（Projection）： 如果除了numBerId之外，原始文档中还包含大量不必要的字段，并且你只需要numBerId字段的值，那么在match阶段之后添加一个$project阶段可以有效减少数据传输量和处理开销。
Aggregation agg = TypedAggregation.newAggregation(Document.class, TypedAggregation.match(Criteria.where("numBerId").regex("^" + numBerId, "i") .andOperator(Criteria.where("numBerId").ne(""))), TypedAggregation.project("numBerId"), // 只投影numBerId字段 TypedAggregation.sort(Direction.ASC, "numBerId"), TypedAggregation.limit(20000) ); // 结果提取方式不变，因为project后文档结构变为 { _id: original_id, numBerId: value }添加TypedAggregation.project("numBerId")后，每个返回的文档将只包含_id（原始文档的_id）和numBerId字段。
-
性能考量：
- 对于大型数据集，确保numBerId字段上建有索引（单字段索引或复合索引），这将显著提升match和sort阶段的查询性能。
- limit阶段应尽可能早地放在管道中，尤其是在match之后，这样可以减少后续阶段处理的文档数量。
返回完整文档： 如果“获取所有信息”意味着需要返回包含numBerId字段的整个文档，而不仅仅是numBerId的值，那么在获取到rawResults.getList("results", Document.class)之后，可以直接返回这个List
，或者根据需要将其映射为自定义的Java对象列表，而无需再进行map(d -> (String) d.get("numBerId"))操作。
总结
在MongoDB聚合查询中获取包含重复项的数据，关键在于避免使用会进行去重操作的阶段，尤其是$group。当目标是检索所有匹配的原始文档或其特定字段（包括重复值）时，应构建一个只包含$match、$sort、$limit和可能的$project等阶段的聚合管道。通过移除$group阶段，并正确地从聚合结果中提取所需字段，开发者可以确保获取到完整且包含重复项的数据集。
