MongoDB聚合查询中获取包含重复项的完整数据指南-java教程-PHP中文网

MongoDB聚合查询中获取包含重复项的完整数据指南

霞舞

发布： 2025-11-26 23:51:06

原创

319人浏览过

MongoDB聚合查询中获取包含重复项的完整数据指南

本教程旨在解决mongodb聚合查询中获取包含重复数据的常见问题。许多开发者在尝试检索所有匹配文档时，错误地使用了group阶段，导致结果去重。文章将详细解释group阶段的工作原理，并提供正确的聚合管道配置，通过移除不必要的group阶段，确保返回所有原始匹配数据，包括其重复项，并提供java示例代码及注意事项。

引言：MongoDB聚合查询与重复数据处理

MongoDB的聚合框架是一个强大而灵活的工具，用于处理和转换集合中的文档。它允许用户构建多阶段的数据处理管道，从过滤、转换到分组和计算。在实际应用中，一个常见的需求是查询并获取所有符合特定条件的文档，包括那些包含重复字段值的文档。然而，开发者有时会错误地引入某些聚合阶段，导致本应保留的重复数据被意外地去重。本文将聚焦于如何正确地在MongoDB聚合查询中获取包含重复项的完整数据。

理解group阶段的作用

在MongoDB聚合管道中，$group（对应于Spring Data MongoDB中的TypedAggregation.group）阶段的主要作用是根据指定的_id表达式对文档进行分组。对于每个唯一的_id值，$group阶段会生成一个包含该_id的新文档，并且可以结合累加器操作符（如$sum, $avg, $push等）来处理属于该组的所有文档。

考虑以下原始聚合管道示例，它旨在查找numBerId字段并获取其值：

Aggregation agg = TypedAggregation.newAggregation(
    TypedAggregation.match(Criteria.where("numBerId").regex("^" + numBerId, "i")
        .andOperator(Criteria.where("numBerId").ne(""))),
    TypedAggregation.group("numBerId"), // 此处引入了分组操作
    TypedAggregation.limit(20000),
    TypedAggregation.sort(Direction.ASC, "_id"));

Document rawResults = mongo.aggregate(agg, collectionName(), Document.class).getRawResults();
return rawResults.getList("results", Document.class)
    .stream()
    .map(d -> (String) d.get("_id")) // 从分组结果中提取_id（即numBerId）
    .collect(Collectors.toList());

登录后复制

在这个示例中，TypedAggregation.group("numBerId")阶段将所有匹配的文档根据其numBerId字段的值进行分组。这意味着，如果多个文档拥有相同的numBerId值，它们将被归为一个组，并且在$group阶段的输出中，每个唯一的numBerId只会出现一次（作为新文档的_id）。因此，最终通过map(d -> (String) d.get("_id"))提取到的列表将只包含去重后的numBerId值，这与获取包含重复项的原始数据的目标相悖。

解决方案：移除group阶段

要获取所有匹配的文档及其字段值，包括重复项，最直接和有效的解决方案是移除聚合管道中不必要的group阶段。当group阶段被移除后，聚合管道将直接返回经过match、sort、limit等阶段处理后的原始文档。

实现细节与示例代码

在移除了group阶段后，聚合管道将直接输出符合match条件的文档。为了从这些文档中提取我们感兴趣的numBerId字段，我们需要调整结果的映射方式。

面试猫

AI面试助手，在线面试神器，助你轻松拿Offer

352

查看详情

以下是修正后的Java代码示例：

import org.springframework.data.mongodb.core.MongoTemplate;
import org.springframework.data.mongodb.core.aggregation.Aggregation;
import org.springframework.data.mongodb.core.aggregation.TypedAggregation;
import org.springframework.data.mongodb.core.query.Criteria;
import org.springframework.data.domain.Sort.Direction;
import org.bson.Document;

import java.util.List;
import java.util.stream.Collectors;

public class MongoDBDuplicateDataRetriever {

    private final MongoTemplate mongoTemplate; // 假设通过构造函数注入MongoTemplate

    public MongoDBDuplicateDataRetriever(MongoTemplate mongoTemplate) {
        this.mongoTemplate = mongoTemplate;
    }

    /**
     * 从MongoDB集合中获取所有numBerId字段的值，包括重复项。
     *
     * @param numBerId 用于匹配的numBerId模式
     * @param collectionName 目标集合名称
     * @return 包含所有匹配numBerId值的列表（含重复项）
     */
    public List<String> getAllNumBerIdsWithDuplicates(String numBerId, String collectionName) {
        // 构建聚合管道
        Aggregation agg = TypedAggregation.newAggregation(Document.class,
            // 匹配阶段：筛选符合条件的文档
            TypedAggregation.match(Criteria.where("numBerId").regex("^" + numBerId, "i")
                .andOperator(Criteria.where("numBerId").ne(""))),
            // 移除 TypedAggregation.group("numBerId") 阶段，以保留重复项
            // 排序阶段：对匹配的文档进行排序
            TypedAggregation.sort(Direction.ASC, "numBerId"), // 排序字段应为原始文档中的字段
            // 限制阶段：限制返回的文档数量
            TypedAggregation.limit(20000)
        );

        // 执行聚合操作并获取原始结果
        // getRawResults() 返回一个Document，其中通常包含一个名为"results"的列表，
        // 该列表包含了聚合管道输出的每个文档。
        Document rawResults = mongoTemplate.aggregate(agg, collectionName, Document.class).getRawResults();

        // 从原始结果中提取"results"列表，并映射每个文档的"numBerId"字段
        return rawResults.getList("results", Document.class)
            .stream()
            .map(d -> (String) d.get("numBerId")) // 直接从原始文档中提取numBerId
            .collect(Collectors.toList());
    }
}

登录后复制

代码解释：

TypedAggregation.group("numBerId") 被移除：这是核心改动。现在，聚合管道在match阶段之后，直接进入sort和limit阶段，不再对numBerId进行分组去重。
TypedAggregation.sort(Direction.ASC, "numBerId")：排序现在应用于原始文档的numBerId字段。请注意，原始代码中在group之后是对_id（即分组后的numBerId）进行排序，现在我们直接对原始文档的numBerId字段进行排序。
结果提取：
- mongoTemplate.aggregate(agg, collectionName, Document.class).getRawResults() 仍然用于获取原始聚合结果。
- rawResults.getList("results", Document.class) 会返回一个包含所有匹配文档的列表。
- stream().map(d -> (String) d.get("numBerId")).collect(Collectors.toList())：关键在于这里，我们现在是从每个原始文档中提取numBerId字段的值，而不是从分组后的_id中提取。这样就能确保所有匹配的numBerId值，包括重复的，都被收集到列表中。

进一步优化与注意事项

投影（Projection）：如果除了numBerId之外，原始文档中还包含大量不必要的字段，并且你只需要numBerId字段的值，那么在match阶段之后添加一个$project阶段可以有效减少数据传输量和处理开销。

Aggregation agg = TypedAggregation.newAggregation(Document.class,
    TypedAggregation.match(Criteria.where("numBerId").regex("^" + numBerId, "i")
        .andOperator(Criteria.where("numBerId").ne(""))),
    TypedAggregation.project("numBerId"), // 只投影numBerId字段
    TypedAggregation.sort(Direction.ASC, "numBerId"),
    TypedAggregation.limit(20000)
);
// 结果提取方式不变，因为project后文档结构变为 { _id: original_id, numBerId: value }

登录后复制

添加TypedAggregation.project("numBerId")后，每个返回的文档将只包含_id（原始文档的_id）和numBerId字段。

性能考量：
- 对于大型数据集，确保numBerId字段上建有索引（单字段索引或复合索引），这将显著提升match和sort阶段的查询性能。
- limit阶段应尽可能早地放在管道中，尤其是在match之后，这样可以减少后续阶段处理的文档数量。
返回完整文档：如果“获取所有信息”意味着需要返回包含numBerId字段的整个文档，而不仅仅是numBerId的值，那么在获取到rawResults.getList("results", Document.class)之后，可以直接返回这个List<Document>，或者根据需要将其映射为自定义的Java对象列表，而无需再进行map(d -> (String) d.get("numBerId"))操作。

总结

在MongoDB聚合查询中获取包含重复项的数据，关键在于避免使用会进行去重操作的阶段，尤其是$group。当目标是检索所有匹配的原始文档或其特定字段（包括重复值）时，应构建一个只包含$match、$sort、$limit和可能的$project等阶段的聚合管道。通过移除$group阶段，并正确地从聚合结果中提取所需字段，开发者可以确保获取到完整且包含重复项的数据集。

以上就是MongoDB聚合查询中获取包含重复项的完整数据指南的详细内容，更多请关注php中文网其它相关文章！