Spring Data JPA 流查询方法

介绍

传统上，获取大量数据可能会导致内存资源紧张，因为它通常涉及将整个结果集加载到内存中。

=> 流查询方法通过提供一种使用 java 8 streams 增量处理数据的方法来提供解决方案。这可确保任何时候只有一部分数据保存在内存中，增强性能和可扩展性。

ide：intellij idea（推荐用于 spring 应用程序）或 eclipse
java 版本：17
spring data jpa 版本：2.7.x 或更高版本（与 spring boot 3.x 兼容）

    org.springframework.boot
    spring-boot-starter-data-jpa

• 高效的资源管理：增量处理数据，减少内存开销。

• 延迟处理：按需获取和处理结果，非常适合分页或批处理等场景。

• 与函数式编程集成：流符合 java 的函数式编程特性，支持过滤、映射和收集等操作。

  

  唱鸭

  音乐创作全流程的AI自动作曲工具，集 AI 辅助作词、AI 自动作曲、编曲、混音于一体

  下载

检索在特定日期之后下订单的所有客户。
过滤总金额高于特定提供金额的订单。
按过去 6 个月内的订单总价值对客户进行分组。
返回数据作为客户名称及其总订单价值的摘要。

实体

客户：代表客户。

@setter
@getter
@entity
@entity(name = "tbl_customer")
public class customer {
    @id
    @generatedvalue(strategy = generationtype.identity)
    private long id;

    private string name;
    private string email;

    @onetomany(mappedby = "customer", cascade = cascadetype.all, fetch = fetchtype.lazy)
    private list orders;
}

订单：代表客户下的订单。

@setter
@getter
@entity(name = "tbl_order")
public class order {
    @id
    @generatedvalue(strategy = generationtype.identity)
    private long id;

    private double amount;
    private localdatetime orderdate;

    @manytoone
    @joincolumn(name = "customer_id")
    private customer customer;
}

存储库

customerrepository 用于选择客户及其在特定日期之后下的相关订单。我们使用 stream 而不是 list 来处理查询结果。

public interface customerrepository extends jparepository {
    @query("""
                select c from tbl_customer c join fetch c.orders o where o.orderdate >= :startdate
            """)
    @queryhints(
            @queryhint(name = availablehints.hint_fetch_size, value = "25")
    )
    stream findcustomerwithorders(@param("startdate") localdatetime startdate);
}

• join fetch 确保订单被急切加载。

• @queryhints 用于向 jpa（例如 hibernate）提供额外提示以优化查询执行。

前 25 条记录由应用程序获取并处理。
处理完这些后，将获取接下来的 25 条记录，依此类推，直到处理完所有 100 条记录。
此行为最大限度地减少了内存使用量，并避免一次将所有 100 条记录加载到内存中。

服务

@service
@requiredargsconstructor
public class customerorderservice {
    private final customerrepository customerrepository;

    @transactional(readonly = true)
    public map getcustomerordersummary(localdatetime startdate, double minorderamount) {
        try (stream customerstream = customerrepository.findcustomerwithorders(startdate)) {
            return customerstream
                    // filter customers with orders above the threshold
                    .flatmap(customer -> customer.getorders().stream()
                            .filter(order -> order.getamount() >= minorderamount)
                            .map(order -> new abstractmap.simpleentry<>(customer.getname(), order.getamount())))
                    // group by customer name and sum order amounts
                    .collect(collectors.groupingby(
                            abstractmap.simpleentry::getkey,
                            collectors.summingdouble(abstractmap.simpleentry::getvalue)
                    ));
        }
    }
}

控制器

@restcontroller
@requestmapping("/customers")
@requiredargsconstructor
public class customerordercontroller {
    private final customerorderservice customerorderservice;

    @getmapping("/orders")
    public responseentity> getcustomerordersummary(
            @requestparam @datetimeformat(iso = datetimeformat.iso.date_time) localdatetime startdate,
            @requestparam double minorderamount
    ) {
        map ordersummary = customerorderservice.getcustomerordersummary(startdate, minorderamount);
        return responseentity.ok(ordersummary);
    }
}

测试

src/main/resources/dummy-data.sql

开始日期: 2024-05-01t00:00:00
最小订单金额：100

curl --location 'http://localhost:8090/customers/orders?startdate=2024-05-01t00%3a00%3a00&minorderamount=100'

返回总金额等于或大于 minorderamount 的所有客户。

{
  "Jane Roe": 500.0,
  "John Doe": 150.0,
  "Bob Brown": 350.0,
  "Alice Smith": 520.0
}

小数据集：（10 个客户，100 个订单）

流：执行时间（~5ms），内存使用（低）
列表：执行时间（~4ms），内存使用（低）

大型数据集（10.000 个客户，100.000 个订单）

流：执行时间（~202ms），内存使用（中等）
列表：执行时间（~176ms），内存使用（高）

性能指标