Laravel ORM：基于多列去除重复数据的高效方法

花韻仙語

发布时间：2025-10-30 10:22:28

514人浏览过

来源于php中文网

原创

laravel orm：基于多列去除重复数据的高效方法

本文旨在解决在使用 Laravel ORM 时，如何基于多个列的值来移除重复记录的问题。通过使用 SQL 的窗口函数 `ROW_NUMBER()`，结合 Laravel 的 DB facade，提供了一种高效且易于理解的解决方案，避免了循环遍历和复杂的逻辑判断，并附带详细代码示例，帮助开发者快速实现该功能。

在使用 Laravel ORM 进行数据查询时，有时需要根据多个字段的值来判断记录是否重复，并只保留其中的一条。例如，在保存用户提交的比赛结果时，如果只更新分数，而不希望每次提交都创建一条新记录，就需要去除基于用户和各个科目的分数相同的重复记录，只保留最新的那一条。Laravel 提供的 distinct() 方法通常只能用于单个字段的去重，无法满足这种多列去重的需求。以下介绍一种使用 SQL 窗口函数结合 Laravel DB facade 实现多列去重的方案。

使用 SQL 窗口函数 ROW_NUMBER() 去重

核心思路是利用 SQL 的窗口函数 ROW_NUMBER() 为每个分组（基于需要去重的列）内的记录分配一个序号，然后只保留序号为 1 的记录。

ROW_NUMBER() OVER (PARTITION BY column1, column2, ... ORDER BY column_to_order DESC)

PARTITION BY column1, column2, ...: 指定分组的列，具有相同值的记录将被分到同一个组。
ORDER BY column_to_order DESC: 指定组内记录的排序方式，通常按照主键或时间戳倒序排列，以便保留最新的记录。

以下是一个 SQL 示例，假设我们有一个名为 results 的表，需要基于 username、discipline_one 到 discipline_six 这几个字段去重，并保留 id 最大的那条记录：

WITH cte AS (
    SELECT *, ROW_NUMBER() OVER
    (PARTITION BY username, discipline_one, discipline_two, discipline_three,
     discipline_four, discipline_five, discipline_six ORDER BY id DESC) rn
    FROM results
)

SELECT id, username, discipline_one, discipline_two, discipline_three,
     discipline_four, discipline_five, discipline_six, created_at, updated_at
FROM cte
WHERE rn = 1

这个SQL语句首先使用Common Table Expression (CTE) cte，计算每个分组内的行号，并将结果存储在名为 rn 的列中。然后，从 cte 中选择 rn = 1 的记录，即每个分组内的第一条记录，也就是最新的记录。

MVM mall 网上购物系统

采用 php+mysql 数据库方式运行的强大网上商店系统，执行效率高速度快，支持多语言，模板和代码分离，轻松创建属于自己的个性化用户界面 v3.5更新： 1).进一步静态化了活动商品. 2).提供了一些重要UFT-8转换文件 3).修复了除了网银在线支付其它支付显示错误的问题. 4).修改了LOGO广告管理,增加LOGO链接后主页LOGO路径错误的问题 5).修改了公告无法发布的问题,可能是打压

下载

在 Laravel 中实现多列去重

为了在 Laravel 中使用上述 SQL 语句，可以借助 Laravel 的 DB facade，它允许直接执行原始 SQL 查询。

use Illuminate\Support\Facades\DB;

public static function waybackWhen($result)
{
    $username = $result->username;

    // 临时关闭 MySQL 严格模式 (可选，如果需要)
    config()->set('database.connections.mysql.strict', false);
    DB::reconnect(); // 重新连接数据库，使配置生效

    $resultSet = DB::select("
        WITH cte AS (
            SELECT *, ROW_NUMBER() OVER
            (PARTITION BY username, discipline_one, discipline_two, discipline_three,
             discipline_four, discipline_five, discipline_six ORDER BY id DESC) rn
            FROM results
        )

        SELECT id, username, discipline_one, discipline_two, discipline_three,
             discipline_four, discipline_five, discipline_six, created_at, updated_at
        FROM cte
        WHERE rn = 1 AND username = ?
   ", [ $username ]);

    // 恢复 MySQL 严格模式 (可选)
    config()->set('database.connections.mysql.strict', true);
    DB::reconnect();

    return $resultSet;
}

代码解释：

DB::select(): 使用 DB facade 的 select() 方法执行 SQL 查询。
SQL 查询: 使用上面提到的 SQL 语句，注意使用 ? 占位符来防止 SQL 注入。
[ $username ]: 将 $username 变量作为参数传递给 SQL 查询，替换占位符。
严格模式: 如果MySQL开启了严格模式，执行此查询可能会报错。通过config()->set('database.connections.mysql.strict', false);可以临时关闭严格模式，并在查询完成后恢复。需要注意的是，修改配置后需要重新连接数据库才能生效。

使用示例：

$result = App\Models\Result::find(1); // 假设有一个 $result 对象
$waybackWhen = App\Models\Result::waybackWhen($result);

// $waybackWhen 现在包含了去重后的结果集
dd($waybackWhen);