sql报表数据重复主因是查询逻辑或关联方式引发的“逻辑性重复”，需定位根源、优化join与聚合，而非盲目用distinct；应检查join条件精确性、优先子查询聚合、明确业务主键并完整group by、慎用distinct、验证上游数据质量。
SQL报表数据重复，通常不是因为数据本身冗余，而是查询逻辑或关联方式导致的“逻辑性重复”。解决的关键不在于盲目加 DISTINCT，而在于定位重复根源、针对性优化连接与聚合逻辑。
检查 JOIN 类型与关联条件是否引发笛卡尔膨胀
多表关联时，若主表某条记录在从表中匹配到多条（如一个订单对应多个明细、一个用户有多条日志），又未做适当聚合或限制，就会产生重复行。
- 确认
JOIN条件是否精确：比如用user_id关联，但从表存在相同user_id的多条未去重记录（如测试数据、历史残留） - 优先使用
LEFT JOIN+ 子查询聚合替代直接多对多JOIN。例如：先对订单明细按订单汇总金额，再与订单主表关联 - 临时加
COUNT(*) OVER (PARTITION BY 主键)辅助诊断：看某主键行是否被放大
明确业务主键，避免 GROUP BY 遗漏关键维度
报表需按业务视角“一行一事实”，比如“每个客户每月销售额”——主键应是 customer_id + year_month。若 GROUP BY 漏掉 year_month，就可能把不同月份数据压成一行，表面不重复，实则聚合错误；反之，若多写了非必要字段（如明细ID、时间戳），反而导致本该合并的行被拆开。
住哪API酒店+租车源码包
下载
数据本地化解决接口缓存数据无限增加，读取慢的问题，速度极大提升更注重SEO优化优化了系统的SEO，提升网站在搜索引擎的排名，增加网站爆光率搜索框本地化不用远程读取、IFRAME调用，更加容易应用及修改增加天气预报功能页面增加了天气预报功能，丰富内容增加点评和问答页面增加了点评和问答相关页面，增强网站粘性电子地图优化优化了电子地图的加载速度与地图功能酒店列表增加房型读取酒店列表页可以直接展示房型，增
- 列出报表最终要呈现的自然主键（即人眼判断“是否同一行”的依据）
-
SELECT中所有非聚合字段，必须完整出现在GROUP BY中 - 对文本类维度（如产品名称），警惕空格、大小写、NULL 值导致分组断裂，可统一用
TRIM(UPPER())处理
慎用 DISTINCT，优先用窗口函数或半连接替代
DISTINCT 是“兜底手段”，掩盖问题且影响性能。它无法区分是数据真重复，还是逻辑重复。更健壮的做法是提前控制行数。
- 取最新/首条记录：用
ROW_NUMBER() OVER (PARTITION BY key ORDER BY update_time DESC)+ 外层过滤rn = 1 - 判断是否存在关联：用
EXISTS或IN替代JOIN，避免因一对多拉出多行 - 多源数据拼接（UNION ALL）前，先各自去重或标来源，避免不同来源含相同业务主键却未识别
验证重复是否来自上游 ETL 或缓存延迟
有时 SQL 本身没问题，但数据源已脏：ODS 层重复入仓、调度任务重复执行、维表未及时更新主键映射等。
- 查原始表中关键主键的重复率：
SELECT key, COUNT(*) FROM table GROUP BY key HAVING COUNT(*) > 1 - 对比报表结果与上游表关键字段的分布一致性（如客户数、订单数）
- 检查调度日志：是否凌晨跑批时下游任务未等上游完成就启动
去重本质是厘清数据关系和业务含义。每次遇到重复，先问一句：这行数据，在业务上到底该不该存在？该存在几份？答案清楚了，SQL 自然就干净了。
