0

0

如何在Golang中处理大批量数据插入时的部分失败错误

P粉602998670

P粉602998670

发布时间:2026-02-11 11:48:09

|

378人浏览过

|

来源于php中文网

原创

Exec 返回 sql.ErrNoRows 不是误报,但该错误仅由 QueryRow/Scan 在结果为空时触发,与 Exec 无关;批量插入失败应检查具体驱动错误如 pq.Error 或 mysql.MySQLError。

如何在golang中处理大批量数据插入时的部分失败错误

Go 批量插入时 Exec 返回 sql.ErrNoRows 是误报吗?

不是误报,但大概率是你没理解它的触发场景——sql.ErrNoRows 只会在使用 QueryRowScan 类方法且结果集为空时返回,和 Exec 无关。批量插入用 Exec 出错,实际返回的是具体数据库驱动的错误,比如 PostgreSQL 的 pq.Error 或 MySQL 的 mysql.MySQLError。直接判空或只检查 ErrNoRows 会漏掉真实失败。

实操建议:

立即学习go语言免费学习笔记(深入)”;

  • 永远用 if err != nil 检查 Exec 结果,不要跳过或仅做 strings.Contains(err.Error(), "duplicate") 这类脆弱判断
  • 对 PostgreSQL,类型断言 err.(*pq.Error) 后看 Code 字段(如 "23505" 表示唯一约束冲突)
  • MySQL 驱动下,断言 err.(*mysql.MySQLError),检查 Number(如 1062 是重复键)
  • 别依赖错误字符串匹配——字段名、提示语随驱动版本或 locale 变化,不可靠

INSERT ... ON CONFLICT DO NOTHING 还是先 SELECTINSERT

后者在高并发下必然产生竞态,前者才是 PostgreSQL 批量防重的正解。但注意:它只处理“冲突即忽略”,不返回哪些行被跳过,也无法捕获冲突细节。

实操建议:

立即学习go语言免费学习笔记(深入)”;

  • 单条插入用 ON CONFLICT DO NOTHING RETURNING id,能通过 Query 获取成功插入的主键;但批量时不支持 RETURNING 与多值 VALUES 直接配合(除非用 UNNEST
  • 真要批量并知道哪些失败,改用 INSERT INTO ... SELECT ... WHERE NOT EXISTS (...) + 临时表或 CTE,但性能下降明显
  • 更实用的折中:插入前用 SELECT id FROM table WHERE id = ANY($1) 预检 ID 集合,再用 INSERT ... ON CONFLICT,两次查询换确定性
  • MySQL 没有原生 ON CONFLICT,得用 INSERT IGNOREREPLACE INTO,但后者会触发删除+插入,影响自增 ID 和外键级联

pgx.Batch 和原生 sql.DB 批处理性能差多少?

在 PostgreSQL 场景下,pgx.Batch 通常快 3–5 倍,因为它复用连接、避免多次 round-trip、支持二进制协议传输。但代价是错误粒度变粗——整个 batch 失败时,你不知道哪条语句出问题。

动态WEB网站中的PHP和MySQL:直观的QuickPro指南第2版
动态WEB网站中的PHP和MySQL:直观的QuickPro指南第2版

动态WEB网站中的PHP和MySQL详细反映实际程序的需求,仔细地探讨外部数据的验证(例如信用卡卡号的格式)、用户登录以及如何使用模板建立网页的标准外观。动态WEB网站中的PHP和MySQL的内容不仅仅是这些。书中还提到如何串联JavaScript与PHP让用户操作时更快、更方便。还有正确处理用户输入错误的方法,让网站看起来更专业。另外还引入大量来自PEAR外挂函数库的强大功能,对常用的、强大的包

下载

实操建议:

立即学习go语言免费学习笔记(深入)”;

  • pgx.Batch 时,必须遍历 batchResults 调用 Exec 并检查每个 error,不能只看 batch 整体是否成功
  • 如果某条语句失败,pgx 不会自动 rollback 前面成功的语句,需自行控制事务边界(把 batch 放在 Begin() 内)
  • sql.DBPrepare + 循环 Exec 更易调试,适合中小批量(
  • 别盲目开 10000 条一包——PostgreSQL 默认 max_prepared_statements=100,超限会报 "prepared statement does not exist"

怎么让失败的记录不阻塞后续插入?

核心是放弃“全批原子性”,接受部分成功。但不能简单 try-catch 吞掉错误,否则丢失上下文和监控能力。

实操建议:

立即学习go语言免费学习笔记(深入)”;

  • 按业务意义分组,比如按时间分区或用户 ID 哈希,每组 100–500 行,组内失败则整组重试或落库待人工处理
  • 用结构体封装每条数据 + 状态字段(status string // "pending", "success", "failed"),失败时更新状态并记录 err.Error(),而非丢弃
  • 避免在循环里直接 log.Printf —— 高频插入时 I/O 成瓶颈,改用缓冲日志或异步上报
  • 如果失败率持续 > 5%,优先查数据质量(空字段、超长字符串、非法时间戳),而不是堆重试逻辑

真正难的不是语法或 API,是决定哪些错误可忽略、哪些必须告警、哪些要人工介入——这得贴着你的业务约束来划线,代码只是执行者。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

206

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

233

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

345

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

212

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

401

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

322

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

196

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

762

2025.06.17

Rust异步编程与Tokio运行时实战
Rust异步编程与Tokio运行时实战

本专题聚焦 Rust 语言的异步编程模型,深入讲解 async/await 机制与 Tokio 运行时的核心原理。内容包括异步任务调度、Future 执行模型、并发安全、网络 IO 编程以及高并发场景下的性能优化。通过实战示例,帮助开发者使用 Rust 构建高性能、低延迟的后端服务与网络应用。

1

2026.02.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go 教程
Go 教程

共32课时 | 4.9万人学习

Go语言实战之 GraphQL
Go语言实战之 GraphQL

共10课时 | 0.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号