0

0

如何减少网络交互带来的性能损耗_存储过程封装与批量操作

P粉602998670

P粉602998670

发布时间:2026-03-19 14:05:03

|

795人浏览过

|

来源于php中文网

原创

批量插入应避免单条语句多次网络往返,须用多值INSERT、表值参数或原生数组传参,在数据库端一次性展开写入,而非存储过程中循环执行INSERT。

如何减少网络交互带来的性能损耗_存储过程封装与批量操作

存储过程里怎么批量插入而不触发 N 次网络往返

单条 INSERT 语句执行一次,客户端就发一次请求——哪怕你循环 100 次,就是 100 次 round-trip。数据库端可能只花 2ms,但网络延迟(尤其跨机房)动辄 10–50ms,瓶颈根本不在 SQL 本身。

真正有效的做法是把多行数据打包进一条语句,或者用存储过程内部循环处理。关键不是“写个存储过程”,而是让数据别出数据库边界。

  • INSERT INTO ... VALUES (...), (...), (...) 一次性插多行(注意 MySQL 有 max_allowed_packet 限制,PostgreSQL 无硬上限但要注意事务大小)
  • 在存储过程中接收数组或 JSON 字符串(如 PostgreSQL 的 jsonb、SQL Server 的 STRING_SPLIT 或表值参数),再用 UNNEST / CROSS APPLY 展开后批量写入
  • 避免在存储过程里写 FOR i IN 1..n LOOP INSERT ... 这种循环——它只是把 100 次网络往返,换成 100 次内部执行,没减少 I/O,还加重了锁竞争

SQL Server 表值参数(TVP)传大批量数据时卡住怎么办

表值参数本意是高效传结构化数据,但实际用起来常卡在客户端序列化或服务端内存分配上,尤其当传几万行、每行字段又多的时候。

问题往往不出在语法,而在两处:客户端构造 TVP 的方式,和服务端是否启用了 SET ARITHABORT ON(某些 ORM 或连接池默认关掉它,导致执行计划缓存失效,反复编译)。

  • 客户端侧:用 DataTable 构造 TVP 时,别一行行 Rows.Add(),改用 Load() 配合 SqlDataReader 或数组批量填充,快 3–5 倍
  • 服务端侧:确保连接字符串包含 Packet Size=8192(默认够用),且存储过程中第一行加 SET ARITHABORT ON
  • 别把 TVP 当通用容器:字段类型必须和用户定义表类型(UDT)严格一致,比如 UDT 定义的是 INT,传 NULLsmallint 都可能隐式转换失败,报错信息是 The table-valued parameter "@data" must be declared with a user-defined table type.

MySQL 存储过程里用游标遍历大结果集为什么越来越慢

游标本质是逐行提取 + 逐行处理,底层会维持临时结果集快照,数据量一过万,内存占用飙升,还会阻塞源表的 DML 操作。更麻烦的是,MySQL 游标不支持动态 SQL 绑定,没法提前预编译,每次 fetch 都带解析开销。

靠岸学术
靠岸学术

一款集翻译,阅读,文献管理于一体的英文文献阅读器

下载

除非业务逻辑真需要“逐行判断后决定下一行怎么查”,否则游标是最后的选择。

  • 优先用 JOIN + UPDATE ... SELECT 替代“查出来再更新”:比如要给一批用户加积分,直接 UPDATE users u JOIN temp_batch b ON u.id = b.user_id SET u.score = u.score + b.points
  • 真要过程式逻辑,把数据导出到临时表(CREATE TEMPORARY TABLE ... SELECT ...),再对临时表做多次聚合/更新,比游标快一个数量级
  • 如果非用游标不可,务必在声明前加 DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = TRUE,不然遇到空结果会直接报错中断,而不是安静退出

PostgreSQL 中用 jsonb 传参进存储过程,解析后性能反而下降

jsonb 灵活,但解析成本真实存在。一个含 5000 条记录的 JSON 数组,用 jsonb_array_elements() 展开,比原生数组慢 2–4 倍;若再嵌套对象、还要取多层字段,CPU 就明显吃紧。

这不是 JSON 本身的问题,而是 PostgreSQL 对 JSON 路径解析未做向量化优化,每次调用都是独立解析。

  • 能用原生数组就别用 JSON:比如传整数 ID 列表,用 INT[] 类型参数,配合 UNNEST($1),比 jsonb_array_elements($1::jsonb) 快得多
  • 如果前端只能发 JSON,至少在存储过程开头用 jsonb_populate_recordset(NULL::my_table_type, $1) 一次性转成记录集,别在循环里反复调用 ->> 取字段
  • 注意 jsonb 字段名大小写敏感,而 PostgreSQL 列名默认小写——data->>'UserId'data->>'userid' 是不同路径,容易漏数据

批量操作的核心从来不是“怎么写存储过程”,而是“数据在哪次被组织、在哪次被拆解”。网络损耗藏在看不见的序列化、参数绑定、执行计划选择里,而不是那行 CALL proc(...) 上。多看执行计划里的 Planning TimeExecution Time 分布,比猛写循环实在得多。

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

391

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2113

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

359

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

259

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

329

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

420

2023.10.16

vb连接access数据库的方法
vb连接access数据库的方法

vb连接access数据库方法:1、使用ADO连接,首先导入System.Data.OleDb模块,然后定义一个连接字符串,接着创建一个OleDbConnection对象并使用Open() 方法打开连接;2、使用DAO连接,首先导入 Microsoft.Jet.OLEDB模块,然后定义一个连接字符串,接着创建一个JetConnection对象并使用Open()方法打开连接即可。

482

2023.10.16

vb连接数据库的方法
vb连接数据库的方法

vb连接数据库的方法有使用ADO对象库、使用OLEDB数据提供程序、使用ODBC数据源等。详细介绍:1、使用ADO对象库方法,ADO是一种用于访问数据库的COM组件,可以通过ADO连接数据库并执行SQL语句。可以使用ADODB.Connection对象来建立与数据库的连接,然后使用ADODB.Recordset对象来执行查询和操作数据;2、使用OLEDB数据提供程序方法等等。

231

2023.10.19

Go Web框架Gin接口开发与中间件设计实践
Go Web框架Gin接口开发与中间件设计实践

本专题围绕 Go 在 Web 后端开发中的主流框架 Gin 展开,系统讲解高性能接口开发与中间件机制设计。内容涵盖路由分组、请求绑定、参数校验、统一响应封装、日志与鉴权中间件实现,以及接口限流与异常处理策略。通过实战项目案例,帮助开发者构建结构清晰、性能优良的 Go Web 服务体系,提升接口开发效率与系统可维护性。

7

2026.03.19

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号