0

0

Redis如何批量导入数据到集群_利用redis-cli --pipe结合集群模式路由规则高速灌库

P粉602998670

P粉602998670

发布时间:2026-03-19 09:55:16

|

160人浏览过

|

来源于php中文网

原创

redis-cli --pipe 不支持集群重定向,应使用 redis-cli --cluster load;后者预分片并按 slot 发送,避免 MOVED/ASK 错误,且需校验导入结果。

redis如何批量导入数据到集群_利用redis-cli --pipe结合集群模式路由规则高速灌库

redis-cli --pipe 在集群模式下直接报错:MOVED / ASK 重定向

redis-cli --pipe 往 Redis 集群灌数据时,命令会随机打到某个节点,而该节点发现 key 不归自己管,就返回 MOVED 12345 10.0.1.5:6379ASK 12345 10.0.1.6:6379redis-cli --pipe 默认不处理这类重定向,直接退出并报错。

这不是数据格式问题,是协议层路由缺失——--pipe 模式跳过了 redis-cli 的交互式重定向逻辑,只做裸 TCP 发送。

  • 别指望加 -c(cluster mode)参数能生效:它只对普通命令行交互有效,--pipe 下被忽略
  • 也不要用 redis-cli -c --pipe 组合:CLI 会拒绝这种矛盾参数,报 ERR: --pipe and -c cannot be used together
  • 真实场景中,错误日志里高频出现的其实是 Protocol error: expected '$', got 'M' —— 因为 MOVED 响应以 M 开头,不是 RESP 协议期望的 $

必须用 redis-cli --cluster load 做预分片再 pipe

Redis 5+ 自带的 redis-cli --cluster load 工具才是集群批量导入的正解:它先读取所有 key,用 CRC16 算出 slot,再按节点分片生成多路 pipe 输入流,每路只发给归属节点。

关键不是“快”,而是“不越界”——绕开了客户端路由,靠服务端 slot 分布信息提前切流。

  • 输入必须是 RESP 格式(不是 JSON 或 CSV),每行一个命令,如:*3\r\n$3\r\nSET\r\n$5\r\nuser:1\r\n$3\r\nfoo\r\n
  • 执行前确保集群已稳定(redis-cli --cluster check 无 fail 状态),否则 load 会卡在等待 slot 映射同步
  • 如果原始数据含大量 hash tag(如 {user1001}.profile),CRC16 计算仍正确,无需额外处理
  • 性能上,单节点吞吐受 pipe 批量大小影响,默认 1000 条/批;可加 --batch-size 5000 提升,但内存占用会上升

手写脚本做 client-side 分片时,slot 计算必须严格对齐 Redis 实现

如果不用 --cluster load,而选择自己解析 key、计算 slot 发往对应节点,最容易翻车的是 CRC16 实现偏差——Python 的 zlib.crc32 和 Redis C 的 crc16() 行为不一致。

MedPeer自然科学基金
MedPeer自然科学基金

科研申报与成果分析的智能数据引擎

下载

Redis 的 slot = crc16(key) & 0x3FFF(即对 16384 取模),但很多脚本误用 hashlib.md5(key).hexdigest()[:4]ord(key[0]) % 16384,结果 key 被发到错误节点,数据写丢或覆盖。

  • Python 正确做法:用 redis-py 内置的 redis.cluster.RedisCluster._keyslot(),或抄 Redis 源码里的 crc16.c 的 Python 移植版
  • Node.js 推荐用 ioredisCluster.prototype.computeSlot(),别自己写位运算
  • 注意大 key(>1MB)在 pipe 中可能触发 proto-max-bulk-len 限制,需同步调大目标节点配置

PIPE 导入后必须 verify:集群 slot 状态和数据一致性不自动校验

redis-cli --cluster load 成功返回 ≠ 数据已到位。它只保证命令发出去了,不检查响应是否成功、是否被丢弃、是否因 OOM 被拒绝。

尤其当集群内存不足、maxmemory-policy 是 noeviction 以外策略时,SET 可能静默失败,但 pipe 流程照常结束。

  • 务必跑一次 redis-cli --cluster check,确认所有 slot 的 keys 数量与预期导入量匹配
  • 抽样验证:用 redis-cli -h node1 -p 6379 keys "user:*" | wc -l 对比各节点,避免某节点因网络抖动漏收整批
  • 如果用了 hash tag,要额外验证 tag 内 key 是否真落在同一 slot —— 错误的 tag 写法(如 user:{1001} 少了闭合括号)会导致 slot 计算完全错乱

最麻烦的不是导入慢,是导入完你以为完成了,结果查不到数据,回头还得从 pipe 日志里 grep ERROR 行——而默认 pipe 不输出每条命令的响应,得手动加 --verbose 或改用 telnet 抓包看。

路由优化大师
路由优化大师

路由优化大师是一款及简单的路由器设置管理软件,其主要功能是一键设置优化路由、屏广告、防蹭网、路由器全面检测及高级设置等,有需要的小伙伴快来保存下载体验吧!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

458

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

549

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

337

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

84

2025.09.10

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

533

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

385

2023.10.25

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

533

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

385

2023.10.25

bootstrap安装教程
bootstrap安装教程

本专题整合了bootstrap安装相关教程,阅读专题下面的文章了解更多详细操作教程。

22

2026.03.18

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号