0

0

如何在集合中实现高效的数据分段存储_分片思想在海量数据处理的应用

P粉602998670

P粉602998670

发布时间:2026-02-11 11:39:36

|

500人浏览过

|

来源于php中文网

原创

分片键必须匹配查询模式,如高频查 user_id 则用其哈希,查时间范围则按月分片;避免低频高基数字段或未标准化数据;Redis Cluster 基于 key 哈希槽路由,MongoDB 依赖分片键前缀路由;手动分片需确保路由函数纯且统一;JOIN 和全局排序需应用层处理或引入专用引擎。

如何在集合中实现高效的数据分段存储_分片思想在海量数据处理的应用

分片键选不对,再好的分片策略也白搭

分片不是简单按 id % N 一砍了事。真实场景中,热点集中在某个时间范围或用户区域,如果用自增 id 作分片键,新数据全打到最新分片,其他分片吃闲饭,负载严重不均。

真正该看的是查询模式:90% 请求带 user_id?那就用它哈希分片;查得最多的是 created_at 范围?考虑按时间范围分片(如 202401202402);混合场景可组合,比如 shard_key = user_id + '_' + substr(created_at, 0, 7)

  • 避免用高基数但低查询频率的字段(如 uuid),哈希后分布虽均匀,但无法利用索引加速单条查询
  • 禁止用浮点数或含特殊字符的字符串直接哈希,先做标准化处理,否则同一逻辑值可能被散到不同分片
  • 分片键一旦选定,后续改成本极高——多数系统不支持在线重分片,得停服迁移

Redis Cluster 和 MongoDB Sharding 的分片逻辑差异

Redis Cluster 固定 16384 个哈希槽(hash slot),客户端计算 CRC16(key) % 16384 得到槽位,再查本地槽路由表发往对应节点。它不关心业务语义,只认 key 字符串本身。

MongoDB Sharding 则依赖分片键建立索引,路由服务(mongos)解析查询条件,判断能否命中分片键前缀。比如分片键是 {region: 1, user_id: 1},查 {region: "cn"} 能路由到部分分片,但查 {user_id: 123} 就得广播到所有分片。

  • Redis 里 keys *scan 这类无 key 精确匹配的操作,在集群模式下直接报错或只作用于本地节点
  • MongoDB 中,缺失分片键的写操作会被拒绝;聚合管道若没加 $match 在分片键上,性能会断崖下跌
  • 两者都不支持跨分片的事务一致性——Redis Cluster 没有跨槽事务,MongoDB 的分布式事务默认关闭且代价高

手动分片时,路由逻辑必须和写入逻辑强一致

自己用代码实现分片(比如把订单存到 orders_001 ~ orders_128 表),最容易出问题的是「读写不一致」:写的时候按 user_id % 128 存到 orders_042,读的时候却用了 order_id % 128 去查 orders_087,数据就找不到了。

PHP5 和 MySQL 圣经
PHP5 和 MySQL 圣经

本书是全面讲述PHP与MySQL的经典之作,书中不但全面介绍了两种技术的核心特性,还讲解了如何高效地结合这两种技术构建健壮的数据驱动的应用程序。本书涵盖了两种技术新版本中出现的最新特性,书中大量实际的示例和深入的分析均来自于作者在这方面多年的专业经验,可用于解决开发者在实际中所面临的各种挑战。

下载

核心原则是:路由函数必须是纯函数——输入相同,输出必相同;且所有服务(API、定时任务、后台管理)调用同一份路由逻辑代码,不能各写各的。

  • 把分片计算封装成独立函数,例如 get_shard_table(user_id, total_shards=128),严禁在 SQL 拼接里重复写 % 表达式
  • 测试阶段必须覆盖边界值:user_id = 0、负数(某些语言取模结果不同)、超大整数(溢出导致符号翻转)
  • 上线前用影子流量比对:新老路由同时计算,日志记录不一致 case,不修复完不能切流

分片后 JOIN 和全局排序变成硬伤

原本一条 SELECT * FROM orders JOIN users ON orders.user_id = users.id,分片后 ordersusers 可能不在同一库,数据库层无法完成 JOIN。你得在应用层拆解:先查出一批 user_id,再用 IN 批量拉用户数据,自己合并。

同理,要取“最近 100 笔订单”,分片后每个库只能返回自己的 Top 100,应用层得做归并排序,内存和网络开销陡增。

  • 优先用冗余字段规避 JOIN:比如订单表里冗余 user_nameuser_region,查得快,更新时用异步消息补全
  • 全局排序需求强烈的话,别硬扛——引入 ElasticsearchClickHouse 做汇总索引,写时双写,读时查专用引擎
  • 分页慎用 OFFSET:跨分片取第 10000 条,意味着每个分片都得算出前 10000 条再归并,响应时间不可控;改用游标分页(WHERE created_at )更靠谱

分片从来不是“加个配置就变快”的银弹。最常被跳过的一步,是提前压测分片键倾斜度——用真实流量采样跑 5 分钟,看各分片的 QPS 和数据量标准差。差三倍以上,就得回头调分片策略。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

900

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

333

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

372

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1550

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

368

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

1108

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

583

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

433

2024.04.29

Rust异步编程与Tokio运行时实战
Rust异步编程与Tokio运行时实战

本专题聚焦 Rust 语言的异步编程模型,深入讲解 async/await 机制与 Tokio 运行时的核心原理。内容包括异步任务调度、Future 执行模型、并发安全、网络 IO 编程以及高并发场景下的性能优化。通过实战示例,帮助开发者使用 Rust 构建高性能、低延迟的后端服务与网络应用。

1

2026.02.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号