0

0

Redis如何评估基数统计误差_理解HyperLogLog的标准错误率原理

P粉602998670

P粉602998670

发布时间:2026-03-10 20:31:02

|

751人浏览过

|

来源于php中文网

原创

redis hyperloglog 的标准误差率为0.81%,这是由算法设计决定的固定理论值,与数据分布和规模无关,仅取决于桶数量(默认16384)和修正因子推导得出。

redis如何评估基数统计误差_理解hyperloglog的标准错误率原理

Redis HyperLogLog 的误差到底是多少?

Redis 的 PFCOUNT 返回的是一个**概率估算值**,不是精确计数。它的标准误差率是 0.81%,这是由算法设计决定的固定理论值(σ ≈ 0.0081),不是“看运气”的浮动误差。

这意味着:如果 PFCOUNT 返回 100,000,真实基数大概率落在 99,190~100,810 区间内。这个误差在 UV 统计、AB 测试分流、日志去重等场景中完全可接受——你本来也不需要知道“到底少了 3 个还是多了 7 个用户”,而要快速判断“是否突破百万量级”。

  • 误差与数据分布无关:哪怕你反复插入同一个 user_id,只要哈希后服从均匀分布(Redis 的 MurmurHash3 满足),误差仍稳定在 0.81% 左右
  • 误差不随数据量增大而恶化:统计 1 万或 1 亿,误差率都是 ~0.81%,这是它碾压 SET 的核心优势
  • 注意:误差是相对误差,不是绝对误差。基数越小,绝对偏差越小(比如基数为 100 时,误差约 ±1)

为什么不是 1%?0.81% 是怎么算出来的?

这个数字来自 HyperLogLog 的调和平均公式和桶数量配置。Redis 默认使用 2^14 = 16384 个桶(寄存器),每个桶记录对应分组哈希值的前导零最大位数。理论推导得出:标准差 σ ≈ αm / √m,其中 m 是桶数,αm 是修正因子(对 m=16384,αm≈0.7213)。代入得 σ ≈ 0.7213 / √16384 ≈ 0.0081。

简单说:0.81% 不是拍脑袋定的,是数学推导+工程权衡的结果——再增加桶数能略微降误差,但内存从 12KB 往上翻,性价比断崖下跌。

X Detector
X Detector

最值得信赖的多语言 AI 内容检测器

下载
  • Redis 7 没改这个值,也没提供调整精度的参数(不像某些数据库支持 precision 配置)
  • 别试图用 PFADD 多加几次同一元素来“校准”,没用:重复元素会被自动忽略,且不改变桶状态
  • 如果你真需要

误差会叠加吗?合并多个 HyperLogLog 后还准不准?

不会叠加,反而更稳。PFMERGE 是无损合并操作:它把多个 HLL 的桶数组逐位取最大值,再用同一套公式重算基数。这相当于把原始数据“逻辑上合并在一个大 HLL 里处理”,误差仍保持 ~0.81%。

典型场景:每天一个 uv_20260301,月底用 PFMERGE uv_month uv_20260301 uv_20260302 ... 合并——最终结果的误差率和单日一样,不是 0.81% × 31。

  • 但注意:PFMERGE 本身不校验输入键是否存在或是否为 HLL 类型,若误传了 STRING 键,会直接报错 WRONGTYPE Operation against a key holding the wrong kind of value
  • 合并后原键不受影响,新键是全新结构,内存占用 = 所有源键中最大那个(稀疏/密集格式自动适配)
  • 不要对同一组数据做多次 PFMERGEPFCOUNT,纯属浪费 CPU:结果不会更准

什么时候该怀疑误差,而不是认命?

当观察到明显违背常识的偏差时,问题大概率不在误差率本身,而在用法错误。

  • PFCOUNT 返回 0,但你知道至少插入过一次?检查是否用了错误的 key 名,或客户端连接了错误的 Redis 实例(常见于多环境共用配置)
  • 连续多天 PFCOUNT 结果恒定不变?确认 PFADD 是否真的执行成功(返回值是 1 表示内部状态变更,0 表示元素已存在)
  • 合并后数值比各子集之和还小?不可能——HLL 并集估算值一定 ≥ 任一子集,若出现,说明某子集 key 被覆盖或误删
  • SCANKEYS 查不到 HLL 键?正常:PFADD 创建的 key 在空时可能不显式分配内存,首次写入后才真正存在

误差率 0.81% 是透明、稳定、可预期的背景噪音;真正要花时间排查的,永远是数据链路中的那几个具体环节。

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

494

2023.08.14

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1005

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

671

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

501

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

413

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

408

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

483

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

424

2024.04.07

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

4

2026.03.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号