0

0

Redis如何设计广告防刷曝光_基于HyperLogLog统计真实触达设备数

P粉602998670

P粉602998670

发布时间:2026-03-12 14:45:12

|

261人浏览过

|

来源于php中文网

原创

适合,但只适合“去重后的粗略设备数”,误差率约0.81%,用12KB内存统计上亿ID;不支持反查、删除、交并差(Redis 7.0+仅支持简单合并);适用大盘监控,不适用精准去重或ID对齐。

redis如何设计广告防刷曝光_基于hyperloglog统计真实触达设备数

HyperLogLog 适合统计广告曝光的设备数吗?

适合,但只适合“去重后的粗略设备数”,不是精确值。它用 12KB 固定内存就能统计上亿个设备 ID,误差率约 0.81%,代价是无法反查具体有哪些设备、不能删除单个设备、不支持交并差(Redis 7.0+ 才支持 PFCOUNT + PFMERGE 做简单合并)。

常见错误现象:PFCOUNT 返回值远低于实际请求量,误以为漏统计;或拿 PFADD 当集合用,反复塞同一设备却期待能查出该设备是否已存在——它根本不存原始数据。

  • 适用场景:每日/每小时广告曝光的「独立设备触达数」大盘监控,不要求精确到个位
  • 不适用场景:需要剔除测试机、识别重复点击、做设备黑名单、或需与用户画像系统对齐 ID 列表
  • 参数差异:PFADD ad:expo:20240520 device_abc123 每次加一个设备 ID;多个可一次加:PFADD ad:expo:20240520 device_abc123 device_def456

怎么避免把同设备多次曝光算成多次独立触达?

关键在设备标识的稳定性和粒度。用 IPUser-Agent 会严重高估(NAT 共享 IP、浏览器指纹漂移);用 广告 SDK 生成的 AAID/IDFA/IDFV 更准,但 iOS 14+ 限制 ATT 后获取率下降;Web 端可用 fingerprintjs 生成设备指纹,但隐私合规风险需自行评估。

实操建议:

  • 服务端记录曝光时,优先取请求中带的 device_id 字段(由客户端 SDK 上报), fallback 到 cookie 中的 _did(需提前种好且未过期)
  • 绝不直接用 request.remote_addrUAPFADD 输入
  • 如果客户端未上报且无 cookie,宁可丢弃这次计数,也不用降级方案污染 HyperLogLog 数据

如何验证 PFADD 是否真生效、没被误覆盖或限流?

Redis 不会静默失败,但常见坑是:命令发错 key、客户端自动 trim 字符串、或中间件(如 Twemproxy)不支持 PF* 命令导致报错被吞。

百宝箱
百宝箱

百宝箱是支付宝推出的一站式AI原生应用开发平台,无需任何代码基础,只需三步即可完成AI应用的创建与发布。

下载

验证步骤:

  • 先用 redis-cli 手动测:PFADD test_hll abc def abc → 返回 (integer) 1 表示新增,(integer) 0 表示已存在
  • 立刻 PFCOUNT test_hll,应返回 2(去重后)
  • 检查客户端日志里是否出现 ERR unknown command `PFADD`(说明 Redis 版本
  • 注意:某些云 Redis(如阿里云老版本)默认禁用 PF* 命令,需在控制台手动开启

和 SET 相比,为什么不用 SADD + SCARD?

内存和性能差距巨大。1 亿设备 ID 存 SET 至少占 2–3GB 内存(字符串编码开销大),而 HyperLogLog 永远只占 12KB;SADD 写入延迟随基数线性增长,PFADD 是 O(1)。

但代价明确:

  • 无法做 SISMEMBER 查询某设备是否已计入
  • 不能用 EXPIRE 给 HyperLogLog 单独设过期(得靠 key 层面的 TTL,比如 SETEX ad:expo:20240520 86400 ...
  • 如果业务要求“当天曝光设备数”且每天归零,必须主动用 DEL ad:expo:20240520 或用日期作为 key 后缀,别指望自动清理

真正容易被忽略的是:HyperLogLog 的误差不是均匀分布的,小基数(PFCOUNT 值较真。等设备量上到万级,误差才稳定在 0.8% 左右。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

182

2024.05.11

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

226

2025.12.18

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6500

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

368

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

446

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号