0

0

Java中的BitSet怎么用_海量数据去重与位图算法的集合类实现

P粉602998670

P粉602998670

发布时间:2026-03-14 14:19:26

|

156人浏览过

|

来源于php中文网

原创

BitSet比HashSet更省内存,因其用1位表示一个非负整数是否存在,如标记[0,1000000)只需约125KB;但仅支持非负整数,索引即值,适用ID范围可控场景,不适用于字符串、负数或超大跨度数据。

java中的bitset怎么用_海量数据去重与位图算法的集合类实现

BitSet 为什么比 HashSet 节省内存(尤其在稀疏大整数场景)

因为 BitSet 不存实际值,只用 1 bit 表示一个非负整数是否存在。比如标记 [0, 1000000) 中哪些数出现过,HashSet<Integer> 至少要存 100 万个 Integer 对象(每个约 16 字节 + 哈希表开销),而 BitSet 只需约 125 KB 内存(10⁶ ÷ 8)。

但注意:它只支持非负整数,且逻辑上“索引即值”——bitSet.set(100) 表示“数字 100 存在”,不是“第 100 个位置”。这是最容易混淆的点。

  • 适用场景:日志去重(用户 ID 是递增 long)、布隆过滤器底层、权限位标记、IP 归属地索引等整数 ID 映射明确、范围可控的场景
  • 不适用:字符串去重、负数、浮点数、ID 分散且跨度极大(如 Long.MAX_VALUE 级别)——会直接 OOM 或浪费巨量空闲位
  • BitSet.length() 返回的是最高位的索引 + 1(即“逻辑长度”),不是实际分配的字节数;BitSet.size() 才是内部数组长度(单位是 long,即 64 位一组)

set() / get() / cardinality() 这三个方法怎么配合做去重计数

去重本质就是“设位 + 统计已置位数量”。关键不是存数据,而是判断某位是否已被设过。

典型误用:bitSet.set(x); count++ —— 这会重复计数。正确做法是先 get(x) 判断,再决定是否 set 并累加:

立即学习Java免费学习笔记(深入)”;

Napkin AI
Napkin AI

Napkin AI 可以将您的文本转换为图表、流程图、信息图、思维导图视觉效果,以便快速有效地分享您的想法。

下载
if (!bitSet.get(userId)) {
    bitSet.set(userId);
    uniqueCount++;
}
  • bitSet.get(i) 对越界索引(i >= bitSet.length())返回 false,不会抛异常,但可能掩盖逻辑错误(比如误把负数传进来,被转成大正数)
  • cardinality() 是 O(n) 扫描内部 long 数组,比手动维护 uniqueCount 慢;高频更新时建议自己计数
  • 如果只是最终统计去重数,用 cardinality() 更安全(避免并发或漏更新导致计数偏差)

BitSet 在多线程下直接用会出什么问题

它不是线程安全的。set(i)get(i) 都是普通实例方法,没有同步机制。并发调用可能导致位丢失或计数错乱。

  • 常见错误现象:明明插入了 1000 个不同 ID,cardinality() 却返回 997 或更小;或者 get(x) 偶尔返回 false 即使之前 set(x)
  • 不要用 synchronized(bitSet) 包裹所有操作——锁粒度太粗,吞吐暴跌
  • 轻量级替代:用 java.util.concurrent.ConcurrentHashMap<Integer, Boolean>(内存稍高但语义清晰);或按 ID 哈希分片,每片配一个 BitSet + 分段锁
  • JDK 12+ 的 BitSet 仍无并发版本,别指望“未来会加”——它设计初衷就是单线程高性能位操作

和 Redis Bitmap、RoaringBitmap 比,Java BitSet 适合什么阶段

它只适合单机、内存充足、ID 范围明确、不需要持久化或跨进程共享的场景。一旦数据量超几百 MB 或需要分布式协作,就该换工具了。

  • Redis SETBIT:适合服务间共享去重状态,但网络延迟和序列化开销明显;BitSet 零拷贝、纳秒级访问
  • RoaringBitmap:当数据“既有密集块又有稀疏点”(比如用户活跃天数:连续几天 + 隔几个月一次),它比 BitSet 内存省 5–10 倍,且支持交并差运算;但 API 更重,引入额外依赖
  • 别拿 BitSet 去接 Kafka 流或 MySQL 全量 ID——没压缩、没序列化协议、没扩容策略,出问题很难 debug

真正要用好 BitSet,得先想清楚:这个“海量”到底是 10⁵、10⁷ 还是 10⁹ 级别?ID 是否真的能映射到连续/半连续整数空间?上线后有没有人会突然喂进负数或超大 long?这些边界比怎么写 set 循环重要得多。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

686

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

534

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

287

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

519

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

267

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

392

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

542

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

668

2023.08.14

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

49

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 4.4万人学习

C# 教程
C# 教程

共94课时 | 11.3万人学习

Java 教程
Java 教程

共578课时 | 82.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号