0

0

如何在Golang中实现并发BitMap_位图并行操作

P粉602998670

P粉602998670

发布时间:2026-02-26 10:06:55

|

212人浏览过

|

来源于php中文网

原创

sync.map 无法安全处理位图操作,因其不支持对整数数组某一位的原子读写;正确做法是基于 sync/atomic 对每个 uint64 元素实现掩码+ cas 的位级原子操作,并通过分段设计避免锁争用。

如何在golang中实现并发bitmap_位图并行操作

为什么直接用 sync.Map 处理位图会出错

位图(BitMap)本质是按 bit 读写整数数组,而 sync.Map 只支持键值对的原子增删查,不提供对底层字节数组某一位的原子操作。你不能靠它安全地执行 setBit(1024)testAndSet(2048) —— 这类操作必须落在单个 uint64uint32 上,且需 CAS 或原子位运算支持。

常见错误现象:多个 goroutine 同时调用 Set(i) 导致某一位被覆盖、漏设或 panic;用 mutex 全局锁又让并发退化成串行。

  • 位图并发核心不是“保护整个 map”,而是“保护每个承载位的原子单元”(如每个 uint64 元素)
  • Go 标准库 sync/atomic 提供 atomic.OrUint64atomic.AndUint64,但不直接支持单 bit 设置 —— 得自己组合掩码 + CAS
  • 若位图稀疏(比如只存几万个活跃 ID,但索引跨度到千万级),别硬扛大数组,考虑分段 + 懒加载 + 原子指针切换

如何用 atomic 实现线程安全的单 uint64 位操作

一个 uint64 能存 64 个 bit,对应索引 0–63。要并发设置第 i 位,关键在:计算偏移、构造掩码、CAS 循环写入。

示例逻辑(不封装,直给核心):

Baklib
Baklib

在线创建产品手册、知识库、帮助文档

下载

立即学习go语言免费学习笔记(深入)”;

func setBitAtomic(addr *uint64, i uint) {
    mask := uint64(1) << i
    for {
        old := atomic.LoadUint64(addr)
        if old&mask == mask {
            return // already set
        }
        if atomic.CompareAndSwapUint64(addr, old, old|mask) {
            return
        }
    }
}
  • 不能用 atomic.OrUint64(addr, mask) 直接替代 —— 它不返回旧值,无法判断是否真发生了变更
  • i 必须 ,否则位移溢出,结果未定义;实际使用前务必 <code>if i >= 64 { panic(...) }
  • 读操作可用 atomic.LoadUint64(addr) & mask != 0,无需 CAS,但注意内存序:如果其他 goroutine 刚写完,本 goroutine 可能因 CPU 缓存未刷新而读到旧值 —— 一般场景够用,强一致性需加 atomic.LoadUint64 配合屏障(极少需要)

分段位图(Sharded Bitmap)怎么设计才不掉坑

把大位图拆成多个固定大小的桶(如每桶 64K bit = 8KB),每个桶配独立的 *uint64 数组 + 对应的 sync.Mutex 或更轻量的原子控制。重点不在“分”,而在“怎么分得让热点不打架”。

  • 分桶索引必须由位索引 i 算出:shardIdx := i / bitsPerShard,不能用哈希 —— 否则 get(i)set(i) 可能落在不同桶,逻辑崩坏
  • 桶内偏移 = i % bitsPerShard,再换算成 uint64 下标和 bit 位置,别手抖写成 i & (bitsPerShard-1)(除非 bitsPerShard 是 2 的幂)
  • 不要为每个桶配一个 sync.Mutex 就完事 —— 如果所有写请求都集中在前两个桶(比如用户 ID 低段密集),锁争用一样高;可考虑用 atomic.Value 存桶指针,配合懒初始化 + CAS 替换,避免初始化竞争
  • Go 1.19+ 支持 atomic.Int64,但位图需要的是位级原子性,Int64 本身没用;真正有用的是 atomic.AddUint64 配合掩码做计数,不是位操作

unsafe + atomic 绕过 slice bounds check 的风险点

有人想用 unsafe.Slice[]byte 强转成 []uint64 来批量操作,再配合 atomic 函数。这能省点内存分配,但极易翻车。

  • 底层数组长度必须是 8 的倍数(uint64 对齐),否则 unsafe.Slice(..., n) 可能越界读写 —— Go 运行时不会帮你校验
  • atomic.LoadUint64 要求地址 8 字节对齐,若 byte slice 起始地址是奇数,转成 *uint64 后 dereference 会 panic(“unaligned 64-bit atomic operation”)
  • GC 不知道你在用 unsafe 指针引用底层数组,若原 slice 被回收,unsafe 指针立刻变 dangling pointer —— 表现为随机位读写失败或 core dump
  • 除非你完全掌控内存生命周期(比如用 mmap 分配固定页,或复用 sync.Pool 中的预分配 buffer),否则老老实实用 []uint64 + 显式长度检查更稳

真正难的从来不是“怎么并发”,而是“怎么让每个 goroutine 在正确的时间、对正确的内存地址、用正确的对齐方式、执行正确的原子指令”。位图并发的坑,九成藏在边界计算和内存布局里,而不是语法或 API。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

207

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

242

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

350

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

212

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

405

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

385

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

200

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

1131

2025.06.17

batoto漫画官网入口与网页版访问指南
batoto漫画官网入口与网页版访问指南

本专题系统整理batoto漫画官方网站最新可用入口,涵盖最新官网地址、网页版登录页面及防走失访问方式说明,帮助用户快速找到batoto漫画官方平台,稳定在线阅读各类漫画内容。

320

2026.02.25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go 教程
Go 教程

共32课时 | 5.6万人学习

Go语言实战之 GraphQL
Go语言实战之 GraphQL

共10课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号