0

0

Python dict 的哈希实现与冲突处理

冷漠man

冷漠man

发布时间:2026-02-11 20:40:03

|

782人浏览过

|

来源于php中文网

原创

Python字典哈希值通过hash(key)扰动后与(table_size-1)按位与得到索引,要求表大小为2的幂;冲突时采用伪随机探测,删除打标记不释放内存,扩容阈值0.65触发翻倍重建。

python dict 的哈希实现与冲突处理

Python 字典的哈希值是怎么算出来的

Python 的 dict 底层靠哈希表实现,每个键(key)必须是可哈希的(即有 hash 方法且不可变)。哈希值不是直接用 hash(key) 原样存进去的,而是做了位运算扰动:
hash(key) & (table_size - 1) —— 这要求表大小始终是 2 的幂,所以实际索引是哈希值的低位截取。

  • 如果自定义类作为 key,必须同时实现 hasheq,否则可能查不到或重复插入
  • strinttuple(只含可哈希元素)天然支持,但 listdictset 不行,会报 TypeError: unhashable type
  • 同一进程内,相同字符串的 hash() 值稳定;但 Python 3.3+ 默认启用哈希随机化(-RPYTHONHASHSEED),跨进程不保证一致

哈希冲突时 Python 怎么找下一个空槽

冲突发生时,CPython 用开放寻址法(open addressing),具体是 伪随机探测(perturb-based probing),不是线性探测或二次探测。

  • 探测序列由初始哈希和一个不断右移的扰动值 perturb 共同决定:i = (5*i) + 1 + perturb; perturb >>= 5
  • 这个设计让冲突分布更均匀,避免“聚集”(clustering)
  • 空槽(NULL)、已删除槽(DELETED)、有效槽(USED)三态并存,删除操作不真正清内存,只打标记,避免查找中断

常见错误现象:

  • 插入大量键后字典变慢,不一定是哈希差,更可能是负载因子超过 0.65 触发扩容(复制整个哈希表)
  • 频繁增删导致大量 DELETED 槽,虽不占逻辑空间,但影响探测效率,最终也会触发重建

为什么有时两个不同对象 hash() 相同却能共存于 dict

哈希值相同 ≠ 键相等。Python 查找时分两步:

立即学习Python免费学习笔记(深入)”;

Colourlab.ai
Colourlab.ai

好莱坞内容创作者依赖的AI色彩分级软件

下载
  1. 计算哈希值,定位大致桶位置
  2. 在该桶及后续探测路径中,逐个比对 key is other or key == other(先用 is 快判,再用 ==

所以:

  • hash(1)hash(1.0) 相同,但 1 == 1.0True,它们不能同时存在:后者会覆盖前者
  • hash("a")hash("b") 可能碰巧相同(尤其小字符串),只要 "a" != "b",就能共存,只是查找要多探几次
  • 自定义类若 hash 返回常数(如 return 42),所有实例哈希都一样,性能退化为 O(n),但语法上完全合法

扩容机制如何影响性能和内存占用

字典在插入时检查负载因子(used / table_size),超过 0.65 就扩容(翻倍),但扩容不是简单复制:

  • 新表大小是 ≥ 2×旧容量的最小 2 的幂(例如从 8 → 16,但 128 → 256)
  • 所有键值对按新哈希重新散列,旧探测路径作废
  • 删除操作不触发缩容,只有显式调用 dict.clear() 或引用被回收才释放内存
  • 使用 dict.fromkeys(keys, default) 初始化大批量数据时,如果 keys 是 list,内部仍会逐个插入,无法预分配最优大小;想省时间得先估算数量,再用 {k: default for k in keys}(解释器有优化)

容易被忽略的一点:哈希表的「空闲槽」其实一直存在,哪怕你删光所有项,只要没触发 gc 或重新赋值,底层数组不会缩小。观察 sys.getsizeof(d) 就能发现这点。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

243

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

685

2024.03.01

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

488

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

214

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1547

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

637

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

841

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

813

2024.04.29

2026春节习俗大全
2026春节习俗大全

本专题整合了2026春节习俗大全,阅读专题下面的文章了解更多详细内容。

68

2026.02.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.2万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号