大数据量下应优先选择稳定省资源的数据结构：deque用于高频两端增删，array.array节省数值内存，dict适用于有序映射但需控制key类型，稀疏数据改用scipy.sparse或pyarrow等专用结构。
大数据量下选对数据结构，关键不是“快”，而是“稳”和“省”——内存不爆、操作不卡、逻辑不绕。
用 deque 替代 list 做高频增删（尤其队列/滑动窗口）
list 在头部插入或删除是 O(n)，大数据流中反复 pop(0) 或 insert(0, x) 会拖垮性能；deque 底层是双向链表，两端操作稳定 O(1)。
- 适合场景：实时日志缓冲、滑动时间窗口统计、BFS 队列
- 写法示例：from collections import deque; q = deque(maxlen=10000) —— maxlen 自动丢弃旧元素，省去手动截断
- 注意：deque 不支持随机索引加速（如 q[5000] 慢），别当 list 用
用 array.array 存纯数值，比 list 节省 3–4 倍内存
list 存的是对象指针，每个整数/浮点数都带 Python 对象开销；array.array 直接存二进制值，类似 C 数组。
- 适用条件：所有元素类型一致（如全是 int32、float64）且无需动态类型操作
- 常用类型码：'i'（有符号 int）、'd'（double）、'f'（float）
- 小技巧：可直接用 array.frombytes() 接收二进制流（如从文件或网络读取的原始数值块）
超大键值对优先考虑 dict，但注意内存底线
Python 3.7+ dict 保持插入顺序且平均查找 O(1)，仍是大数据映射首选。但千万级 key 时，内存占用明显（每个 key-value 对约 200–300 字节）。
立即学习“Python免费学习笔记（深入）”；
- 优化方向：key 尽量用 str/int，避免 tuple 或自定义对象作 key
- 替代方案：若只查不改，用 frozendict（第三方）或自己用 tuple(sorted(items)) 冻结后哈希；若需持久化，直接上 sqlite3 或 duckdb（内存友好，支持 SQL）
- 警惕：频繁 del + insert 可能导致内部哈希表碎片，适时用 dict.copy() 重建
稀疏或高维数据，别硬扛——换专用结构
比如 1 亿行 × 1 万列的矩阵，99% 是 0，用普通二维 list 或 numpy.ndarray 直接 OOM；或者字段极多但每条记录只填几个字段（如用户行为日志）。
- 稀疏矩阵：scipy.sparse.csr_matrix（适合行运算）、csc_matrix（适合列运算）
- 半结构化记录：pandas.SparseArray（单列稀疏）、或用 dict + 公共 schema 描述字段含义（比嵌套 dict 省内存）
- 真超大：跳过内存结构，用 pyarrow.Table 或 dask.dataframe 做延迟计算，数据按块加载
