cosine_similarity对超长文本报错或不准，因其只处理向量；超长文本直接向量化易致内存爆炸、维度失控或语义失真；应先分句、用sentence-transformers编码、再均值池化并归一化后计算相似度。
为什么 cosine_similarity 对超长文本直接报错或结果不准
因为 cosine_similarity（来自 sklearn.metrics.pairwise）本身不处理文本，它只吃向量；而超长文本若硬塞进 TfidfVectorizer 或 CountVectorizer，会触发内存爆炸、稀疏矩阵维度失控，或者因截断/哈希冲突导致语义失真。
- 常见错误现象：
MemoryError、ValueError: array is too big、相似度值全接近 0 或 1 - 根本原因不是函数错了，是向量化这步没控住规模：比如 10 万字文档被转成百万维稀疏向量，再求余弦，既慢又偏
- 真正可用的路径是「降维 + 局部敏感」：先用句粒度切分，再用预训练句向量（如
sentence-transformers）编码，最后批量算cosine_similarity
怎么用 all-MiniLM-L6-v2 安全计算超长文本相似度
这个模型在 512 token 限制下仍能较好捕获句级语义，且推理快、显存友好，比 BERT 全量微调更适配长文本场景。
- 不要把整篇超长文本一股脑喂给模型——会截断前 512 token，后半段信息彻底丢失
- 正确做法：用
spacy或nltk按句切分，过滤掉空句和过短句（如len(sentence) ），再对每句单独 encode - 得到句向量矩阵后，用
np.mean(..., axis=0)得文档级向量（比max更稳，抗噪声） - 示例关键行：
from sentence_transformers import SentenceTransformer<br>model = SentenceTransformer('all-MiniLM-L6-v2')<br>sentences = [s.strip() for s in doc.split('。') if len(s.strip()) > 10]<br>embeddings = model.encode(sentences)<br>doc_vec = np.mean(embeddings, axis=0)
cosine_similarity 的输入形状和 dtype 容易踩的坑
它要求输入是二维数组，且必须是 float 类型；很多用户传了 list of list 或 int 型向量，结果返回全 1 或报 ValueError: Expected 2D array。
- 错误写法：
cosine_similarity([vec_a], [vec_b])—— 这里外层是 list，不是np.ndarray - 正确写法：
cosine_similarity(np.array([vec_a]), np.array([vec_b]))，注意双层中括号：第一维是样本数，第二维是特征维 - 如果传的是单个向量对，务必包成 shape=(1, d) 和 (1, d)，不能是 (d,) 或 (d, 1)
- dtype 必须是
float32或float64；从model.encode()出来的默认是float32，但手动拼的向量常是int64，记得加.astype(np.float32)
超长文本相似度结果不稳定？检查是否漏了归一化
cosine_similarity 内部其实做了 L2 归一化，但前提是输入向量没被意外缩放或混入零向量——而长文本切句后，常有停用句、标点句、编码失败句，它们产出的向量接近零，拉低整体均值向量质量。
立即学习“Python免费学习笔记（深入）”；
- 排查方法：打印
np.linalg.norm(doc_vec)，如果不是接近 1.0，说明归一化前就有问题 - 安全做法：在
np.mean(...)后显式做一次归一化：doc_vec /= np.linalg.norm(doc_vec) or 1e-8 - 更鲁棒的做法是剔除低质量句向量：计算每句向量的模长，过滤掉
norm 的（大概率是空句或乱码） - 别依赖模型自动归一——
sentence-transformers的 encode 默认不开归一化，得自己加normalize_embeddings=True参数
cosine_similarity 本身，而在句切分是否合理、哪些句该扔、向量要不要裁维。这些细节没控住，再准的余弦公式也救不回语义漂移。 
