训练文本相似度模型的核心是让模型理解语义接近，关键在于高质量表征与数据：选成熟编码器微调（如bert-base-chinese、SimCSE）、构造合理正负样本（含难负例）、用对比学习（InfoNCE）优化，上线前需领域验证、长尾兜底和向量服务化。
训练文本相似度模型的核心不是堆参数，而是让模型真正理解“语义接近”意味着什么。直接用原始文本做余弦相似度几乎无效，关键在表征——把句子映射到一个向量空间里，语义相近的句子向量也靠近。
选对基础模型，别从零训BERT
绝大多数场景下，不建议从头预训练语言模型。更高效的做法是基于成熟编码器做微调：
- 中文优先考虑 bert-base-chinese、RoBERTa-wwm-ext 或轻量级的 SimCSE-bert-base-chinese
- 若需兼顾速度与效果，可尝试 text2vec-large-chinese（开源中文句向量模型）
- 纯英文任务可用 all-MiniLM-L6-v2 或 paraphrase-multilingual-MiniLM-L12-v2（支持多语，中文表现也不错）
这些模型已具备基础语义感知能力，微调只需少量标注数据（几百到几千对），收敛快、效果稳。
构造高质量训练样本，比调参更重要
相似度模型性能上限，很大程度由训练数据质量决定。重点不是数量，而是“判例”的合理性：
立即学习“Python免费学习笔记（深入）”；
- 正样本：不能只用重复句或同义改写。应覆盖同义表达、指代一致（如“苹果公司”↔“这家科技巨头”）、跨句逻辑等价（如“用户投诉延迟发货” ↔ “物流没按时发出”）
- 负样本：避免随机采样。推荐用“难负例”（hard negatives）——语义上易混淆但实际不相关的句子，例如“如何重置微信密码” vs “如何注销微信账号”
- 可用 BM25初筛 + 模型打分排序 自动挖掘难负例，或借助已有知识库（如百度百科摘要对）构建弱监督信号
用对比学习稳定收敛，少依赖全连接头
传统做法是加一个分类头预测“相似/不相似”，但容易过拟合、泛化弱。当前主流是端到端对比学习：
- 采用 SimCSE（无监督）或 ConSERT（有监督）范式，目标是拉近正样本对、推远负样本对
- 损失函数首选 InfoNCE，batch size 建议 ≥ 64（越大越稳），配合温度系数 τ=0.05～0.1
- 避免在最后加复杂MLP头；多数情况下，直接用[CLS]向量或句向量池化（mean pooling）+ L2归一化，再算余弦相似度，效果更鲁棒
上线前必须做的三件事
训练完不等于能用，真实场景会暴露很多隐藏问题：
- 领域适配验证：用业务真实query-pair抽样测试，比如客服场景要测“无法登录”和“登不上去”的得分是否高于阈值
- 长尾case兜底：对低频词、新词、错别字（如“微信”→“威信”），可加简单规则层（编辑距离+关键词匹配）辅助校验
- 向量服务化：生产环境推荐用 FAISS 或 ANNoy 做近邻检索，单次推理控制在10ms内；向量定期更新，避免语义漂移
基本上就这些。不复杂但容易忽略——模型再强，输给了数据质量；架构再新，扛不住线上噪声。聚焦语义本质，小步验证，比追求SOTA指标更实在。
