只要不到 10 行代码，就能让大模型数学能力（gsm8k）提升 20%！
几名独立学者提出了大模型采样的改进方案，引起了开源社区的关注。
目前该方法已在 Mistral-7B 上取得成效，在 Llama3-70B 上的测试也正在进行。
这种方法叫做最小 p 采样（min-p sampling），目的是平衡生成文本的连贯性和多样性。
简单说就是让模型在不同场合发挥不同的特性，例如在事实问题上保持性能稳定，在写作等场景中又能发挥创意。
目前该方法已在 Mistral-7B 上取得成效，在 Llama-70B 上的测试也即将进行。
在论文中作者提到，该方法已经获得了开源社区的广泛应用。
同时作者还透露，Anthropic 和谷歌等闭源模型厂商也已经或正在针对 min-p 进行测试。
消息也得到了谷歌方面的确认，从 OpenAI 跳槽到谷歌的开发者社区负责人Logan Kilpatrick已经回复说 "On it"（在做了）。
微软 Copilot 的研究人员Abram Jackson看了后表示，这是他看到的首个有关推理过程 token 采样的改进，未来还有很大进步空间。
值得一提的是，这项受到广泛关注的研究，主要作者 Minh Nhat Nguyen 根本没系统学过 CS，而是靠自学成才。
在一家名为 Apart Research 的 AI 安全研究机构帮助下，Minh 和团队其他成员一起完成了该项目。
动态调整抽样阈值
min-p 是一种动态截断抽样方法，其核心是根据每一步 token 分布的最大概率，来缩放最小概率阈值。
这样做的目的，主要在于平衡生成文本的连贯性和多样性，特别是在 temperature 较高的条件下。
具体来说，min-p 引入了一个基础概率阈值p_base，表示进入采样池的最低概率要求。
在每一步生成 token 时，min-p 会将 p_base 与当前概率分布中最大的 token 概率 p_max 相乘，得到一个缩放后的绝对阈值p_scaled。
只有概率大于等于 p_scaled 的 token，才能够进入采样池。
当模型对某个 token 的预测概率非常高（即 p_max 很大）时，p_scaled 的值也会很高，导致采样池大幅缩小，绝大多数低概率 token 被过滤，只留下少数高把握的选择，确保了输出的连贯性；
而当模型对所有 token 的预测概率都比较接近（p_max 较低）时，p_scaled 的值也会相应变低，放宽了对采样池的要求，纳入更多中等概率的 token，给予模型更多发挥空间，生成更加多样化的内容。
在确定采样池后，min-p 会根据 temperature 对 token 概率分布进行缩放。
它将 token 的对数概率除以一个温度参数 τ，并进行归一化后，就得到了 temperature 缩放后的概率分布。
大于 1 的 τ 值会使概率分布更加平缓，增加低概率 token 被选中的机会；
τ 小于 1 时则会使分布更加尖锐，强化高概率 token 的优势。
最后，min-p 从缩放后的采样池中，按照调整后的概率分布，随机抽取下一个 token。
稳定性和创意，" 我全都要 "
min-p 方法的效果究竟如何呢？作者使用了Mistral-7B作为基础模型进行了测试，我们来分场景看一下结果。
在推理任务中，作者采用了 GPQA 数据集。当 temperature 为 1 时，可以看到 min-p 相比于过去的 top-p 显现出了微小的优势。
随着 temperature 增加，GPQA 得分整体上呈现出了下降趋势，但可以观察到 min-p 的下降明显比 top-p 更慢。
直到 temperature 达到 3 时 min-p 的下降趋势才变得明显，此时 top-p 的得分已接近 0。
也就是说，相比于 top-p，min-p在推理任务中更好地保持了所需要的稳定性。
同样需要保持稳定性能的还有数学类任务，这里作者使用了 GSM8K 数据集进行了测试。
结果 min-p 所对应的分数随 temperature 的下降比在 GPQA 中更快，但仍然缓于 top-p 方式。
第三类任务是创意写作，这时对稳定性的要求就不是那么高了，而是需要模型发挥更多的创意。
这项测试使用 AlpacaEval 数据集完成，实验数据是从开源社区的一名独立评估者那里获得的。
实验结果显示，在 temperature=1.5、min-p=0.1 的设置下，min-p 的性能尤其突出，可生成 top-p 方法难以生成的创意写作内容。
在该参数下，min-p 方法得到的文本获得了 58.12% 的人类评判优选率，远高于其他方法在类似设置下的表现。
论文地址：
https://arxiv.org/abs/2407.01082
GitHub：
https://github.com/menhguin/minp_paper/
参考链接：
https://x.com/menhguin/status/1826132708508213629
