波束搜索是一种结构化的搜索设施欧洲杯体育，可以系统地探索解空间，这让它成为在推理时变嫌模子输出的弘大器具。与 PRM 连合使用时，波束搜索可以优化解题中间门径的生成和评估。其责任方式如下:

通过拯救固定数目的 “波束” 或活动旅途 ，迭代生成多个候选解。

第一次迭代时，从温度为 的 LLM 中独处采样出 个中间门径，以普及题解的千般性。咱们还可认为其界说一个罢手表率，举例在遭逢新行 \n 或双新行 \n\n 时阻隔。

使用 PRM 对每个门径进行评分并遴荐得分最高的 个中间门径干涉下一轮生成，这里 暗示下一轮的 “波束宽度”。与拔萃法同样，咱们使用 “最终分” 归约来对每次迭代的部剖判进行评分。

不息向后采样，每个激活旅途再生成 个候选中间门径

类似 (3)、(4) 步，直到遭逢 EOS 词元或超过最大搜索深度。

通过允许 PRM 评估中间门径的正确性，波束搜索可以在过程早期识别并优先辩论有后劲的旅途。这种冉冉评估的方式对数学等复杂推理任务尽头有效，对部剖判进行考证可以显耀改善最终截止。

达成细节

在咱们达成基于过程监督的波束搜索时，咱们遭逢了与 Llama 3 聊天模板干系的问题，如下:

默许情况下，其聊天模板每轮王人会删掉临了的新空行。因此，要是咱们用 \n 或 \n\n 来阻隔一个中间门径，这些词元会在后续门径中丢失，这会导致模子产生奇怪的输出。

聊天模板以 Llama 的 BOS 词元为前缀。当将阵势化后的字符串输入给 vLLM 时，vLLM 还会再加一个 BOS 词元，这会导致恶果变差，尽管大宽敞情况下输出是一致的🤯。

惩办决策是狡饰 Llama 3 聊天模板以堤防其删新行，并幸免类似 BOS 前缀。

在践诺中，咱们遴荐了跟 DeepMind 相通的超参并使用以下树立运转波束搜索:

各筹算预算的波束宽度 分袂 4、16、64、256

固定波束宽度

采样温度

迭代次数最大为 40，即树深最大为 40 步

如下所示，截止十分惊东谈主：在 的推理时预算下，波束搜索的精度与拔萃法在 时的精度相通，即筹算遵守普及了 4 倍！此外，在 时，波束搜索与 Llama 3.1 8B 的性能十分。辩论到筹算机专科的博士生的数学平均收获约为 40%，因此近 55% 的得分对 1B 模子来讲十分可以了 💪！