UC Berkeley：VIMPO 基于价值隐含策略优化的LLM强化学习 让AI精准揪出逻辑错误

VIMPO，这是一种针对大语言模型强化的隐式价值策略优化方法。传统的强化学习方法往往在训练简便性与信用分配的精准度之间难以兼得，而 VIMPO 通过 KL 正则化下的最优性条件，直接从策略模型中导出价值函数。该方法消除了训练额外评论家网络（Critic）的必要，利用策略与参考模型之间的对数比率实现了词元级（token-level）的信用分配。实验结果显示，VIMPO 在多项数学推理基准测试中表现优于 GRPO，尤其在面对噪声奖励时展现出更强的稳健性。通过这种方式，VIMPO 成功结合了无评论家训练的简便性与演员-评论家方法的高效监督性能。