SAO：单样本异步强化学习框架

单样本异步优化（SAO）的新型强化学习框架，旨在解决大型语言模型在处理复杂智能体任务时面临的训练效率与稳定性挑战。传统的GRPO等方法依赖于分组采样，在异步训练环境下容易导致系统空转和严重的越策偏差。SAO通过采用单轨迹采样机制实现了即时训练，并结合双侧特征剪枝策略显著提升了模型在异步更新中的稳定性。此外，研究人员引入了快速价值网络更新与冻结注意力层等技术，进一步增强了价值模型的预测精度。实验结果表明，SAO在数学推理和代码生成等基准测试中全面超越了基准模型，并在模拟在线学习场景中展现出卓越的环境适应能力。