AGENTIF：真实智能体场景下的大模型指令遵循基准测试

AGENTIF 是一个专门用于评估大语言模型在智能体（Agent）场景下指令遵循能力的全新基准测试。该研究指出，现有的测试集通常指令较短且为人工合成，而真实的智能体任务往往包含超长篇幅、复杂约束以及具体的工具调用规范。为此，研究团队从 50 个真实应用中提取并标注了 707 条高质量指令，涵盖了条件触发、格式化约束及元约束等多种维度。实验结果显示，即便是目前顶尖的模型在处理这些长篇且高复杂度的指令时也表现不佳，工具使用和逻辑判定依然是主要的性能瓶颈。该基准测试通过引入混合验证机制，为开发者进一步优化智能体在复杂现实环境中的可靠性提供了关键的评估工具。