IFScale：评估大语言模型多重指令遵循能力的极限 最强AI也扛不住五百条指令

这份名为 IFScale 的研究报告通过一个包含 500 个业务术语关键词的新型基准测试，探讨了大语言模型在高密度指令环境下的执行能力。研究发现，即使是顶尖模型在处理极多指令时，其准确率也会显著下降，并表现出阈值衰减、线性衰减或指数衰减三种不同的性能退化模式。推理模型在保持指令遵循的稳定性方面通常优于通用模型，但在处理任务时往往伴随着更高的延迟和生成连贯性的下降。此外，模型普遍存在首因效应，即更容易执行位于列表前端的指令，且主要的错误类型是从修改错误转向彻底的遗漏错误。该研究揭示了模型在认知负荷下的行为特征，为开发者在实际应用中优化复杂指令的设计提供了重要参考。