
transcript
show notes
GameHorizon Suite 是一个专为评估人工智能在AAA级视频游戏中表现而设计的统一数据与评估套件。该系统主要由三部分组成:能够自动生成多层级自然语言指令的 GameHorizon-Annotator、包含由人类专家录制的 5000 小时视频及对齐动作的 GameHorizon-Data,以及结合离线多项选择题和在线逐步测试的 GameHorizon-Bench。通过对 47 个模型进行超过一百万次的调用测试,该研究揭示了不同任务的难度层级和模型能力的显著差异。研究发现,在视觉输入中引入文本指令能够显著提升模型的动作感知和未来行动规划能力。这一框架不仅为跨模态和跨模型评估提供了标准化的标尺,也为未来游戏智能体的发展奠定了基础。