Skip to content
Artwork for 每日AI
每日AI · Monday · 23 min

ZGCM-1:极简高效的数学与智能搜索模型 7B小模型跨级碾压GPT4o

中关村学院和中关村人工智能研究院开发的 ZGCM-1,这是一个完全开源且极其高效的 7B 参数数学与智能体搜索基座模型。该模型核心理念是结合深入的内部思考与主动的外部工具调用,以突破小参数模型在知识储备上的局限。技术上,它采用了由门控滑动窗口与全局注意力构成的混合架构,并结合 FP8 混合精度训练和 Muon 优化器,实现了约 4.2 倍的训练效率提升。研究团队还构建了AI 原生研发流程,利用智能体集群自主管理数据和集群运维,并实现了从 16K 到 256K 的超长上下文扩展。测试结果显示,ZGCM-1 在多项数学推理和智能体搜索基准测试中表现卓越,性能足以比肩规模大其数十倍的闭源顶尖模型。为了促进学术研究,该项目全面开源了模型权重、训练代码、数据配方以及实验日志。

0:00-23:46

transcript

No transcript — this publisher did not publish one.

show notes

中关村学院和中关村人工智能研究院开发的 ZGCM-1,这是一个完全开源且极其高效的 7B 参数数学与智能体搜索基座模型。该模型核心理念是结合深入的内部思考与主动的外部工具调用,以突破小参数模型在知识储备上的局限。技术上,它采用了由门控滑动窗口与全局注意力构成的混合架构,并结合 FP8 混合精度训练和 Muon 优化器,实现了约 4.2 倍的训练效率提升。研究团队还构建了AI 原生研发流程,利用智能体集群自主管理数据和集群运维,并实现了从 16K 到 256K 的超长上下文扩展。测试结果显示,ZGCM-1 在多项数学推理和智能体搜索基准测试中表现卓越,性能足以比肩规模大其数十倍的闭源顶尖模型。为了促进学术研究,该项目全面开源了模型权重、训练代码、数据配方以及实验日志。