Edge0：基于预训练路由预测的SSD流式MoE推理系统 3G内存跑通350亿大模型

Edge0 是一项专为消费级硬件设计的流式 MoE（混合专家模型）推理引擎，通过将专家权重存储在 SSD 上并按需加载，成功解决了大模型参数量巨大而本地内存不足的“内存墙”难题。为了消除传统的磁盘加载延迟，该系统创新性地引入了**预测路由（prerouter）**机制，利用浅层网络提前预测下一层的专家路由，从而实现数据读取与计算过程的重叠。同时，系统采用未经合并的 LoRA 适配器来补偿量化和路由替换带来的精度损失，并在训练中结合学生路径学习与强化蒸馏。最终，该框架在保持接近原模型 fp16 精度水平的同时，大幅降低了峰值活跃内存占用，实现了极高的本地推理吞吐性能。