transcript
show notes
SPEED-Bench，这是一个专为投机解码（Speculative Decoding）设计的统一且多样的基准测试套件。该工具包含一个用于评估草稿模型准确性的定性数据集和一个用于在真实服务场景中测量系统加速比的吞吐数据集。通过集成 vLLM、TensorRT-LLM 和 SGLang 等生产级引擎，该框架能够有效解决现有基准测试中任务多样性不足、缺乏吞吐量导向评估以及高层实现无法反映真实生产环境的问题。文章还通过实验展示了不同文本域、输入序列长度（ISL）以及词汇表剪枝对模型性能的影响。
