P2P网络中的分布式大模型推理方案 像BT一样跑大模型

点对点网络的大语言模型（LLM）分布式推理方案，旨在通过去中心化路由优化前缀缓存效率。每个节点利用基数树维护自身的缓存状态，并依靠异步反熵机制与同行交换轻量级的元数据，以实现全局缓存感知的任务分配。这种设计规避了传统中心化调度器的瓶颈，且无需在网络中传输庞大的KV缓存张量。研究指出，即使在元数据弱一致性的情况下，系统仍能保证生成的正确性，因为过时的信息只会导致缓存失效而非错误输出。实验证明，该方案在偏斜负载和低延迟网络环境中能显著提升推理速度，但也可能引发特定的节点负载不均问题。