Reddit · r/LocalLLaMA· /u/web3samy·· 4 小时前AI 评分44
开发者展示 jitllm 推理引擎：在回复中跨 GPU 迁移模型层，8 毫秒完成且无需重新预填充
Moving a running model's layers between GPUs mid-reply (8 ms, no re-prefill)
AI 导读
开发者推出自研推理引擎 jitllm，可在模型生成回复时把层在 GPU 之间来回迁移，且无需重新预填充。
来源：Reddit · r/LocalLLaMA · reddit.com