Reddit · r/LocalLLaMA· /u/Chuyito·· 3 小时前AI 评分31
借助 llama-rpc 把 drafter 卸载到 AMD Strix，Qwen3.8 DFlash2 双 4060 张量并行上下文扩至 195k
The space is moving quick. 2x 4060 Tensor Parallel main weights. RPC offload the drafters to amd strix. Got +2-3GB Vram for context at no perf cost.
AI 导读
通过 llama-rpc 把 DFlash2 draft 模型卸载到 AMD Strix 上，主权重保留在 2 张 4060 张量并行，可在不损失推理速度的前提下将 Qwen3.8 上下文从 150k 扩到 195k。
来源：Reddit · r/LocalLLaMA · reddit.com