Reddit · r/LocalLLaMA· /u/FieldMouse-AI·· 3 小时前AI 评分40
Slipstream 利用 PCIe x1 并发服务 Qwen3.8:27b、Qwen3.5:9b 与 Qwen3.5:2b 视觉模型
🌋 Pushing PCIe x1 to the limit: lvgale concurrently serving 27B, 9B, and 2B LLMs on a hardware abomination 📈
AI 导读
Slipstream 通过混合厂商 Vulkan 后端与 Flash Attention，在由 AMD 和 NVIDIA GPU 组成的低带宽集群中并发运行 Qwen3.8:27b-vision、Qwen3.5:9b-vision 和 Qwen3.5:2b-vision。
来源：Reddit · r/LocalLLaMA · reddit.com