跳到正文
原文
Reddit · r/LocalLLaMA· /u/Ok-Breadfruit-3523·· 6 天前AI 评分37

6 块 BC-250 显卡集群运行 Qwen Next Flash IQ2_XS 与 3.6 35b Q4 模型

Update on the “Monstrosity”. 6 BC-250 board cluster

AI 导读

用户将 6 块 ex 挖矿显卡组成集群,4 块运行 Qwen Next Flash IQ2_XS 在 100k 上下文下达 28 tok/s,2 块运行 3.6 35b Q4 模型达 60 tok/s。采用 llama + vulkan 通过 1GbE 网络连接,支持超长上下文。这是用户首次尝试本地 AI 部署。

来源:Reddit · r/LocalLLaMA · reddit.com