Reddit · r/LocalLLaMA· /u/Yaniss916·· 5 天前AI 评分60
开源引擎 Kyojin 发布：在 128GB AMD Strix Halo 迷你 PC 上运行 300B MoE 模型
Two ~300B MoE models, each on ONE 128 GB mini PC (AMD Strix Halo): GLM-5.3-Flash at ~580 tok/s prefill, MiMo-V2.6-Flash up to 44 tok/s decode. EXL3 weights + open ROCm engine
AI 导读
作者在 AMD Strix Halo（128GB）上基于 ExLlamaV3 构建了 Kyojin 引擎，成功运行两个约 300B 的 MoE 模型。
来源：Reddit · r/LocalLLaMA · reddit.com