跳到正文
原文
Reddit · r/LocalLLaMA· /u/IceFog72·· 8 小时前AI 评分32

ik_llama.cpp 更新并征集反馈:RTX 2060 上 Qwen3.6-35B-A3B-UD-Q4_K_M 推理速度对比 Strata

Just update of ik_llama.cpp fork and seek of feedback

AI 导读

ik_llama.cpp 的一次更新在 6GB VRAM RTX 2060 上测试 Qwen3.6-35B-A3B-UD-Q4_K_M,短提示词生成速度约 45–48 t/s,28K context 时约 37 t/s,prefill 约 430–700 t/s。该 fork 尚未尝试合并,作者计划继续清理代码并征集反馈。

来源:Reddit · r/LocalLLaMA · reddit.com