Reddit · r/LocalLLaMA· /u/IceFog72·· 8 小时前AI 评分32
ik_llama.cpp 更新并征集反馈:RTX 2060 上 Qwen3.6-35B-A3B-UD-Q4_K_M 推理速度对比 Strata
Just update of ik_llama.cpp fork and seek of feedback
AI 导读
ik_llama.cpp 的一次更新在 6GB VRAM RTX 2060 上测试 Qwen3.6-35B-A3B-UD-Q4_K_M,短提示词生成速度约 45–48 t/s,28K context 时约 37 t/s,prefill 约 430–700 t/s。该 fork 尚未尝试合并,作者计划继续清理代码并征集反馈。
来源:Reddit · r/LocalLLaMA · reddit.com