Reddit · r/LocalLLaMA· /u/Any_Bus9205·· 3 小时前AI 评分38
Ternary Bonsai 2 在 ik_llama.cpp 上实现完整原生支持（CUDA 卸载 + CPU 快速推理）
[Guide] Ternary Bonsai 2 is finally 100% working on ik_llama.cpp (Native CUDA offload + Fast CPU -rtr)
AI 导读
PrismML 的 Ternary Bonsai 2 现已在 ik_llama.cpp 获得完整原生支持，CUDA 与 CPU 均可运行。新增脚本可将上游 TQ2_0/TQ1_0 权重无损重打包为 PQ2_0，PR #2691 与 #2747 合并了 PQ2_0 原生 CUDA kernel，支持 -ngl 99 全量卸载且不出现 token 损坏。
来源：Reddit · r/LocalLLaMA · reddit.com