热点事件持续更新
Ternary Bonsai 2 获 ik_llama.cpp 原生 CUDA/CPU 支持
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月31日,Reddit r/LocalLLaMA 报道称,PrismML 的 Ternary Bonsai 2 已在 ik_llama.cpp 中获得完整原生支持,CUDA 与 CPU 均可运行。报道提到,新增脚本可将上游 TQ2_0/TQ1_0 权重无损重打包为 PQ2_0;PR #2691 与 #2747 合并了 PQ2_0 原生 CUDA kernel,支持 -ngl 99 全量卸载,且不出现 token 损坏。目前进展为上述重打包脚本与 CUDA kernel 已合并,CUDA 卸载与 CPU 快速推理均可使用。
AI 根据报道生成 · 2 小时前更新
最新进展10月31日 23:01
PQ2_0 原生 CUDA kernel 合并,Ternary Bonsai 2 支持全量卸载且无 token 损坏。报道时间线
沿着报道,了解事件的不同侧面。
10月31日
- Reddit · r/LocalLLaMATernary Bonsai 2 在 ik_llama.cpp 上实现完整原生支持(CUDA 卸载 + CPU 快速推理)
PrismML 的 Ternary Bonsai 2 现已在 ik_llama.cpp 获得完整原生支持,CUDA 与 CPU 均可运行。新增脚本可将上游 TQ2_0/TQ1_0 权重无损重打包为 PQ2_0,PR #2691 与 #2747 合并了 PQ2_0 原生 CUDA kernel,支持 -ngl 99 全量卸载且不出现 token 损坏。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。