跳到正文
热点事件持续更新

Ternary Bonsai 2 获 ik_llama.cpp 原生 CUDA/CPU 支持

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月31日,Reddit r/LocalLLaMA 报道称,PrismML 的 Ternary Bonsai 2 已在 ik_llama.cpp 中获得完整原生支持,CUDA 与 CPU 均可运行。报道提到,新增脚本可将上游 TQ2_0/TQ1_0 权重无损重打包为 PQ2_0;PR #2691 与 #2747 合并了 PQ2_0 原生 CUDA kernel,支持 -ngl 99 全量卸载,且不出现 token 损坏。目前进展为上述重打包脚本与 CUDA kernel 已合并,CUDA 卸载与 CPU 快速推理均可使用。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. Reddit · r/LocalLLaMA
    Ternary Bonsai 2 在 ik_llama.cpp 上实现完整原生支持(CUDA 卸载 + CPU 快速推理)

    PrismML 的 Ternary Bonsai 2 现已在 ik_llama.cpp 获得完整原生支持,CUDA 与 CPU 均可运行。新增脚本可将上游 TQ2_0/TQ1_0 权重无损重打包为 PQ2_0,PR #2691 与 #2747 合并了 PQ2_0 原生 CUDA kernel,支持 -ngl 99 全量卸载且不出现 token 损坏。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。