Reddit · r/LocalLLaMA· /u/ButtercupLyn100·· 1 天前AI 评分58
OpenBonsai 开源 BF16 模型三值量化框架,Qwen3.5-9B 压至 1.997 GB
I open-sourced OpenBonsai: compress your own BF16 models and fine-tunes into ~2 GB ternary GGUFs
AI 导读
作者开源了 Apache-2.0 框架 OpenBonsai,可将自有的 BF16 模型和微调版本压缩成约 2 GB 的三值 GGUF,兼容 Prism 的 PTQ1_0 格式。
来源:Reddit · r/LocalLLaMA · reddit.com