Reddit · r/LocalLLaMA· /u/nasone32·· 3 小时前AI 评分31
Gyro 量化与 EXL3 的差异及闭源问题分析
Gyro quants looks like EXL3 but kinda closed source. please explain why we need this.
AI 导读
Gyro 正被接入 Strata 等多种推理引擎,但其代码显示它可能只是 EXL3 量化方法的另一种变体,且配方暂未开源。Gyro-S / Gyro-M 采用 QTIP / Trellis-coded quantization,并使用 15 bits Trellis state size 与 128-weight blocks;目前尚无公开证据表明其解码速度或困惑度等指标优于 EXL3。
来源:Reddit · r/LocalLLaMA · reddit.com