跳到正文
原文
Reddit · r/LocalLLaMA· /u/nasone32·· 3 小时前AI 评分31

Gyro 量化与 EXL3 的差异及闭源问题分析

Gyro quants looks like EXL3 but kinda closed source. please explain why we need this.

AI 导读

Gyro 正被接入 Strata 等多种推理引擎,但其代码显示它可能只是 EXL3 量化方法的另一种变体,且配方暂未开源。Gyro-S / Gyro-M 采用 QTIP / Trellis-coded quantization,并使用 15 bits Trellis state size 与 128-weight blocks;目前尚无公开证据表明其解码速度或困惑度等指标优于 EXL3。

来源:Reddit · r/LocalLLaMA · reddit.com