跳到正文
原文
Hacker News · 首页· brainless·· 5 小时前AI 评分20

LittleBit / LittleBit-2:基于潜在分解的亚 1-bit 大语言模型压缩方案开源

Sub-1-Bit LLM Compression via Latent Factorization

AI 导读

LittleBit / LittleBit-2 提供面向大语言模型的亚 1-bit 量化官方实现,可将权重压缩到 0.1–1.0 bits per weight,且推理时保持原模型架构不变。

来源:Hacker News · 首页 · github.com