Reddit · r/LocalLLaMA· /u/pmttyji·· 4 小时前AI 评分61
研究用冻结 16 MB 词表降低小型语言模型体积
[Paper] Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
AI 导读
研究提出一种 16 MB 的冻结词嵌入表，用 512-bit 编码替代可学习词表，并在相同 2.05B tokens 训练条件下评测小型语言模型。
来源：Reddit · r/LocalLLaMA · reddit.com