Reddit · r/LocalLLaMA· /u/fechyyy·· 2 天前AI 评分31
21M 模型外挂 6.4B 参数查找表：性能追平 114M dense 模型，NVMe SSD 即可承载
I gave a 21M model a 6.4B-parameter lookup table. It matches a 114M dense model and runs with the table on an SSD (RX 9070)
AI 导读
作者在 21M 模型外挂一张 16.8M 行、6.4B 参数的查找表，在 500M Wikipedia token 训练下性能接近同条件下的 114M dense 模型。
来源：Reddit · r/LocalLLaMA · reddit.com