Reddit · r/LocalLLaMA· /u/Illustrious-Fig-2280·· 5 小时前AI 评分15
Recursive BitNet N-Gram 102M 模型从零训练发布：64K 上下文、不到 50 亿 tokens、训练成本 100 欧元
I trained a 102M recursive BitNet-v2 model from scratch: 64K context, trained on less than 5B tokens
AI 导读
开发者从零训练并开源了 Recursive BitNet N-Gram 102M 模型，共 1.0228 亿参数，采用六层 transformer 权重共享递归、ternary BitLinear 投影和哈希 n-gram 嵌入，训练预算仅 100 欧元。
来源：Reddit · r/LocalLLaMA · reddit.com