Reddit · r/LocalLLaMA· /u/DotaMate·· 2 小时前AI 评分46
Meta 让小型 AI 模型改读原始字节，论文预测其后期表现或超越 token 模型
Meta trained small AI models to read raw bytes instead of tokens. They start out worse, but the paper predicts they end up better
AI 导读
Meta 让约 1B 参数的小型模型分别基于 token 和原始字节训练，并通过蒸馏 Llama 3 8B 验证效果。实验初期 token 模型明显领先，但字节模型持续改进且用约 6x 更少文本达到同等水平；论文预测其最终可超过 Llama 3.2 1B 和 Gemma 3 1B 数分，但逐字处理速度较慢，结论尚未经完整训练验证。
来源：Reddit · r/LocalLLaMA · reddit.com