Reddit · r/LocalLLaMA· /u/jacek2023·· 17 小时前精选AI 评分88
Mistral 发布 Mistral Large 4：1T 参数 MoE 多模态模型
mistralai/Mistral-Large-4-1T-A52B · Hugging Face
AI 导读
Mistral 发布 Mistral Large 4，这是一个总参数约 1T、每 token 激活约 52B 的原生多模态 MoE 模型，含 128 个路由专家（每 token 激活 4 个）和 1 个共享专家。
推荐理由
Mistral 迄今最大模型采用 1T 总参数、52B 激活的 MoE 架构，并给出 1M 上下文与开源权重许可，可据此判断开源大模型的规模边界。
来源：Reddit · r/LocalLLaMA · reddit.com