Reddit · r/LocalLLaMA· /u/jacek2023·· 5 小时前AI 评分18
llama.cpp 合并 Flint 模型支持，新增 FlintForCausalLM
models: Add Flint model (FlintForCausalLM) by alexey-rsi · Pull Request #30928 · ggml-org/llama.cpp
AI 导读
ggml-org/llama.cpp 在合并 6h 后加入 Flint 支持，可通过 FlintForCausalLM 使用。Flint 采用 Decoder-only MoE Transformer，总参数 39.8B，每个 token 激活约 2.5B，文档配置上下文长度为 262,144 tokens。
来源：Reddit · r/LocalLLaMA · reddit.com