Hacker News · 首页· khalidkhair·· 9 小时前AI 评分62
Janas 发布：把超过内存的 LLM 专家从 SSD 流式加载到笔记本
Janas: Run LLMs larger than RAM by streaming experts from SSD
AI 导读
Janas 首个组件 Janas-LLM 用 C 写成，将 MoE 模型的专家权重保留在 NVMe SSD 上、按 token 需求流式加载并把热点保留在内存，使 80B 参数模型可在 32GB 内存笔记本上运行。
来源：Hacker News · 首页 · github.com