Reddit · r/LocalLLaMA· /u/Chromix_·· 4 小时前AI 评分22
开发者将 MacroStory 模型压缩至 24KB,单文件 HTML 实现本地故事生成
A 24KB stand-alone HTML-LLM that can generate consistent stories
AI 导读
用户基于 81KB 的 MacroStory 模型,通过自适应量化和 QAT 将模型压缩到约 20KB,连同 HTML/JS 打包成 24KB 的单文件,浏览器打开后点击"New seed"即可生成不同故事。智能手机上推理速度可达 60 tokens/s 以上。该项目主要面向技术演示,与同等体积的外部依赖方案相比实用性有限。
来源:Reddit · r/LocalLLaMA · reddit.com