跳到正文
原文
Reddit · r/LocalLLaMA· /u/Chromix_·· 4 小时前AI 评分22

开发者将 MacroStory 模型压缩至 24KB,单文件 HTML 实现本地故事生成

A 24KB stand-alone HTML-LLM that can generate consistent stories

AI 导读

用户基于 81KB 的 MacroStory 模型,通过自适应量化和 QAT 将模型压缩到约 20KB,连同 HTML/JS 打包成 24KB 的单文件,浏览器打开后点击"New seed"即可生成不同故事。智能手机上推理速度可达 60 tokens/s 以上。该项目主要面向技术演示,与同等体积的外部依赖方案相比实用性有限。

来源:Reddit · r/LocalLLaMA · reddit.com