跳到正文
原文
Reddit · r/LocalLLaMA· /u/Barni275·· 2 小时前AI 评分41

Ling-3.0-tiny DFlash 草案在 llama.cpp 主线中的性能测试:文本提速 8%,代码提速 61%

Ling-3.0-tiny-UBTree DFlash draft for stock mainline llama.cpp (+8% prose, +61% code speedup)

AI 导读

一套从 Ling-3.0-tiny UBTree 中提取 DFlash 部分的小型补丁,使 stock mainline llama.cpp 可将其作为 drafter 运行。初步小规模测试显示,散文生成由 78.8 tok/s 升至 84.8 tok/s,Python 代码生成由 79.0 tok/s 升至 127.2 tok/s;模型与转换步骤已发布到 Hugging Face。

来源:Reddit · r/LocalLLaMA · reddit.com