Reddit · r/LocalLLaMA· /u/woct0rdho·· 5 小时前AI 评分57
llama.cpp 开发者尝试优化 LoRA 推理性能
Fast LoRA in llama.cpp
AI 导读
作者为 llama.cpp 开发通用和融合 LoRA 内核,并在 Strix Halo 上将吞吐速度从约 300 t/s 提升至 1000 和 1400 t/s。该实现目前针对 Strix Halo 优化,作者计划将其提交至 llama.cpp 或 strix-llama.cpp 主线,相关代码与讨论已在 GitHub 公开。
来源:Reddit · r/LocalLLaMA · reddit.com