Reddit · r/LocalLLaMA· /u/Brief-Tap-6616·· 2 天前AI 评分46
LlamAmpere v0.6 发布：单张 3090 上 27B 模型 100K token 区间达 112 TPS，支持 400K 上下文
110+ TPS through 100K tokens with 27b on a single 3090, with 400k ctx
AI 导读
LlamAmpere v0.6 发布，在单张 3090 上跑 27B 模型时，100-105K token 区间平均达 112 TPS，TPS 提升约 13%，prompt 处理提升 20%、起始约 1800 TPS。
来源：Reddit · r/LocalLLaMA · reddit.com