Reddit · r/LocalLLaMA· /u/jayecin·· 3 小时前AI 评分36
在 16GB RTX 5070 Ti 上跑 Qwen3.8 27B：110k 上下文、约 55 t/s 的本地配置
Made a really good Qwen3.8 27B 16GB setup, no strata/streaming-kv
AI 导读
用户 jayecin 用 llama.cpp 在 16GB RTX 5070 Ti 上跑 Qwen3.8-27B 的 11.8GB 量化权重，实现 110k 上下文、约 55 t/s 生成速度，并留出约 1.5GB 显存余量。
来源：Reddit · r/LocalLLaMA · reddit.com