跳到正文
原文
Reddit · r/LocalLLaMA· /u/bottlestreet3d·· 4 小时前AI 评分38

开发者为 ROCm 移植 adaptive KV 流式方案,单卡 16GB RX 9070 XT 运行 Qwen3-27B 全 262k 上下文

Qwen 27B (IQ4_XS, Q8/Q4 KV) at full 262k context on a 16GB RX 9070 XT: 80+ t/s decode with Adaptive KV Streaming

AI 导读

开发者将 llama.cpp 的 adaptive KV 流式功能与 RDNA 4 / ROCm 优化移植到 ROCm,使 Qwen3-27B(IQ4_XS 权重。

来源:Reddit · r/LocalLLaMA · reddit.com