热点事件持续更新
用户尝试不解量化将 Tiel-Coder-35B-A3B 在 Vulkan 下推至 30 tps 以上
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 10 日,Reddit r/LocalLLaMA 上一名用户分享了在 AMD RX 6700 XT 12GB、DDR4-3200 内存搭配 R5 5600X 处理器平台上,使用 llama.cpp 的 Vulkan SDK 运行 Tiel-Coder-35B-A3B 的 GGUF Q4_K_XL 量化版本,已经实现稳定 30 tps 的推理速度,并发帖询问在不解量化的前提下能否进一步将速度提升到 40 tps。这是目前关于该事件的最新也是唯一公开报道,内容仅涉及该用户自身的测试环境与目标,社区尚未给出进一步的方法或结论。
AI 根据报道生成 · 1 小时前更新
最新进展10月10日 20:05
用户已用 Q4_K_XL 量化在 RX 6700 XT 上稳定达到 30 tps,正寻求不解量化冲至 40 tps 的方法。报道时间线
沿着报道,了解事件的不同侧面。
10月10日
- Reddit · r/LocalLLaMA如何在 llama.cpp Vulkan 下不解量化把 Tiel-Coder-35B-A3B 推到 30 tps 以上
用户在 AMD RX 6700 XT 12GB、DDR4-3200 与 R5 5600X 平台上,用 llama.cpp Vulkan SDK 跑 Tiel-Coder-35B-A3B 的 GGUF Q4_K_XL 版本,已稳定达到 30 tps,并在询问不解量化的前提下进一步冲到 40 tps 的方法。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。