跳到正文
热点事件持续更新

用户尝试不解量化将 Tiel-Coder-35B-A3B 在 Vulkan 下推至 30 tps 以上

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 10 日,Reddit r/LocalLLaMA 上一名用户分享了在 AMD RX 6700 XT 12GB、DDR4-3200 内存搭配 R5 5600X 处理器平台上,使用 llama.cpp 的 Vulkan SDK 运行 Tiel-Coder-35B-A3B 的 GGUF Q4_K_XL 量化版本,已经实现稳定 30 tps 的推理速度,并发帖询问在不解量化的前提下能否进一步将速度提升到 40 tps。这是目前关于该事件的最新也是唯一公开报道,内容仅涉及该用户自身的测试环境与目标,社区尚未给出进一步的方法或结论。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月10日
  1. Reddit · r/LocalLLaMA
    如何在 llama.cpp Vulkan 下不解量化把 Tiel-Coder-35B-A3B 推到 30 tps 以上

    用户在 AMD RX 6700 XT 12GB、DDR4-3200 与 R5 5600X 平台上,用 llama.cpp Vulkan SDK 跑 Tiel-Coder-35B-A3B 的 GGUF Q4_K_XL 版本,已稳定达到 30 tps,并在询问不解量化的前提下进一步冲到 40 tps 的方法。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。