跳到正文
原文
Reddit · r/LocalLLaMA· /u/Old_Ad_6033·· 5 小时前AI 评分38

Qwen3.8 27B 循环测试:INT4 AWQ 与 INT8 对比

Qwen3.8 27b loop testing int4 awq vs int8

AI 导读

用户对比 Qwen3.8 27B 在 vLLM 下 INT8(4×3090)与 AWQ INT4(2×3090)约两周的智能体负载日志,INT4 每千次调用循环数从 1.9 升至 4.7,任务成功率从 92% 降至 78%。

来源:Reddit · r/LocalLLaMA · reddit.com