Reddit · r/LocalLLaMA· /u/Travnewmatic·· 18 小时前AI 评分22
双 3090 上跑 RedHatAI/Qwen3.8-27B-INT4 比 fp8 快得多
club-3090 / qengine / RedHatAI/Qwen3.8-27B-INT4
AI 导读
用户在 2 张 3090 上对比 RedHatAI/Qwen3.8-27B-INT4 与 Qwen3.8-27B fp8 双卡 vLLM 部署,称 INT4 版本速度明显快于 fp8,也远快于 Qwen3.8-27B 刚发布时他试过的上一个 int4 版本。他此前日常使用双卡 vLLM 跑 fp8,现向社区询问是否有人也测试过该 INT4 预设。
来源:Reddit · r/LocalLLaMA · reddit.com