Reddit · r/LocalLLaMA· /u/Professional-Pear351·· 3 小时前AI 评分73
作者在 2×4090 上用 sglang 跑 Qwen3.6-35B-A3B 做 GitLab 代码审查
Running Qwen3.6-35B-A3B on 2x 4090 with sglang for GitLab code review
AI 导读
作者发布了一套开源 GitLab 代码审查 agent，基于 LangGraph.js 构建，使用 QuantTrio AWQ 4-bit 量化的 Qwen3.6-35B-A3B，通过 sglang 部署在两块 PCIe 直连、无 NVLink 的 RTX 4090 上，TP=2。
来源：Reddit · r/LocalLLaMA · reddit.com