Reddit · r/LocalLLaMA· /u/SignificantZebra5883·· 9 天前AI 评分34
50B+ 总参数 MoE 模型:智能、Agent 速度与可负担微调的权衡探讨
50B+ MoEs with few active parameters, what's the sweet spot for intelligence, agent speed, and affordable fine-tuning?
AI 导读
用户正在构建波兰法律领域通用模型,工作流为工具密集型(问题→顺序工具调用→最终文档),关注 50B+ 总参数、活跃参数较少的 MoE 架构能否在保持低延迟的同时提升推理和工具调用可靠性。已使用 27B Qwen 3.8 dense 模型做法律文档摘要和分类,现寻求该规模/架构的实际配置经验,包括模型选择、量化、GPU 配置、服务引擎、实测延迟及 LoRA 微调可行性。
来源:Reddit · r/LocalLLaMA · reddit.com