Hacker News · 首页· coffeemug·· 6 小时前AI 评分70
Ubicloud 介绍如何通过 vLLM 约束解码修复工具调用准确率
Fixing Tool-Call Accuracy in vLLM
AI 导读
Ubicloud 通过启用 vLLM 约束解码,将 Kimi K2.6 和 DeepSeek V4 Flash 在 K2VV ToolCall 基准中的工具调用 schema 准确率从 92% 提升至 100%。文章解释了工具调用 schema、XGrammar 结构化生成、vLLM 默认行为变化及跨模型兼容问题,并建议通过 --tool-strict-level 为具体部署启用严格工具调用。
来源:Hacker News · 首页 · ubicloud.com