跳到正文
返回论文列表
cs.CL提交于 已译

Saidzoda-Tajik-LFM-2.6B:将 2.6B 混合模型适配到塔吉克语工具调用,以及持续预训练会带走什么

Saidzoda-Tajik-LFM-2.6B: Adapting a 2.6B Hybrid Model to Tajik Tool Calling, and What Continued Pretraining Takes Away

Tohir Saidzoda · Nekruz Maxudov · Bedil Karimov · Abubakr Abdullozoda · Amin Jalilov · Jonibek Kishvarov · et al.

中文摘要

发布 Saidzoda-Tajik-LFM-2.6B,这是 2.6B 参数混合模型 LFM2.5-2.6B-Base 的塔吉克语适配版本,面向普通硬件上的塔吉克语工具调用。流程分两阶段:先在 1,485,319 篇清洗后的塔吉克语网页文档上做 3 个 epoch 的 LoRA 持续预训练(CPT),再在机器翻译的塔吉克语工具调用、作为回放的英语工具调用与塔吉克语指令的混合数据上做 1 个 epoch 的监督微调(SFT)。在由 BFCL v3 机器翻译成塔吉克语构建的 174 项工具调用测试集上,塔吉克语提示的严格完整调用准确率从基座模型的 20.69 升至 64.14(配对差值 +43.45 点,95% 区间 +35.2 至 +51.7);同时接受基座模型自身调用格式的宽松解析器下,基座为 31.72。英语无可检测变化(76.55 与 77.24)。所有 CPT 检查点得分均为零:CPT 移除了原生工具调用格式,且宽松重评分显示也移除了部分技能本身。工具调用之外,塔吉克语知识基准准确率从 28.0 升至 35.0,Belebele 塔吉克语无显著变化,英语 MMLU 从 60.8 降至 52.5。该模型不是通用塔吉克语助手:无合适工具时几乎从不拒绝(塔吉克语正确率 6.9%,宽松解析器下基座为 31.0%),多轮调用能力弱,调用执行前应检查。数据、训练设置与全部评估均详细描述以可复现。

关键要点

  1. 01问题:2.6B 混合模型 LFM2.5-2.6B-Base 缺乏塔吉克语工具调用能力,需在普通硬件上适配。
  2. 02方法:先对 1,485,319 篇塔吉克语网页做 3 epoch LoRA CPT,再做 1 epoch SFT,混合机器翻译塔吉克语工具调用、英语回放与塔吉克语指令。
  3. 03结果:塔吉克语严格完整调用准确率从 20.69 升至 64.14(+43.45 点),英语无显著变化,英语 MMLU 从 60.8 降至 52.5。
  4. 04局限:所有 CPT 检查点工具调用得分为零,CPT 移除原生调用格式与部分技能;无工具时几乎不拒绝(6.9%),多轮调用弱。

解读

尚无解读。

原始英文摘要

arXiv:2610.41576v1 Announce Type: new Abstract: We release Saidzoda-Tajik-LFM-2.6B, a Tajik adaptation of the 2.6B-parameter hybrid model LFM2.5-2.6B-Base, built for tool calling in Tajik on modest hardware. The recipe has two stages: LoRA continued pretraining (CPT) on 1,485,319 cleaned Tajik web documents for 3 epochs, then one epoch of supervised fine-tuning (SFT) on a mix of machine-translated Tajik tool calls, English tool calls kept as replay, and Tajik instructions. On a 174-item tool-calling test set built from BFCL v3 and machine-translated to Tajik, strict full-call accuracy on Tajik prompts rises from 20.69 for the base model to 64.14 (paired difference +43.45 points, 95% interval +35.2 to +51.7); a lenient parser that also accepts the base model's own call formats puts the base at 31.72. English shows no detectable change (76.55 and 77.24). Every CPT checkpoint scores zero: CPT removes the native tool-call format and, as the lenient re-scoring shows, part of the skill itself. Outside tool calling, accuracy on a Tajik knowledge benchmark rises from 28.0 to 35.0, Belebele Tajik shows no significant change, and English MMLU falls from 60.8 to 52.5. The model is not a general Tajik assistant. It almost never declines when no tool fits (6.9% correct on Tajik, against 31.0% for the base under the lenient parser), it is weak at multi-turn calls, and its calls should be checked before they are executed. We describe the data, the training settings and every evaluation in enough detail to repeat them.

同方向论文 · cs.CL

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

AWS Machine Learning Blog68

Amazon SageMaker AI 推出训练会话 API 与训练 cookbook

Amazon SageMaker AI 推出 training session APIs,允许开发者在本地 Python 流程中编写训练循环,由服务托管 GPU、模型与 LoRA 加载、分布式执行、故障恢复和检查点。

推荐理由:文章拆解了训练会话 API、GRPO 循环和 Code RL 配方,并给出公开示例与 cookbook 入口,便于评估自定义训练循环的实现方式。