跳到正文
原文
Reddit · r/LocalLLaMA· /u/jjusko20·· 6 天前AI 评分24

yandex/AliceAI-80B-A3B 训练更新 #3:修复 NaN 问题后重新训练

Update #3: Post training yandex/AliceAI-80B-A3B [instruct!] from scratch

AI 导读

作者在训练 yandex/AliceAI-80B-A3B 模型时,上一次运行因自定义 v100 kernels 导致的 NaN 问题使得除两层外所有梯度为零,训练失败。现已修复问题并重新开始训练,损失曲线显示正常。计划在版本完成后发布 GGUFs 和 llama.cpp patch。

来源:Reddit · r/LocalLLaMA · reddit.com