跳到正文
原文
Reddit · r/LocalLLaMA· /u/Vxtzq1·· 3 小时前AI 评分31

CrowdGPT v2.6 发布:协作训练的 10 亿参数大模型

CrowdGPT v2.6 - The collaborative LLM

AI 导读

CrowdGPT v2.6 发布,这个协作式 LLM 项目目标是不依赖数据中心、以众包方式训练 10 亿参数模型。新版加入客户端间拜占庭交叉校验(3 个客户端训练同一份数据),恶意客户端每轮最多只能混入 2-3% 恶意数据,此前为 100%;6 天内用 4.5B 新 token 完成训练。同时发布开源协作基准 CrowdBench。

来源:Reddit · r/LocalLLaMA · reddit.com