跳到正文
原文
Reddit · r/MachineLearning· /u/the-random-guy-2002·· 4 小时前AI 评分10

在 r/MachineLearning 分享自建 8M 参数 LLM 复现论文实验是否合适?

Is it okay to share my experiments implementing research papers on my own LLM here? [P]

AI 导读

一位开发者用 PyTorch 从零构建并训练了约 8M 参数的小型 LLM,作为复现和测试各类研究论文想法的实验平台,目前已训练 60,000 步。下一步计划实现 KV caching,之后是 PagedAttention、Orca 等。他以博客记录实验过程、错误与心得,询问在 r/MachineLearning 分享这些内容是否受欢迎,并强调并非推广。

来源:Reddit · r/MachineLearning · reddit.com