Reddit · r/MachineLearning· /u/the-random-guy-2002·· 4 小时前AI 评分10
在 r/MachineLearning 分享自建 8M 参数 LLM 复现论文实验是否合适?
Is it okay to share my experiments implementing research papers on my own LLM here? [P]
AI 导读
一位开发者用 PyTorch 从零构建并训练了约 8M 参数的小型 LLM,作为复现和测试各类研究论文想法的实验平台,目前已训练 60,000 步。下一步计划实现 KV caching,之后是 PagedAttention、Orca 等。他以博客记录实验过程、错误与心得,询问在 r/MachineLearning 分享这些内容是否受欢迎,并强调并非推广。
来源:Reddit · r/MachineLearning · reddit.com