TurboGPT：13 秒训练 22KiB transformer

开源项目 TurboGPT 发布，这是一个极小的字节级 GPT 训练实现，使用 CUDA C++ 编写，MIT 许可证。提供了在 Linux/NixOS 和 Windows 上的构建和运行指令，可在 13 秒内完成 22KiB transformer 的训练。1.5G tokens 训练后达到 2.5295 BPB（bits per byte）。