Reddit · r/MachineLearning· /u/atronos_kronios·2026-10-18 16:23· 3 小时前AI 评分18

从零实现 GPT-2 KV cache：正确性、延迟与显存实测

GPT-2 KV cache from scratch: correctness, latency, and memory measurements [P]

AI 导读

作者在 PyTorch 中从零实现 GPT-2 small（124M）并加入 KV cache，在 NVIDIA A40、fp32、batch size 1、greedy decoding 条件下做正确性、延迟与显存对比。