Reddit · r/MachineLearning· /u/Code_MasterCody·· 15 小时前AI 评分22
TKintegers K5 在 NVIDIA L4 上对比 TorchAO FP8：prefill 吞吐 3.21×、decode 3.10×
TKintegers K5: 3.21× prefill and 3.10× decode throughput vs TorchAO FP8 on NVIDIA L4 [R] [P]
AI 导读
TKintegers 作者发布的 K5 平衡三进制权重表示在 NVIDIA L4 上跑出高于 TorchAO FP8 的吞吐：Qwen2.5-0.5B-Instruct 上 prefill 为 3,402.85 tokens/s 对 1,061.58（3.21×），decode 为 26.75 tokens/s 对 8.63（3.10×）。
来源：Reddit · r/MachineLearning · reddit.com