跳到正文
原文
Reddit · r/MachineLearning· /u/Gokbagbasi·· 4 小时前AI 评分10

估算假设性 GPT-6 级别模型的理论参数量上限

Estimating the Theoretical Parameter Capacity of a Hypothetical GPT-6-Class Model [D]

AI 导读

基于 800,000 块 H100 等效 GPU、其中 10–30% 分配给推理、单用户 66 tokens/s 的假设性算力场景,得出 FP8 权重存储的内存上限约为 19.2T 参数,但这只是扣除 KV cache、运行时开销与通信缓冲前的理论粗略上界,并非对 GPT-6 Astra 真实规模的预测。要给出可信的吞吐估计,还需补充架构与实测 serving 效率等假设。

来源:Reddit · r/MachineLearning · reddit.com