Cursor 技术博客：Llama-2-70B 推理特性分析

Cursor 分析了 Llama-2-70B 自托管推理的成本和延迟。实验表明，在 prompt 场景下 Llama 比 GPT-3.5 便宜约 3-4 倍（$0.00042 vs $0.0015/1K tokens），但在 completion 场景下成本高达 $0.066/1K tokens，远高于 GPT-3.5。