跳到正文

#教程/实践

今日 3 条

一手 · 工具·提示词·论文 三栏速览

每栏 6 / 6 · 直达分类页

工具

6 条
查看全部

提示词

6 条
查看全部

论文

6 条
查看全部
7月23日周二
  1. Replicate Blog65

    如何在 API 上运行 Meta Llama 3.1 405B

    Replicate 平台支持通过 API 调用 Meta Llama 3.1 405B 模型。该模型拥有 4050 亿参数,上下文窗口为 8000 token,支持 8 种语言,在多项基准测试中接近 GPT-4 水平。文章提供了 JavaScript、Python 和 cURL 三种调用方式的代码示例,并介绍了 Purple Llama 安全工具套件。

7月20日周四
  1. Cursor Blog60

    Cursor 技术博客:Llama-2-70B 推理特性分析

    Cursor 分析了 Llama-2-70B 自托管推理的成本和延迟。实验表明,在 prompt 场景下 Llama 比 GPT-3.5 便宜约 3-4 倍($0.00042 vs $0.0015/1K tokens),但在 completion 场景下成本高达 $0.066/1K tokens,远高于 GPT-3.5。

    推荐理由:原文给出了 Llama-2-70B 与 GPT-3.5 在成本和延迟上的详细对比实验数据,读者可据此判断自托管与 API 调用的取舍。