Reddit · r/MachineLearning· /u/Correct_Positive_108·· 1 天前AI 评分6
独立开发者在 Together AI 上遭遇 RPM/TPM 速率限制,寻找更友好的推理服务商
Looking for developer-friendly inference providers who give you enough API credits to experiment [D]
AI 导读
一名独立开发者在使用 Together AI 运行基于 Llama 3.3 70B 和 Qwen 2.5 的多智能体代码库索引与 benchmark 生成工具时,频繁触发 RPM/TPM 速率限制,导致无法并行运行足够多的请求进行有意义的测试,但模型本身表现正常。由于升级套餐超出个人预算,该用户希望寻找 API 额度更充足的开发者友好型推理服务商。
来源:Reddit · r/MachineLearning · reddit.com