Reddit · r/LocalLLaMA· /u/KissMyShinyArse·· 7 天前AI 评分37
Strata 如何配置采样参数
Strata: how to configure sampling parameters
AI 导读
用户可通过在 Strata 配置文件(如 strata-iq3_s.json)中添加 "sampling" 块来设置采样参数,支持 temperature: 1.0、top_p: 0.95、top_k: 20。请求自带的采样字段优先级高于配置文件默认值,完全未配置时默认使用 greedy 解码。该配置说明位于 docs/DETAILS.md。
来源:Reddit · r/LocalLLaMA · reddit.com