跳到正文
原文
Reddit · r/LocalLLaMA· /u/dimknaf·· 6 小时前AI 评分20

用 JEV 逻辑实现大语言模型的自适应思考

Jev Based Adaptive Thinking for LLMs

AI 导读

一位开发者尝试用 JEV 逻辑让大语言模型的思考过程自适应:对每个 token 测量熵值,当模型不确定时通过类似 JEV 的门控决定是否触发思考块;除默认的初始思考外,可基于该逻辑生成额外思考块,并在并行推理路径中再用 JEV 逻辑选出最优分支。项目已在 GitHub 开源,主要面向本地多流推理场景。

来源:Reddit · r/LocalLLaMA · reddit.com