Reddit · r/LocalLLaMA· /u/AccountAntique9327·· 4 小时前AI 评分43
llama.cpp 分支 AbliteratedOutTheBox 实现推理时 abliteration
Inference time abliteration
AI 导读
AbliteratedOutTheBox 是 llama.cpp 的分支,可在加载模型后实时进行 abliteration,无需微调或额外文件。该方法省去传统 abliteration 的额外流程,并且不需要占用更多 VRAM。
来源:Reddit · r/LocalLLaMA · reddit.com