Hugging Face Blog·· 16 天前精选AI 评分66
Hugging Face transformers 现在支持直接运行 llama.cpp 量化模型
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 宣布 transformers 库新增 GGUF 格式支持，用户可通过 from_pretrained 直接加载 GGUF 模型在本地运行。
推荐理由
原文给出了 GGUF 支持的具体能力、加载方式和性能数据，读者可以据此判断它是否能满足自己的本地推理需求。
来源：Hugging Face Blog · huggingface.co