跳到正文
原文
Hacker News · 首页· Maverick617·· 7 天前AI 评分69

Janus:支持 Vulkan 加速的本地 GGUF 模型运行器

Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia

AI 导读

Janus 是一个 Go 编写的本地大语言模型服务器,可通过 Vulkan 在 AMD/Intel/NVIDIA GPU 或 CPU 上运行 GGUF 模型,提供 OpenAI 兼容 API 和内置 Web UI,内置文件读写、命令执行、文档处理、OCR 等工具调用功能,无需 Python、Docker 或 Ollama 即可使用,支持热切换模型和可选认证。

来源:Hacker News · 首页 · github.com