#开源生态
跨栏目找相关项:同一话题的工具、提示词、论文,可能横跨数天甚至数月才凑齐。
#开源生态
今日 5 条工具·提示词·论文 三栏速览
每栏 6 / 6 · 直达分类页提示词
6 条当用户的某个意图(如last_intent)尚未处理完成时,自动提示用户并继续处理该业务。
写作cloud.baidu.com为电商平台机器人客服提供开场白、常见问题回复和结束语的话术模板参考。
写作insight.xiaoduoai.com智能客服机器人与访客互动的对话模板(欢迎新访客、欢迎回头客、显示常见问题等)。
写作zhuanlan.zhihu.com服装加工合同模板,含甲乙双方信息及加工委托条款
写作xiaobaogong.com用于合同审查场景,让大模型扮演特定行业、特定立场的合同审查专家,平衡利益与风险。
研究blog.csdn.net帮助分析患者症状,提供可能的诊断方向和建议,适用于初步诊断筛查。
研究cgwgpts.com
论文
6 条Reddit · r/LocalLLaMAAI 评分1616 爱尔兰社区大学 AI 实验室征求意见:应该教学生什么实用技能?
爱尔兰一所公共继续教育学院获 funding 建立小型 AI 实验室,硬件配置良好,旨在让学生掌握超越单纯使用 ChatGPT 的实用 AI 技能。发帖者向业界人士征集课程设计建议。
Reddit · r/LocalLLaMAAI 评分6464 开发者开源专注二战信息的小语言模型 Peacebell
作者在过去 11 个月里从零构建了一个专注于二战信息的领域专用小语言模型,提供 291M 和 148M 参数两个版本,使用自定义训练流程和基于维基百科的合成数据。模型已开源,可在 HuggingFace Spaces 体验 demo,并配有专用的二战主题基准测试。下一版本预计 2027 年发布。
Reddit · r/LocalLLaMAAI 评分5555 本地 Qwen3.8 三版本对比:3 周测试揭示推理优化与能力差异
作者花费3周在 RTX PRO 6000 上测试了 Qwen3.8 的三个版本:RadixArk 27B NVFP4、orcarouter 27B Uncensored NVFP4 和 RadixArk Flash-Next NVFP4。
Hacker News · 首页AI 评分6969 Redis 创建者发布 ds4 本地推理引擎,支持 DeepSeek V4、GLM 5.x、Qwen3.8
Redis 创建者推出 ds4 本地前沿模型推理引擎,基于 C 语言开发,支持 DeepSeek V4/V4.1 Flash、GLM 5.x 和 Qwen3.8 Flash Next,采用非对称 2-bit 量化技术将 2840 亿参数的 MoE 模型压缩至 128GB 内存设备可运行,提供 CLI、HTTP API 和原生智能体三种接口。已开源并提供下载脚本。
Hacker News · 首页AI 评分4545 Meta 开源硬件项目 Muse Gadgets
Muse Gadgets 是 Meta 推出的开源 DIY 硬件平台,用户可使用 ESP32 或 Raspberry Pi 搭配官方 SDK 构建自定义设备。项目代码基于 Apache 2.0 许可证开源,首批支持设备包括 Raspberry Pi 5、1.75 英寸 AMOLED 触屏开发板 Waveshare ESP32-S3-Touch-AMOLED-1.75C 等。
Hacker News · 首页AI 评分2525 GrapheneOS 修复 Android 17 QPR1 内核性能回归问题
GrapheneOS 宣布已修复 Android 17 QPR1 版本中的内核性能回归问题。该修复针对此前版本中出现的性能下降,目前用户可通过系统更新获取补丁。(暂无正文内容可供验证更多细节)
Reddit · r/artificialAI 评分3131 AI 安全报告如何影响 Apache Spark 开源软件发布
前沿AI实验室坚持90天安全漏洞披露时间线,导致Apache Spark 3.5.9、4.0.4和4.1.3版本发布期间安全报告数量激增。大量安全报告(多数无效)与固定披露期限产生冲突,迫使项目在补丁未就绪时提前披露或内置已知安全漏洞之间做出抉择。
Reddit · r/artificialAI 评分2626 批评AI领域的"轮子再造":停止将重复包装宣传为革命性工具
作者批评当前AI领域普遍存在的重复包装现象,指出许多人只是在现有开源模型或API上简单套个UI就当作新产品发布,甚至试图通过Patreon或订阅收费。作者认为真正的AI工具价值在于抽象复杂性、简化工作流程或解决实际问题,而非简单包装现有技术。
Reddit · r/LocalLLaMAAI 评分2424 自托管AI不省钱,但我仍坚持这样做
作为自托管爱好者,我明知运行本地AI模型的成本高于云端API(如$200/月的Opus 5.5或Astra),仍然选择自托管。主要原因是隐私考量——我永远不会将200GB的邮件、消息和位置历史发送到任何外部API,无论其数据保留政策如何。
Reddit · r/LocalLLaMAAI 评分2828 开源大语言模型指令模式性能引争议:新模型下降更严重,3.6 多个 coding benchmarks 领先 3.8
近期测试表明,新一代开源大语言模型在非思考/指令模式下的性能下降幅度大于旧模型,例如 3.6 版本在多个 coding benchmarks 的指令模式中超越了 3.8 版本。许多用户仍需无需长推理的指令模型,呼吁开源实验室继续优化这一方向。
Reddit · r/LocalLLaMAAI 评分1212 Qwen3.8-Flash(IQ3_XXS 量化)vs Qwen3.8-27B(Q8 量化)哪个更好?
Reddit 用户在 IQ3_XXS 量化版 Qwen3.8-Flash 与 Q8 量化版 Qwen3.8-27B 之间犹豫,询问有实际使用经验的人哪款智能表现更好。该用户表示近期没有复杂任务需要处理,难以自行判断两者在 intelligence 方面的实际差距。
Reddit · r/LocalLLaMAAI 评分6363 Qwen3.8-27B-Humanlike-Chat 2.0 发布:像人一样聊天,新增工具调用功能
作者发布了 Qwen3.8-27B-Humanlike-Chat 2.0,解决了一代「只能说几句话」「不会用工具」的问题。新版本支持工具调用,能在缺少信息时主动询问而不是编造;可以切换正式邮件、编号步骤等格式,也支持角色扮演。
Reddit · r/LocalLLaMAAI 评分7373 用户分享 Qwen3.8-27b 量化模型:24GB 显卡实测 36-41 tokens/s
用户使用 LexiPanel 将 Qwen3.8-27b 量化并 abliterate 到 24GB 显卡,支持约 262k 上下文和 MTP draft。在 RX 7900 XTX 上实测 110k-170k tokens 上下文时解码速度 36-41 tokens/s,MTP draft 接受率中位数 85%。
Reddit · r/LocalLLaMAAI 评分4141 CalDec v1 发布:完全开源的个人助手决策模型
个人开发者发布 CalDec v1,一款完全开源权重的决策模型,专注于本地化、隐私保护的个人助手场景。该模型通过小规模数据集微调开发,尽管作者无专业 ML 背景,但实验结果超出预期,已在特定任务中证明可用性。模型、数据集和训练配方均已开源发布。
Reddit · r/LocalLLaMAAI 评分5757 我在两张华为 Ascend 96GB 卡上运行 Qwen3.8-flash-next 的技术笔记
作者使用两张华为 Atlas 300I Duo 卡(共4个 Ascend 310P3 设备,192GB 显存)运行 Qwen3.8 Flash-Next,通过优化 vLLM Ascend。
Reddit · r/LocalLLaMAAI 评分3333 llama.cpp 服务器新增 /v1/systemone API 支持多模型
llama.cpp 在 Pull Request #29818 中新增 /v1/systemone API 端点。该 API 支持 laya、julia-1、lev、openjev、kev 等多个模型。目前该 PR 已提交,正在等待审核。
Reddit · r/LocalLLaMAAI 评分2424 Reddit 用户寻求 Qwen/Deepseek 的本地替代模型:编程与长文档问答
因工作场所限制无法使用 Qwen/Deepseek 等中国模型,Reddit 用户在 r/LocalLLaMA 寻求 40B 参数以下的本地大模型替代方案,重点关注编程能力和 120k tokens 长医学文档问答能力。候选模型包括 Gemma 31B、Muse Glimmer 30B 和 Nemotron,并询问这些模型的微调版本是否能超越 Qwen3.8 27B 的编程性能。
Product Hunt · AI 分类AI 评分5656 Cloudflare 发布 Clef 和 Clef-flash 开源决策模型,托管于 Workers AI
Cloudflare 发布 Clef 和 Clef-flash 两款开源决策模型,托管于 Workers AI,支持高速分类和智能体工作流。同日推出新的强化学习平台,允许开发者使用自己的数据微调决策模型。
Product Hunt · AI 分类精选AI 评分6060 Codync 发布:一款开源免费的本地 AI Agent 运行工具
Codync 是一个开源免费的 AI 工具,可让用户在本地电脑上运行 Claude Code、Codex、Cursor 或 40 多个 AI agent 作为命名机器人,并通过 iPhone、Mac、Linux 或终端进行远程回复和审批。采用 MIT 许可证,支持端到端加密。
推荐理由:原文给出了核心能力(开源免费、多 agent 支持、远程控制),读者可以据此判断它作为本地 AI agent 管理工具的使用方式和迁移成本。
Product Hunt · AI 分类AI 评分4949 Lloyal:内置推理的 TypeScript AI 应用框架
Lloyal 是一款 TypeScript AI 应用框架,内置推理引擎和多智能体运行时,支持智能体研究、读取本地文件、理解文档和组合专业模型。该框架可在离线环境下工作,用户无需 API 密钥或复杂配置即可使用,可快速定制部署至桌面、Web 或终端平台。
Product Hunt · AI 分类AI 评分4747 CodeAF:为开源模型打造的前沿级编程工具架
CodeAF 是一款专为开源模型设计的编程工具架,旨在最大化每美元的回报。提供前沿级编程能力,成本仅为闭源方案的小部分。其创新工作模式支持在单窗口中管理多个项目,开发者可随时查看各项目进展,仅在需要判断时介入。
Reddit · r/ChatGPTAI 评分4646 如何让 Claude Code 和 Codex 订阅协同工作
开发者创建了一个开源工具,使 Claude Code 和 Codex 两个 AI 编程工具能够协同工作。该方案利用订阅制而非 API 付费,输出质量接近更高级别模型,目前开源且有维护者更新。
Hacker News · 首页AI 评分7272 DeepSeek 发布 Harness 桌面应用,支持 macOS 和 Windows
DeepSeek 发布开源 harness 工具 DeepSeek Harness,现已在全球公开预览。该工具基于 Cordis 的“一切皆插件”架构,可作为桌面应用运行或从代码启动 Web UI,支持日常任务处理、编码和研究工作,并提供插件扩展功能。用户可通过 npx @deepseek-ai/dsh web 快速启动,或从 GitHub 克隆源码安装。
Reddit · r/LocalLLaMAAI 评分1515 美国为何在开源大语言模型市场落后于中国?
Reddit 用户讨论美国在开源大语言模型市场明显落后于中国的现象,列出了 DeepSeek、Kimi、GLM、MiniMax 等中国大语言模型。评论认为美国过于重视股东价值,将商业利润置于技术发展之上,作者对此表达担忧。
Latent SpaceAI 评分2626 专访 MIT Alex Zhang:RLM 与 GPU Mode 的探索之路
MIT 博士 Alex Zhang 探讨递归语言模型(RLM)与 GPU Mode 研究,提出 harness 设计可改进跨任务组合泛化能力。访谈涉及 OpenAI 10000 智能体实验、Kimi 与 OpenAI 多智能体系统对比、capability overhang 以及 Neuralese 等前沿议题。
Reddit · r/ChatGPTAI 评分6565 开源项目 OpenDots 发布:可在本地运行的持续型 AI 智能体
开发者发布开源项目 OpenDots,作为 OpenAI Dots 的本地运行替代方案。该智能体可连接 GitHub 等事件源,持续追踪目标并自主提出工作建议,用户审批后才执行。支持 Claude Code、Codex CLI、Ollama 等模型,采用 MIT 许可。
Reddit · r/LocalLLaMAAI 评分1919 游戏反编译/重编译用什么本地AI模型好?Qwen 3.8 27B 能否胜任
本地大模型可用于游戏反编译和重编译任务,目前主要依赖 Claude 和 Codex 云端方案。Qwen 3.8 27B Abliterated 理论上可在消费级硬件(RTX 3060 12GB VRAM + 24GB RAM)上运行,该用户已能流畅加载 MoE 和 Qwen 3.8 27B IQ3_XXS dense 模型。
Reddit · r/LocalLLaMA精选AI 评分8181 Slipstream 发布:可在 64GB Mac 上以 41-52 tok/s 运行 95.5 GiB Qwen3.8-Flash-Next
开发者发布 Slipstream 引擎,可在 64GB Mac 上以 41-52 tok/s 运行 95.5 GiB Qwen3.8-Flash-Next 模型,比 llama.cpp 快 1.76 倍。
推荐理由:原文给出了新推理引擎的具体性能数据、架构设计和与 llama.cpp 的对比,读者可以据此判断它在本地运行大模型场景下的实际价值。
Hacker News · 首页AI 评分6969 Janus:支持 Vulkan 加速的本地 GGUF 模型运行器
Janus 是一个 Go 编写的本地大语言模型服务器,可通过 Vulkan 在 AMD/Intel/NVIDIA GPU 或 CPU 上运行 GGUF 模型,提供 OpenAI 兼容 API 和内置 Web UI,内置文件读写、命令执行、文档处理、OCR 等工具调用功能,无需 Python、Docker 或 Ollama 即可使用,支持热切换模型和可选认证。
Hacker News · 首页AI 评分3737 生成式 AI 如何摧毁 Web 开发教育生态
多位知名 Web 开发教育者披露 AI 导致收入锐减:JavaScript/TypeScript 作者 Axel Rauschmayer 书籍收入从 2024 年可维生降至 2026 年归零;课程创作者 Josh W. Comeau 收入下降超 50%;YouTuber Kyle Cook 编程教程收入减少近半。AI 爬虫大量抓取免费内容却无广告收益,内容创作者被迫下线和转型。
Reddit · r/LocalLLaMAAI 评分4444 K2 Horizon 模型与 IFM 团队 AMA 问答预告
IFM(Institute of Foundation Models)发布 K2 Horizon 模型组,包含 6 个完全开源模型,参数规模覆盖 0.9B 至 375B。除模型权重外,团队还开源了训练数据、训练代码、中间检查点、训练日志和评估结果。AMA 活动将于 10 月 5 日周一举行,话题涵盖预训练、后训练、设备端小模型、MoVA 与稀疏注意力、部署策略等。
Hacker News · 首页AI 评分2525 Bez:从规范和测试生成浏览器引擎
Bez 是一个通过模型从 Web 规范和测试生成浏览器引擎的项目,候选代码由模型生成后与 Chromium、Firefox、WebKit 三个浏览器进行一致性验证。当前已生成约 0.6% 的引擎代码(CSS 规则 2.5%),验证了用机器生成替代人工维护浏览器引擎的可行性。研究发现三个浏览器在 94.8% 的 WPT 测试上达成一致。
Hacker News · 最佳AI 评分5858 开源开发者发布 OpenDLSS:NVIDIA DLSS 5 的 Vulkan 重新实现
开源项目 OpenDLSS 实现了 NVIDIA DLSS 5 神经渲染网络的 Vulkan 版本,与原版达到位精确匹配。该项目复现了 DLSS-NR build 310.8.0 的 71 层 Swin/ViT 网络,包含全部 75 个模块边界的字节级对齐,并提供 WebGPU 浏览器端口。
Reddit · r/LocalLLaMAAI 评分4343 Yandex AliceAI-80B-A3B 指令微调版本训练进展更新 #2
作者对 Yandex AliceAI-80B-A3B 基础模型进行指令微调,使用合成蒸馏数据集训练约 48 小时,平均损失稳步下降。计划发布 gguf quants 版本和 llama.cpp 本地运行补丁,并将开源蒸馏引擎 SFTMill,后续继续用强化学习扩展训练。
TechCrunch · AIAI 评分6868 AWS 发布开源决策模型 Strands Decider 2B
AWS 基于千问(Qwen3.5-2B)发布了开源决策模型 Strands Decider 2B,可本地运行、主打低成本低延迟。该模型原型由工程师 Marc Brooker 在看到 TypeSafe 的 Jev 后开发,曾在 Jevbench 同规模模型中排名第一,后被 AWS 收编为 Strands Labs 产品。
Reddit · r/LocalLLaMAAI 评分5252 FreeToken vs llama.cpp 在 RTX 3090 上的基准对比
在 RTX 3090 上对 1024 tokens in / 256 out、1-32 并发进行基准测试:当模型 fit VRAM 时(Gemma-4-26B-A4B)。
Reddit · r/LocalLLaMAAI 评分2222 Qwen3.8-27B 多模型评测对比:Swift1.5、Peculiar-Ragdoll、ThinkingCap、unsloth、Signal
在 69 个 eval questions 上对多个 Qwen3.8-27B 微调版本进行统一 medium reasoning effort 评测,unsloth-ud_q4_k_xl 达到 69/69 满分。
Reddit · r/LocalLLaMAAI 评分4646 Pi 扩展:用本地 Qwen 27B 跳过推理并立即回答
pi-llama-skip-reasoning 扩展发布,强制本地 llama.cpp 模型跳过推理阶段直接给出答案。使用 /skip-reasoning 命令或 Alt+T 快捷键即可触发,适用于 Qwen 27B 等本地模型,通过 llama.cpp 原生机制实现快速响应。安装命令为 pi install npm:pi-llama-skip-reasoning。
Reddit · r/LocalLLaMA精选AI 评分8080 Jeff-Qwen3.5-0.8B v1.2 + 9 个 LoRA 适配器:置于 Qwen3.8-27B 前实现 38 倍加速和 +8.7 准确率,额外内存占用不足 2GB
作者发布 Jeff-Qwen3.5-0.8B,这是一款小型“System 1”模型,可在一轮前向传播中从给定选项中做出选择并返回校准概率。作者为其训练了 9 个 LoRA 适配器,分别处理 prompt 注入检测、工具选择、票据优先级排序、答案溯源等常见决策任务。
推荐理由:原文给出了具体的性能对比数据和开源资源,读者可以据此判断这种“小模型+LoRA适配器前置”的架构是否适合自己本地部署的场景。
Reddit · r/LocalLLaMAAI 评分5555 在 286 Tandy 1000 上运行完整 AI 对话和图像生成
作者在一台 1986 年的 Intel 286 Tandy 1000 TL/3 上运行 DeskMind DOS 程序,通过 PicoMEM 2 WiFi 卡连接本地 PC 上的 Python 服务器,服务器调用 Qwen3.8-27B 进行对话并用 Krea 2(ComfyUI)生成图像。