#部署/工程
跨栏目找相关项:同一话题的工具、提示词、论文,可能横跨数天甚至数月才凑齐。
#部署/工程
今日 1 条编程 · 工具·提示词·论文 三栏速览
每栏 1 / 6 · 直达分类页查看全部
提示词
6 条当用户的某个意图（如last_intent）尚未处理完成时，自动提示用户并继续处理该业务。
写作cloud.baidu.com为电商平台机器人客服提供开场白、常见问题回复和结束语的话术模板参考。
写作insight.xiaoduoai.com智能客服机器人与访客互动的对话模板（欢迎新访客、欢迎回头客、显示常见问题等）。
写作zhuanlan.zhihu.com服装加工合同模板，含甲乙双方信息及加工委托条款
写作xiaobaogong.com用于合同审查场景，让大模型扮演特定行业、特定立场的合同审查专家，平衡利益与风险。
研究blog.csdn.net帮助分析患者症状，提供可能的诊断方向和建议，适用于初步诊断筛查。
研究cgwgpts.com
论文
6 条Reddit · r/LocalLLaMAAI 评分4141 利用 Strix Halo NPU 加速本地 coding agent：Halogen 0.17.1 实测
Halogen 0.16+ 将闲置的 XDNA2 NPU 暴露为 OpenAI 风格接口，作者将其中四个模型接入真实 coding agent。0.17.1 让 NPU 调用延迟降低约 30 倍，解码速度提升约 40%；联合投机解码使双流聚合吞吐达 72.7 tok/s，串行解码 59.6 tok/s，prefill 约 1,300 tok/s。
Reddit · r/LocalLLaMAAI 评分1515 NInfer6000 在 RTX 6000 上跑 Qwen 3.8 Flash Next，token 生成达 400 tg/s
网友基于 NInfer 改写的 NInfer6000 分支在 RTX 6000（96GB VRAM）上运行 Qwen 3.8 Flash Next，将非专家层从 16-bit 下采样到 8-bit 并启用 MTP3 解码与小型 drafting head 后，在理想条件下达到 400 tok/s 生成速度。
Reddit · r/LocalLLaMAAI 评分1919 ik_llama.cpp fork 新增 MoE 优化：专家常驻显存与自适应 CPU/GPU 混合执行，支持 Q2_0 量化
开发者基于 ik_llama.cpp 推出新 fork，引入带宽自适应的 CPU/GPU 混合执行与 MoE 专家常驻（expert residency）机制，并新增 Q2_0 量化支持。
Reddit · r/LocalLLaMAAI 评分88 NVIDIA Blackwell 4000 与 RTX 3060 能否组合用于本地 LLM 推理
用户询问能否将一张 NVIDIA Blackwell 4000 24GB 与旧款 RTX 3060 12GB 组合，用于本地运行大语言模型（侧重编程任务），并希望了解 tensor split 是否支持这种跨代显卡混搭配置。
AWS Machine Learning BlogAI 评分3030 在 AWS GovCloud (US) 中用 Claude Code 与 Amazon Bedrock 加速受监管工作负载
Anthropic Claude Opus 5.5 与 Claude Sonnet 5.5 已在 AWS GovCloud (US) 区域 Amazon Bedrock 上可用。
Reddit · r/LocalLLaMAAI 评分2424 在 veloGB10 上运行 Swift 1.5：xhigh 档位反超 base Flash-Next 中档 vLLM 表现
在两台 DGX Spark 上，UkisAI 基于 Qwen3.8-Flash-Next 微调的 Swift 1.5（推理高效版）借助 sf-stav 的 Rust/CUDA 推理引擎 veloGB10 实现了约 110 tok/s 的单流解码速度，运行 xhigh effort 仍比旧 vLLM NVFP4 环境下 base Flash-Next medium 档更快。