专用推理引擎的崛起

一批针对特定模型和硬件优化的极窄化推理运行时正在兴起，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。这些引擎主动放弃 llama.cpp/vLLM 的通用性，换取特定配置下的最高性能。业界认为，这种通用运行时与专用高绩效引擎并存的模式，可能成为 AI 推理部署的未来常态。