strata/llama 推理引擎近 400 tokens per second 速度说明

一款基于 strata/llama、重写引擎代码的本地推理引擎，在 3 张 32GB V100 上以 Q4_XL 运行 flash-next，实测接近 376 tokens per second，最快达到 404 tokens per second。该结果来自“edit this python file”任务，提示词不同会影响速度；非优化推理场景为 140 tokens per second。