Hugging Face Blog·· 17 天前精选AI 评分68
Hugging Face tokenizers v1 发布：性能提升 3-30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1，在 Apple M4 Max 上单线程编码速度比 v0.23 快 3-30 倍，8 线程扩展性达 76% 线性。
推荐理由
原文给出了性能提升 3-30 倍的具体数据和多项技术改进细节，读者可以据此判断升级对自身工作流的具体收益。
来源：Hugging Face Blog · huggingface.co