Hugging Face Blog·· 17 天前精选AI 评分68
Hugging Face tokenizers v1 发布：性能提升 3-30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1，在 Apple M4 Max 上单线程编码速度比 v0.23 快 3-30 倍，8 线程扩展性达 76% 线性。
推荐理由
原文给出了性能提升 3-30 倍的具体数据和多项技术改进细节，读者可以据此判断升级对自身工作流的具体收益。
来源：Hugging Face Blog · huggingface.co
最近 7 天的更新
- OpenAI 在 ChatGPT 全球推出 GPT-6 与 Intelligent UIOpenAI News·
- NVIDIA 与 Microsoft 联合推出 RTX Spark 与 DGX Station for WindowsNVIDIA Blog·
- GitHub 推出 ModernBERT 密钥分类器扩展 Push ProtectionGitHub Blog · AI & ML·
- Mistral 发布开源 24B 模型 Mistral Small 3，主打低延迟本地推理Mistral AI·
- Stable Diffusion 3.5 现已在 Replicate 可用Replicate Blog·
- Cursor Remote Lite：手机远程控制电脑 Cursor 的应用Product Hunt · AI 分类·
- Reassign：24小时圆形智能规划器Product Hunt · AI 分类·
- Cloudflare 发布 Artifacts 新功能并发起下一代 Git 平台竞赛Hacker News · 首页·
相关工具
- Aleph Alpha 发布开放权重模型 Kolibri，支持德语和英语82
- Stable Diffusion 3.5 现已在 Replicate 可用80
- Hugging Face $399 双足机器人 Microduck 开放预购，首日订单达 260 万美元79
- H company 发布 Holo4：通用计算机使用智能体模型系列78
- Hugging Face Diffusers 原生支持 Nunchaku 4-bit 扩散模型推理78
- Cloudflare 发布 Artifacts 新功能并发起下一代 Git 平台竞赛77
- 如何使用 GRPO 微调 LFM2.5-350M 提升结构化输出能力77
- Mistral 发布开源 24B 模型 Mistral Small 3，主打低延迟本地推理77