Reddit · r/MachineLearning· /u/Rajucg·· 6 小时前AI 评分34
GPT-4o 的 tokenizer 如何处理 "strawberry"：真实 token id 与一次微型 BPE 演示
I animated what GPT-4o's tokenizer does to "strawberry": real token ids, a tiny BPE run, and why the space belongs to the word (6 min video) [D]
AI 导读
一段 6 分钟视频演示了 GPT-4o / GPT-5 所用的 o200k_base tokenizer 如何切分 "strawberry"：在 "How many r's are in strawberry?
来源：Reddit · r/MachineLearning · reddit.com