LLM 文本长度问答：字符、单词与 token 的区别及上下文限制

LLM 的上下文窗口限制按 token 计算，并同时覆盖输入与输出，部分模型还计入内部推理 token。不同模型使用不同 tokenizer，同一文本的 token 数可能不同；长数字、ID、哈希及非英语文本通常会被拆成更多 token，因此预算上下文时应使用目标模型的 tokenizer 或 token 计数工具。