大模型之Token是什么？

大模型处理文本的最小单位是token（相当于自然语言中的词或字），输出时逐个token依次生成。

收费依据：大语言模型(LLM)通常也是以token的数量作为其计量(或收费)的依据。

• 1个Token≈1-1.8个汉字，1个Token≈3-4个英文字母
• Token与字符转化的可视化工具：
  • OpenAI提供
  • 百度智能云提供

max_tokens设置建议：

• 客服短回复：128-256。比如：生成一句客服回复（如“订单已发货，预计明天送达”）
• 常规对话、多轮对话：512-1024
• 长内容生成：1024-4096。比如：生成一篇产品说明书（包含功能、使用方法等结构）