分词器 (Tokenizer)
可视化Token计数和分布。
🔢 功能介绍
分词器功能帮助你：
- 精确计算Token数量
- 可视化Token分割
- 理解模型如何处理文本
- 优化提示词长度
📊 Token可视化
输入文本后可以看到：
- 每个Token用不同颜色标记
- Token边界清晰可见
- Token ID显示
示例
输入: Hello, how are you?
Token: [Hello] [,] [ how] [ are] [ you] [?]
数量: 6 tokens📈 统计信息
| 统计项 | 说明 |
|---|---|
| Token总数 | 文本的Token数量 |
| 字符数 | 原始字符数量 |
| 字符/Token比 | 压缩效率 |
🤖 支持的分词器
| 分词器 | 适用模型 |
|---|---|
| GPT | OpenAI GPT-3.5/4 |
| Claude | Anthropic Claude |
| LLaMA | Meta LLaMA系列 |
| Mistral | Mistral AI |
| Gemma | Google Gemma |
⚙️ 使用方法
方法1：独立工具
- 打开 设置 → 工具 → 分词器
- 输入文本
- 选择分词器
- 查看结果
方法2：实时显示
在聊天界面开启Token计数，实时显示输入的Token数。
💡 实用场景
优化提示词
了解提示词占用多少Token，优化以节省空间。
控制输出长度
根据模型的上下文限制，合理分配输入和输出空间。
成本估算
Token数量直接影响API费用。
---
📖 Token常识
- 1个英文单词 ≈ 1-2 tokens
- 1个中文字 ≈ 1-2 tokens
- 标点符号通常是独立token
- 空格可能被合并到词中