LLMトークナイザー13種の分割の傾向
1234567は、今回調べたOpenAIの2種では3トークン、Gemma 4やQwen3.8では7トークンです。文末の「。」と改行が1つのトークンにまとまるものもあれば、必ず分かれるものもあります。
- 単独の半角数字列は、左から最大3桁、右から最大3桁、1桁ずつの3通りの規則で区切られます。語彙によっては、そこからさらに細かく分かれます(§2)。
- 英語とコードの文書では、記号と直後の改行を、7種がほぼ必ずまとめ、5種が必ず分けました。残るPLaMo 2は、約3割をまとめました(§3)。
- かなを含む語彙が多い対象ほど、日本語を長いまとまりで分割する傾向がありました。かなを含むトークンの割合は、語彙の約0.2〜40%でした(§5・§6)。
- 画像・音声・動画用と分かる名前のトークンは、6種の語彙にありました。画像を受け付ける4種では、画像のサイズや前処理の設定によって、1枚が占めるトークン数に差が出ました(§11)。
- 語彙の重なりを調べると、GLM-5.1は
cl100k_baseの語彙の99%を、Qwen3.8は97%を含んでいます(§12)。
1. 比較の対象と方法
o200k_harmony(以下o200k)とcl100k_base(以下cl100k)、海外のモデルに付属する7種、日本語を重視した4種の、合わせて13種です。語彙と分割処理を確認できた版を固定して比較しました。
| 対象 | 取得元 | 版(先頭12桁) |
|---|---|---|
| o200k | openai/tiktoken/o200k_harmony | 4e71bbe0c078 |
| cl100k | openai/tiktoken/cl100k_base | 4e71bbe0c078 |
| Gemma 4 | google/gemma-4-E4B-it | 4ecc2ba63bca |
| Qwen3.8 | Qwen/Qwen3.8-27B | 1d4bf0f2ff60 |
| Command A+ | CohereLabs/command-a-plus-05-2026-bf16 | 5fb6fde5fd12 |
| DeepSeek V4 | deepseek-ai/DeepSeek-V4-Pro | b5968e9190ef |
| Mistral Small 4 | mistralai/Mistral-Small-4-119B-2603 | a11f36bebf70 |
| GLM-5.1 | zai-org/GLM-5.1 | 26e1bd6e011f |
| Grok 2 | xai-org/grok-2 | daf4395a80ad |
| LLM-jp-4 | llm-jp/llm-jp-4-8b-instruct | 098f2b2cf330 |
| PLaMo 3 | pfnet/plamo-3-610m-fin-instruct | a000b59209f1 |
| PLaMo 2 | pfnet/plamo-2-1b | 92c75fd6eea9 |
| Sarashina2.2 | sbintuitions/sarashina2.2-3b-instruct-v0.1 | 4f3626fb1b64 |
| 対象 | 語彙数 | 方式 | 語彙の単位 | 空白の付き方 | 連続する数字 | 正規化 |
|---|---|---|---|---|---|---|
| o200k | 201,088 | BPE | バイト | 語の前に付ける | 3桁まで、左から | なし |
| cl100k | 100,261 | BPE | バイト | 語の前に付ける | 3桁まで、左から | なし |
| Gemma 4 | 262,144 | BPE | 文字 | 語の前に付ける | 1桁ずつ | なし |
| Qwen3.8 | 248,077 | BPE | バイト | 語の前に付ける | 1桁ずつ | NFC |
| Command A+ | 255,032 | BPE | バイト | 語の前に付ける | 3桁まで、右から | なし |
| DeepSeek V4 | 129,280 | BPE | バイト | 語の前に付ける | 3桁まで、左から | なし |
| Mistral Small 4 | 131,072 | BPE | バイト | 語の前に付ける | 1桁ずつ | なし |
| GLM-5.1 | 154,856 | BPE | バイト | 語の前に付ける | 3桁まで、左から(語彙次第) | なし |
| Grok 2 | 131,072 | BPE | バイト | 語の前に付ける | 1桁ずつ | なし |
| LLM-jp-4 | 196,608 | Unigram | 文字 | 語の前に付け、文頭にも足す | 1桁ずつ | なし |
| PLaMo 3 | 107,520 | Unigram | 文字 | 語の前にも後ろにも付く | 1桁ずつ | なし |
| PLaMo 2 | 100,000 | Unigram | 文字 | 語の前にも後ろにも付く | 1桁ずつ | なし |
| Sarashina2.2 | 102,400 | Unigram | 文字 | 語の前に付ける | 1桁ずつ | なし |
␣と書くと、多くは␣theのように語の前に付けますが、PLaMoは␣of␣theや,␣のように、途中や末尾にも空白を含みます。
random.Random(20261117)で生成しました。
|、改行(LF)を⏎で表します。単独ではUTF-8の文字列として解釈できないトークンは、<e3>のようにバイト列を16進数で示します。文章の分割では、会話の形式に必要な区切りや文頭・文末の特殊トークンを付けず、入力の文字列だけを分割しています。LLM-jp-4は文字列の先頭に空白にあたる記号を足すので、例の先頭に␣が現れ、先頭の文字と結び付かないときはトークン数が1つ増えます。
2. 数字
| 対象 | 1234567 | 3.14159 | 2026-11-17 | 半角数字2桁・3桁のトークン数 | 乱数64桁の1トークンあたりの桁数 |
|---|---|---|---|---|---|
| o200k | 123|456|7 | 3|.|141|59 | 202|6|-|11|-|17 | 1,100 | 2.91 |
| cl100k | 123|456|7 | 3|.|141|59 | 202|6|-|11|-|17 | 1,100 | 2.91 |
| Gemma 4 | 1|2|3|4|5|6|7 | 3|.|1|4|1|5|9 | 2|0|2|6|-|1|1|-|1|7 | 0 | 1.00 |
| Qwen3.8 | 1|2|3|4|5|6|7 | 3|.|1|4|1|5|9 | 2|0|2|6|-|1|1|-|1|7 | 0 | 1.00 |
| Command A+ | 1|234|567 | 3|.|14|159 | 2|026|-|11|-|17 | 1,100 | 2.91 |
| DeepSeek V4 | 123|456|7 | 3|.|141|59 | 202|6|-|11|-|17 | 1,100 | 2.91 |
| Mistral Small 4 | 1|2|3|4|5|6|7 | 3|.|1|4|1|5|9 | 2|0|2|6|-|1|1|-|1|7 | 0 | 1.00 |
| GLM-5.1 | 123|45|6|7 | 3|.|141|59 | 202|6|-|11|-|17 | 277 | 1.63 |
| Grok 2 | 1|2|3|4|5|6|7 | 3|.|1|4|1|5|9 | 2|0|2|6|-|1|1|-|1|7 | 0 | 1.00 |
| LLM-jp-4 | ␣|1|2|3|4|5|6|7 | ␣|3|.|1|4|1|5|9 | ␣|2|0|2|6|-|1|1|-|1|7 | 0 | 0.98 |
| PLaMo 3 | 1|2|3|4|5|6|7 | 3|.1|4|1|5|9 | 2|0|2|6|-|1|1|-|1|7 | 0 | 1.00 |
| PLaMo 2 | 1|2|3|4|5|6|7 | 3|.1|4|1|5|9 | 2|0|2|6|-|1|1|-|1|7 | 0 | 1.00 |
| Sarashina2.2 | 1|2|3|4|5|6|7 | 3|.|1|4|1|5|9 | 2|0|2|6|-|1|1|-|1|7 | 0 | 1.00 |
\p{N}{1,3}を持ち、数字を左から3桁ずつの断片に分けます。1234567の断片は123|456|7になり、位取りの3桁区切り(1,234,567)とは一致しません。o200k・cl100k・DeepSeek V4では、この断片がそのままトークンになります。
\d{1,3}(?=(?:\d{3})*\b)を適用し、右から3桁ずつになるように区切ります。1|234|567は位取りと一致し、小数部の14159も14|159と右から区切られます。数字の直後に英字やアンダースコアが続くと、この規則には一致せず、1234567kgは123|456|7|kgと左から区切られます。
\p{N}で、数字を必ず1桁ずつ切ります。Gemma 4・LLM-jp-4・PLaMo・Sarashina2.2は、語彙に2桁以上の数字だけのトークンがなく、結果として1桁ずつになります。PLaMoには␣1や.5のように、空白や記号と数字1桁をまとめたトークンがあり、3.5kgは3|.5|kgの3トークンです。
1234567は123|45|6|7と、3桁の断片の一部がさらに分かれます。4桁以上の数字を含むトークンも163個ありますが、事前分割が3桁で区切るので、分割の結果には現れません。
1985や␣2002のようなトークンがあり、163個のうち39個は先頭に空白が付きます。1985を分割すると198|5、␣2002は␣|200|2になり、もとのトークンは使われません。空白と3桁以下の数字をまとめた␣41のようなトークンも91個ありますが、事前分割が空白と数字を分けるので、同じく使われません。語彙の由来は§12で扱います。
2026-11-17では、左から3桁までまとめる4種は年を202|6に、Command A+は2|026に分けました。全角数字の例1234567では、Command A+とGrok 2が「3」以降を文字の途中で分割し、ほかは1文字ずつ、または「12」をまとめて分割しました。漢数字「一億二千三百四十五万六千七百八十九」のトークン数には、DeepSeek V4の11からcl100kの27まで開きがありました。
3. 空白と改行
| 対象 | 空白類だけのトークン数 | 半角スペースの最大連続数 | LFの最大連続数 | タブの最大連続数 | 改行を含むトークン | うち空白類以外も含む |
|---|---|---|---|---|---|---|
| o200k | 434 | 128 | 16 | 20 | 2,225 | 2,034 |
| cl100k | 441 | 128 | 32 | 20 | 2,178 | 1,977 |
| Gemma 4 | 100 | 31 | 31 | 31 | 31 | 0 |
| Qwen3.8 | 440 | 128 | 32 | 20 | 200 | 0 |
| Command A+ | 507 | 512 | 64 | 32 | 2,544 | 2,280 |
| DeepSeek V4 | 157 | 128 | 16 | 11 | 849 | 799 |
| Mistral Small 4 | 129 | 75 | 5 | 16 | 1,069 | 1,064 |
| GLM-5.1 | 454 | 512 | 32 | 20 | 2,178 | 1,977 |
| Grok 2 | 375 | 256 | 32 | 17 | 1,811 | 1,637 |
| LLM-jp-4 | 68 | 16 | 1 | 1 | 1 | 0 |
| PLaMo 3 | 39 | 32 | 4 | 8 | 6 | 0 |
| PLaMo 2 | 42 | 16 | 2 | 4 | 61 | 39 |
| Sarashina2.2 | 26 | 8 | 1 | 1 | 1 | 0 |
aとbの間に半角スペース16個を置くと、全体のトークン数はSarashina2.2が4、ほかは3でした。改行では、LLM-jp-4とSarashina2.2はLF1文字のトークンしか持たず、LFを増やすたびにトークンが増えます。PLaMo 2はLF2文字、PLaMo 3は4文字、Mistral Small 4は5文字までのトークンを持ち、残る8種は16文字以上の繰り返しを1トークンで持ちます。
| 対象 | 空白4 | 空白16 | 空白64 | 空白200 | 改行1 | 改行2 | 改行4 | 改行8 | \r\n\r\n |
|---|---|---|---|---|---|---|---|---|---|
| o200k | 1 | 1 | 1 | 2 | 1 | 1 | 1 | 1 | 1 |
| cl100k | 1 | 1 | 1 | 2 | 1 | 1 | 1 | 1 | 1 |
| Gemma 4 | 1 | 1 | 3 | 7 | 1 | 1 | 1 | 1 | 4 |
| Qwen3.8 | 1 | 1 | 1 | 2 | 1 | 1 | 1 | 1 | 1 |
| Command A+ | 1 | 1 | 1 | 2 | 1 | 1 | 1 | 1 | 1 |
| DeepSeek V4 | 1 | 1 | 1 | 3 | 1 | 1 | 1 | 1 | 4 |
| Mistral Small 4 | 1 | 1 | 1 | 3 | 1 | 1 | 1 | 2 | 4 |
| GLM-5.1 | 1 | 1 | 1 | 2 | 1 | 1 | 1 | 1 | 1 |
| Grok 2 | 1 | 1 | 1 | 2 | 1 | 1 | 1 | 1 | 1 |
| LLM-jp-4 | 1 | 1 | 4 | 13 | 1 | 2 | 4 | 8 | 4 |
| PLaMo 3 | 1 | 1 | 2 | 7 | 1 | 1 | 1 | 2 | 1 |
| PLaMo 2 | 1 | 1 | 4 | 13 | 1 | 1 | 2 | 4 | 4 |
| Sarashina2.2 | 1 | 2 | 8 | 25 | 1 | 2 | 4 | 8 | 4 |
\r\nを含むトークンを持つのはo200k・cl100k・Qwen3.8・Command A+・GLM-5.1・Grok 2・PLaMo 3で、ほかは\rと\nを別々のトークンにします。改行とその前の記号を同じトークンにまとめるかどうかにも、違いがあります。
| 対象 | です。⏎⏎次 | end.⏎⏎Next | f(x)⏎y |
|---|---|---|---|
| o200k | です|。⏎⏎|次 | end|.⏎⏎|Next | f|(x|)⏎|y |
| cl100k | です|。⏎⏎|次 | end|.⏎⏎|Next | f|(x|)⏎|y |
| Gemma 4 | です|。|⏎⏎|次 | end|.|⏎⏎|Next | f|(|x|)|⏎|y |
| Qwen3.8 | です|。|⏎⏎|次 | end|.|⏎⏎|Next | f|(x|)|⏎|y |
| Command A+ | です|。⏎⏎|次 | end|.⏎⏎|Next | f|(x|)⏎|y |
| DeepSeek V4 | です|。⏎⏎|次 | end|.⏎⏎|Next | f|(x|)⏎|y |
| Mistral Small 4 | です|。⏎⏎|次 | end|.⏎⏎|Next | f|(x|)⏎|y |
| GLM-5.1 | です|。⏎⏎|次 | end|.⏎⏎|Next | f|(x|)⏎|y |
| Grok 2 | です|。⏎⏎|次 | end|.⏎⏎|Next | f|(x|)⏎|y |
| LLM-jp-4 | ␣|です|。|⏎|⏎|次 | ␣end|.|⏎|⏎|Next | ␣f|(|x|)|⏎|y |
| PLaMo 3 | です。|⏎⏎|次 | end|.|⏎⏎|Next | f|(|x|)|⏎|y |
| PLaMo 2 | です。⏎|⏎|次 | end|.⏎⏎|Next | f|(|x|)|⏎|y |
| Sarashina2.2 | です|。|⏎|⏎|次 | end|.|⏎|⏎|Next | f|(|x|)|⏎|y |
。⏎⏎や)⏎が1トークンになりました。事前分割の正規表現が、[^\s\p{L}\p{N}]+[\r\n]*のように、記号の並びとそれに続く改行を1つの断片にし、語彙にも対応するトークンがあるためです。改行と空白類以外の文字を含むトークンは、o200kで2,034個、Command A+で2,280個あります。英語200文書とコード100文書では、記号の直後に改行が来る箇所は、この7種でほぼすべて同じトークンにまとまりました。
。⏎など39個を持ち、同じ英語とコードの文書では、記号の直後の改行のうち31%がまとまりました。
.⏎⏎・。⏎⏎・:⏎⏎のように、直前の記号ごとに別のトークンになります。改行の検出や文法による出力制約をトークンIDに基づいて実装する場合は、記号と改行を含むトークンにも対応する必要があります。
␣␣␣|␣ifのように、3個の空白と、空白つきの語に分けました。Gemma 4・PLaMo 3・Sarashina2.2は␣␣␣␣|ifと、字下げ全体を1トークンにしました。PLaMo 2は⏎␣␣␣␣のように、改行と字下げをまとめる場合もあります。この形の語彙を20個持ちますが、PLaMo 3にはありません。
4. コードと記法
| 対象 | Pythonの関数 | get_user_profile_by_id | HTMLの断片 | 空白なしのJSON | YAML | UUID | SHA-1の16進40桁 |
|---|---|---|---|---|---|---|---|
| o200k | 35 | 5 | 17 | 17 | 22 | 18 | 23 |
| cl100k | 35 | 5 | 17 | 16 | 22 | 18 | 23 |
| Gemma 4 | 44 | 9 | 19 | 16 | 28 | 36 | 34 |
| Qwen3.8 | 38 | 5 | 17 | 16 | 28 | 34 | 34 |
| Command A+ | 35 | 5 | 17 | 16 | 21 | 18 | 23 |
| DeepSeek V4 | 35 | 5 | 17 | 18 | 23 | 18 | 24 |
| Mistral Small 4 | 38 | 5 | 17 | 18 | 24 | 34 | 35 |
| GLM-5.1 | 35 | 5 | 17 | 16 | 22 | 23 | 27 |
| Grok 2 | 38 | 5 | 17 | 16 | 23 | 34 | 34 |
| LLM-jp-4 | 47 | 9 | 19 | 21 | 29 | 37 | 35 |
| PLaMo 3 | 44 | 5 | 9 | 29 | 29 | 36 | 35 |
| PLaMo 2 | 41 | 5 | 9 | 29 | 25 | 36 | 35 |
| Sarashina2.2 | 54 | 9 | 20 | 16 | 29 | 36 | 35 |
def fibonacci(n: int) -> int:
if n < 2:
return n
return fibonacci(n - 1) + fibonacci(n - 2)
<div class="container"><a href="/index.html">Home</a></div>
{"a":1,"b":[{"c":null},{"d":"e"}]}services:
web:
image: nginx:latest
ports:
- "80:80"
550e8400-e29b-41d4-a716-446655440000da39a3ee5e6b4b0d3255bfef95601890afd80709[^\r\n\p{L}\p{N}]?\p{L}+という形で、ほかの7種も同じ役割の規則を持ちます。_user・(n・.htmlのようなトークンができるので、get_user_profile_by_idは5トークンで済みます。Gemma 4・LLM-jp-4・Sarashina2.2は記号を別のトークンにするので9トークンです。PLaMoは_user_のように前後の記号を含むトークンを持ち、5トークンになります。
(token・_token・␣tokenを別々のトークンとして持っています。DeepSeek V4では、tokenization単独ならtoken|izationですが、前に/を付けると/t|oken|izationとなり、語の途中の切れ目まで変わりました。
| 対象 | 単独 | 空白のあと | (のあと | _のあと | /のあと | 大文字で始める |
|---|---|---|---|---|---|---|
| o200k | token|ization | ␣token|ization | (token|ization | _token|ization | /token|ization | Token|ization |
| cl100k | token|ization | ␣token|ization | (token|ization | _token|ization | /token|ization | Token|ization |
| Gemma 4 | token|ization | ␣token|ization | (|token|ization | _|token|ization | /|token|ization | Token|ization |
| Qwen3.8 | token|ization | ␣token|ization | (token|ization | _token|ization | /token|ization | Token|ization |
| Command A+ | token|ization | ␣tokenization | (token|ization | _token|ization | /token|ization | Token|ization |
| DeepSeek V4 | token|ization | ␣token|ization | (token|ization | _token|ization | /t|oken|ization | Token|ization |
| Mistral Small 4 | token|ization | ␣token|ization | (token|ization | _token|ization | /|token|ization | Token|ization |
| GLM-5.1 | token|ization | ␣token|ization | (token|ization | _token|ization | /token|ization | Token|ization |
| Grok 2 | token|ization | ␣token|ization | (token|ization | _token|ization | /token|ization | Token|ization |
| LLM-jp-4 | ␣token|ization | ␣|␣token|ization | ␣(|token|ization | ␣_|token|ization | ␣/|token|ization | ␣|Token|ization |
| PLaMo 3 | token|ization | ␣token|ization | (|token|ization | _|token|ization | /|token|ization | Token|ization |
| PLaMo 2 | token|ization | ␣token|ization | (|token|ization | _|token|ization | /|token|ization | Token|ization |
| Sarashina2.2 | token|ization | ␣token|ization | (|token|ization | _|token|ization | /|token|ization | Token|ization |
<div␣class="や</a>のように、タグ名と属性の一部や閉じタグをまとめたトークンを持つためです。一方、空白なしのJSON({"a":1,"b":[{"c":null},{"d":"e"}]})は29トークンで、ほかの16〜21トークンより多くなりました。o200kが":や},{"を1トークンにするのに対して、PLaMoは引用符や括弧の多くを1文字ずつのトークンにします。
| 対象 | 16進64桁 | Base64 | 英小文字32字 | 英数字32字 | ひらがな32字 | 漢字32字 |
|---|---|---|---|---|---|---|
| o200k | 1.74 | 1.46 | 1.91 | 1.46 | 2.72 | 1.57 |
| cl100k | 1.75 | 1.39 | 1.84 | 1.39 | 2.11 | 1.28 |
| Gemma 4 | 1.13 | 1.42 | 1.95 | 1.45 | 3.19 | 1.44 |
| Qwen3.8 | 1.13 | 1.36 | 1.89 | 1.35 | 3.05 | 1.73 |
| Command A+ | 1.78 | 1.54 | 1.96 | 1.54 | 2.93 | 1.64 |
| DeepSeek V4 | 1.72 | 1.42 | 1.84 | 1.42 | 2.62 | 1.72 |
| Mistral Small 4 | 1.12 | 1.31 | 1.77 | 1.30 | 2.86 | 1.49 |
| GLM-5.1 | 1.49 | 1.39 | 1.86 | 1.39 | 3.08 | 1.64 |
| Grok 2 | 1.14 | 1.44 | 1.91 | 1.44 | 2.67 | 1.60 |
| LLM-jp-4 | 1.11 | 1.30 | 1.82 | 1.31 | 3.41 | 1.68 |
| PLaMo 3 | 1.12 | 1.34 | 1.91 | 1.37 | 3.51 | 1.19 |
| PLaMo 2 | 1.12 | 1.33 | 1.88 | 1.36 | 3.49 | 1.16 |
| Sarashina2.2 | 1.12 | 1.35 | 1.95 | 1.38 | 3.29 | 1.09 |
5. 言語と文字種の配分
| 対象 | ラテン文字 | 漢字だけ | かなを含む | ハングル | キリル文字 | アラビア文字 | インド系 | 数字・記号・空白類 | ほかの文字 | 不完全なバイト列 |
|---|---|---|---|---|---|---|---|---|---|---|
| o200k | 67.4 | 3.7 | 0.4 | 1.2 | 7.1 | 4.0 | 4.1 | 3.8 | 7.5 | 0.8 |
| cl100k | 89.6 | 0.8 | 0.2 | 0.3 | 0.7 | 0.1 | 0.0 | 7.4 | 0.1 | 0.8 |
| Gemma 4 | 60.6 | 7.3 | 1.9 | 1.8 | 5.1 | 3.2 | 11.1 | 3.5 | 5.4 | 0.0 |
| Qwen3.8 | 55.7 | 21.5 | 2.2 | 2.7 | 7.5 | 3.5 | 0.8 | 2.0 | 3.6 | 0.4 |
| Command A+ | 73.0 | 4.9 | 2.0 | 3.1 | 3.4 | 3.0 | 2.1 | 3.9 | 2.3 | 2.4 |
| DeepSeek V4 | 56.1 | 27.5 | 0.7 | 0.9 | 4.1 | 2.4 | 1.0 | 3.8 | 2.4 | 1.1 |
| Mistral Small 4 | 67.9 | 2.7 | 1.2 | 3.4 | 5.9 | 7.2 | 2.9 | 3.1 | 4.5 | 1.1 |
| GLM-5.1 | 65.2 | 18.4 | 0.6 | 0.4 | 6.4 | 1.4 | 0.1 | 5.9 | 0.9 | 0.7 |
| Grok 2 | 83.5 | 5.1 | 0.8 | 1.0 | 3.0 | 0.1 | 0.3 | 5.0 | 0.4 | 0.8 |
| LLM-jp-4 | 40.8 | 25.5 | 20.2 | 7.0 | 0.2 | 0.2 | 0.2 | 4.5 | 1.4 | 0.1 |
| PLaMo 3 | 50.5 | 16.1 | 29.5 | 0.9 | 0.6 | 0.4 | 0.1 | 1.1 | 0.6 | 0.1 |
| PLaMo 2 | 49.8 | 16.1 | 31.0 | 0.7 | 0.5 | 0.2 | 0.1 | 1.2 | 0.3 | 0.1 |
| Sarashina2.2 | 40.4 | 16.2 | 40.2 | 0.1 | 1.1 | 0.0 | 0.0 | 1.7 | 0.1 | 0.1 |
shift_jisで符号化でき、gb2312とbig5のどちらでも符号化できない漢字を、表では「Shift_JISのみ」の字としています。「図」「働」「込」などの新字体や国字が当たります。「GB2312・Big5のみ」は、gb2312またはbig5で符号化でき、shift_jisでは符号化できない漢字です。簡体字や、Shift_JISで表せない繁体字などが当たります。
| 対象 | ひらがなだけ | カタカナだけ | かなの混在・かなと漢字 | 漢字だけ(どちらも含まない) | 漢字だけ(Shift_JISのみの字を含む) | 漢字だけ(GB2312・Big5のみの字を含む) |
|---|---|---|---|---|---|---|
| o200k | 317 | 403 | 79 | 4,455 | 127 | 2,815 |
| cl100k | 87 | 69 | 1 | 546 | 7 | 286 |
| Gemma 4 | 1,544 | 2,028 | 1,353 | 12,051 | 764 | 6,445 |
| Qwen3.8 | 1,863 | 1,632 | 1,964 | 28,117 | 523 | 24,794 |
| Command A+ | 1,809 | 1,413 | 1,831 | 8,052 | 505 | 3,850 |
| DeepSeek V4 | 483 | 239 | 154 | 19,698 | 156 | 15,332 |
| Mistral Small 4 | 772 | 589 | 259 | 2,484 | 133 | 866 |
| GLM-5.1 | 470 | 346 | 117 | 15,186 | 116 | 13,172 |
| Grok 2 | 437 | 500 | 156 | 4,496 | 178 | 1,967 |
| LLM-jp-4 | 8,616 | 7,536 | 23,529 | 29,165 | 2,970 | 17,953 |
| PLaMo 3 | 10,820 | 7,792 | 13,129 | 13,908 | 2,644 | 748 |
| PLaMo 2 | 11,038 | 7,377 | 12,565 | 12,966 | 2,615 | 540 |
| Sarashina2.2 | 8,232 | 8,423 | 24,544 | 13,334 | 3,163 | 113 |
| 対象 | 英語 | 日本語 | コード | 中国語・韓国語(T2) | T3 | T4 | T5 |
|---|---|---|---|---|---|---|---|
| o200k | 5.52 | 3.61 | 3.70 | 3.83 | 4.90 | 4.68 | 2.96 |
| cl100k | 5.47 | 2.62 | 3.50 | 2.40 | 3.29 | 2.15 | 2.22 |
| Gemma 4 | 5.40 | 4.90 | 3.41 | 4.42 | 5.03 | 4.50 | 3.23 |
| Qwen3.8 | 5.39 | 5.09 | 3.60 | 4.97 | 5.20 | 3.76 | 2.73 |
| Command A+ | 5.58 | 5.20 | 3.90 | 4.64 | 4.94 | 3.23 | 2.69 |
| DeepSeek V4 | 5.47 | 4.19 | 3.64 | 4.32 | 4.14 | 3.31 | 2.60 |
| Mistral Small 4 | 5.40 | 3.62 | 3.56 | 3.58 | 4.61 | 3.47 | 2.47 |
| GLM-5.1 | 5.47 | 3.95 | 3.72 | 3.68 | 4.05 | 2.53 | 2.46 |
| Grok 2 | 5.52 | 3.98 | 3.71 | 3.99 | 3.59 | 2.49 | 2.39 |
| LLM-jp-4 | 5.28 | 6.35 | 3.30 | 4.99 | 2.58 | 2.43 | 2.36 |
| PLaMo 3 | 6.29 | 6.48 | 3.41 | 3.15 | 3.24 | 1.96 | 2.13 |
| PLaMo 2 | 6.48 | 6.40 | 3.55 | 3.10 | 2.98 | 1.70 | 2.07 |
| Sarashina2.2 | 4.43 | 6.34 | 3.10 | 2.07 | 2.45 | 1.62 | 1.93 |
6. 日本語
| 対象 | 漢字と漢字 | ひらがなとひらがな | カタカナとカタカナ | 漢字からひらがな | ひらがなから漢字 | ひらがなから日本語の記号 |
|---|---|---|---|---|---|---|
| o200k | 72 | 56 | 52 | 98 | 99 | 100 |
| cl100k | 94 | 84 | 91 | 100 | 100 | 100 |
| Gemma 4 | 42 | 26 | 18 | 69 | 89 | 100 |
| Qwen3.8 | 38 | 24 | 20 | 67 | 87 | 100 |
| Command A+ | 43 | 24 | 25 | 66 | 87 | 100 |
| DeepSeek V4 | 51 | 37 | 63 | 90 | 96 | 100 |
| Mistral Small 4 | 80 | 43 | 57 | 91 | 98 | 100 |
| GLM-5.1 | 61 | 40 | 55 | 92 | 96 | 100 |
| Grok 2 | 66 | 40 | 52 | 91 | 97 | 100 |
| LLM-jp-4 | 21 | 19 | 5 | 46 | 69 | 100 |
| PLaMo 3 | 23 | 20 | 5 | 54 | 76 | 33 |
| PLaMo 2 | 23 | 21 | 5 | 57 | 78 | 32 |
| Sarashina2.2 | 20 | 19 | 6 | 45 | 70 | 100 |
| 対象 | 分割 | トークン数 |
|---|---|---|
| o200k | ありがとうございます|。|よろしく|お願|いい|た|します|。 | 8 |
| cl100k | ありがとうござ|います|。|よ|ろ|<e38197e381>|<8f>|お|<e9a1>|<98>|い|い|た|します|。 | 15 |
| Gemma 4 | ありがとうございます|。|よろしく|お願いいたします|。 | 5 |
| Qwen3.8 | ありがとうございます|。|よろしくお願いいたします|。 | 4 |
| Command A+ | ありがとうございます|。|よろしくお願い|いたします|。 | 5 |
| DeepSeek V4 | あり|が|とう|ござ|います|。|よ|ろ|しく|お|願|い|いた|します|。 | 15 |
| Mistral Small 4 | ありがとうございます|。|よろしく|お願|いい|たし|ます|。 | 8 |
| GLM-5.1 | ありがとうござ|います|。|よ|ろ|しく|お|願い|いたします|。 | 10 |
| Grok 2 | あり|が|とう|ご|ざ|い|ます|。|よ|ろ|しく|お|願|い|いた|します|。 | 17 |
| LLM-jp-4 | ␣ありがとうございます|。|よろしくお願いいたします|。 | 4 |
| PLaMo 3 | ありがとうございます。|よろしくお願いいたします。 | 2 |
| PLaMo 2 | ありがとうございます。|よろしくお願いいたします。 | 2 |
| Sarashina2.2 | ありがとうござい|ます|。|よろしくお願い|いたします|。 | 6 |
| 対象 | かなを含む最長のトークン(上位3個) |
|---|---|
| o200k | 「ありがとうございました」、「ありがとうございます」、「␣風吹けば名無し」 |
| cl100k | 「ありがとうござ」、「ありがとう」、「こんにちは」 |
| Gemma 4 | 「ありがとうございました」、「のではないでしょうか」、「ありがとうございます」 |
| Qwen3.8 | 「よろしくお願いいたします」、「␣ありがとうございました」、「ありがとうございました」 |
| Command A+ | 「ありがとうございました」、「のではないでしょうか」、「ありがとうございます」 |
| DeepSeek V4 | 「かもしれません」、「ではありません」、「してください」 |
| Mistral Small 4 | 「ありがとうございました」、「ありがとうございます」、「ラクターデザイン」 |
| GLM-5.1 | 「かもしれません」、「ありがとうござ」、「してください」 |
| Grok 2 | 「␣外部リンク」、「キャラクター」、「してください」 |
| LLM-jp-4 | 「ご覧いただきありがとうございます」、「ブログランキングに参加しています」、「このレビューは参考になりましたか」 |
| PLaMo 3 | 「ご覧いただきありがとうございます」、「いただきありがとうございました。」、「あけましておめでとうございます。」 |
| PLaMo 2 | 「いただきありがとうございました。」、「あけましておめでとうございます。」、「明けましておめでとうございます」 |
| Sarashina2.2 | 「だろうと思います」、「お願いいたします」、「にお越しください」 |
ハンカクカタカナガギグは14文字で、濁点も1文字と数えます。これを分割すると、Gemma 4・Qwen3.8と日本語を重視した4種では14〜15トークン、ほかはバイト列の断片に分かれて25〜35トークンでした。
7. 英語の語と空白
| 対象 | 英字列のトークン(先頭空白を許容) | 先頭空白を除き小文字にそろえた種類 | 表記違いの重複が語彙に占める割合 | 英単語間の空白をまたぐトークン | 空白つきの語が1トークンになる割合 |
|---|---|---|---|---|---|
| o200k | 105,794 | 67,816 | 19.0% | 0 | 98.3% |
| cl100k | 68,591 | 40,592 | 27.9% | 0 | 97.8% |
| Gemma 4 | 139,429 | 85,975 | 20.4% | 0 | 99.2% |
| Qwen3.8 | 104,060 | 67,557 | 14.7% | 0 | 97.9% |
| Command A+ | 143,694 | 90,359 | 20.9% | 0 | 99.3% |
| DeepSeek V4 | 63,821 | 41,698 | 17.3% | 0 | 98.0% |
| Mistral Small 4 | 70,680 | 49,573 | 16.2% | 0 | 96.6% |
| GLM-5.1 | 75,744 | 46,288 | 19.0% | 0 | 97.8% |
| Grok 2 | 89,127 | 56,387 | 25.0% | 0 | 98.9% |
| LLM-jp-4 | 78,329 | 51,026 | 13.9% | 0 | 98.5% |
| PLaMo 3 | 43,828 | 24,520 | 18.0% | 8,191 | 95.0% |
| PLaMo 2 | 37,621 | 21,081 | 16.5% | 10,050 | 95.7% |
| Sarashina2.2 | 40,321 | 23,956 | 16.0% | 0 | 73.4% |
a・半角スペース・語を連結した入力を分割し、aだけを分割したときのトークン数を引きました。
the・␣the・The・␣The・THE・␣THEのように、大文字と小文字、先頭の空白の有無だけが違うトークンを1種類と数えたときに減る個数です。特殊トークンを除く語彙全体に占める割合は、cl100kが27.9%と最も高く、LLM-jp-4が13.9%と最も低くなりました。
␣of␣the・␣one␣of␣the・␣as␣well␣asのような句が1トークンです。こうした句をまとめられることが、PLaMoの英語での圧縮効率(§5で1トークンあたり6.3〜6.5バイト)が高かった理由の1つと考えられます。事前分割で語と語の間を必ず区切る対象は、複数の語を同じトークンにできません。
␣1のようにまとめていました。記号から小文字へ移る箇所が切れ目になる割合は、記号を語に付ける8種では36〜42%、残る5種では86〜100%でした。
| 対象 | 小文字から空白 | 空白から小文字 | 空白から大文字 | 記号から小文字 | 記号から空白 | 空白から数字 | 数字と数字 | 記号から改行 |
|---|---|---|---|---|---|---|---|---|
| o200k | 100 | 0 | 0 | 36 | 100 | 100 | 10 | 0 |
| cl100k | 100 | 0 | 0 | 36 | 100 | 100 | 10 | 0 |
| Gemma 4 | 100 | 3 | 2 | 100 | 100 | 100 | 100 | 100 |
| Qwen3.8 | 100 | 0 | 0 | 36 | 100 | 100 | 100 | 100 |
| Command A+ | 100 | 0 | 0 | 36 | 100 | 100 | 10 | 0 |
| DeepSeek V4 | 100 | 0 | 0 | 42 | 100 | 100 | 10 | 0 |
| Mistral Small 4 | 100 | 0 | 0 | 39 | 100 | 100 | 100 | 0 |
| GLM-5.1 | 100 | 0 | 0 | 36 | 100 | 100 | 16 | 0 |
| Grok 2 | 100 | 0 | 0 | 38 | 100 | 100 | 100 | 0 |
| LLM-jp-4 | 100 | 1 | 5 | 100 | 100 | 100 | 100 | 100 |
| PLaMo 3 | 85 | 3 | 17 | 86 | 65 | 0 | 100 | 100 |
| PLaMo 2 | 84 | 4 | 15 | 86 | 65 | 0 | 100 | 69 |
| Sarashina2.2 | 100 | 11 | 26 | 100 | 100 | 100 | 100 | 100 |
don'tの分割は、次のように分かれました。
- o200kとCommand A+:
don'tの1トークンです。 - cl100k・Qwen3.8・DeepSeek V4・Mistral Small 4・GLM-5.1・Grok 2:
don|'tの2トークンです。 - Gemma 4・PLaMo・Sarashina2.2:
don|'|tの3トークンです。 - LLM-jp-4:文頭の空白も付き、
␣don|'|tの3トークンです。
The quick brown fox jumps over the lazy dog.は9〜10トークンでしたが、すべて大文字にすると、どの対象でも増え、12〜18トークンになりました。
8. 多言語・絵文字・Unicodeの扱い
| 対象 | 中国語(簡体字) | 韓国語 | ロシア語 | アラビア語 | ヒンディー語 | タイ語 | ドイツ語 |
|---|---|---|---|---|---|---|---|
| o200k | 13 | 17 | 14 | 15 | 15 | 18 | 20 |
| cl100k | 22 | 30 | 26 | 30 | 49 | 41 | 26 |
| Gemma 4 | 12 | 15 | 14 | 16 | 14 | 15 | 20 |
| Qwen3.8 | 10 | 15 | 14 | 14 | 23 | 12 | 23 |
| Command A+ | 11 | 13 | 16 | 14 | 17 | 15 | 19 |
| DeepSeek V4 | 10 | 20 | 17 | 17 | 27 | 20 | 25 |
| Mistral Small 4 | 16 | 17 | 15 | 13 | 20 | 24 | 24 |
| GLM-5.1 | 10 | 23 | 15 | 19 | 42 | 39 | 25 |
| Grok 2 | 13 | 18 | 20 | 30 | 37 | 42 | 22 |
| LLM-jp-4 | 10 | 12 | 34 | 37 | 48 | 45 | 27 |
| PLaMo 3 | 14 | 29 | 31 | 27 | 45 | 29 | 29 |
| PLaMo 2 | 15 | 29 | 32 | 30 | 63 | 38 | 29 |
| Sarashina2.2 | 25 | 46 | 23 | 40 | 71 | 72 | 28 |
- 中国語(簡体字):今天天气很好,我们一起去公园散步吧。
- 韓国語:오늘은 날씨가 좋아서 공원에 산책하러 갑니다.
- ロシア語:Сегодня хорошая погода, пойдём гулять в парк.
- アラビア語:الطقس جميل اليوم، لنذهب للتنزه في الحديقة.
- ヒンディー語:आज मौसम अच्छा है, चलो पार्क में टहलने चलते हैं।
- タイ語:วันนี้อากาศดี ไปเดินเล่นที่สวนสาธารณะกันเถอะ
- ドイツ語:Die Donaudampfschifffahrtsgesellschaft überprüft die Geschwindigkeitsbegrenzung.
| 対象 | 絵文字を含むトークン | 😂 | 👩🔬 | 🇯🇵🇺🇸🇫🇷 | 全角空白1個 | 半角カナ14文字 | caféの合成済みと分解 |
|---|---|---|---|---|---|---|---|
| o200k | 74 | 1 | 5 | 12 | 1 | 25 | 2と3 |
| cl100k | 21 | 2 | 8 | 18 | 1 | 28 | 2と3 |
| Gemma 4 | 1,219 | 1 | 3 | 6 | 3 | 14 | 2と2 |
| Qwen3.8 | 36 | 2 | 8 | 18 | 1 | 15 | 2と2 |
| Command A+ | 116 | 1 | 4 | 9 | 1 | 28 | 2と2 |
| DeepSeek V4 | 51 | 1 | 5 | 12 | 1 | 28 | 3と3 |
| Mistral Small 4 | 10 | 4 | 9 | 24 | 1 | 35 | 3と4 |
| GLM-5.1 | 823 | 1 | 3 | 18 | 1 | 28 | 2と3 |
| Grok 2 | 30 | 1 | 5 | 12 | 1 | 28 | 2と3 |
| LLM-jp-4 | 1,056 | 2 | 7 | 7 | 2 | 15 | 1と2 |
| PLaMo 3 | 222 | 1 | 8 | 9 | 1 | 14 | 2と2 |
| PLaMo 2 | 220 | 1 | 8 | 9 | 1 | 14 | 2と2 |
| Sarashina2.2 | 77 | 1 | 9 | 24 | 1 | 14 | 3と2 |
eと結合用のアクセント記号U+0301の並びは、合成済みのéと同じトークンになります。ほかの12種は正規化をせず、合成済みと分解した形を別の文字列として扱います。
- Qwen3.8では、分解した形のアクセントや濁点、ハングルの字母の並びが、NFCで合成済みの形になります。
- Gemma 4・LLM-jp-4・Sarashina2.2では、空白を表す内部の記号
▁(U+2581)そのものが入力にあると、半角スペースに置き換わります。 - PLaMo 3では、内部で境界に使うU+EE00が消えます。
9. 同じ文字の繰り返し
| 対象 | a×64 | =×64 | .×64 | あ×32 | ー×16 | 。×16 | 笑×16 | 同じ文字だけのトークンの最長(空白を除く) |
|---|---|---|---|---|---|---|---|---|
| o200k | 8 | 1 | 1 | 32 | 4 | 8 | 16 | 112 |
| cl100k | 8 | 1 | 1 | 32 | 16 | 8 | 16 | 96 |
| Gemma 4 | 8 | 4 | 4 | 16 | 4 | 4 | 16 | 16 |
| Qwen3.8 | 8 | 1 | 1 | 16 | 2 | 8 | 8 | 96 |
| Command A+ | 4 | 1 | 1 | 16 | 4 | 8 | 16 | 128 |
| DeepSeek V4 | 8 | 1 | 1 | 32 | 16 | 4 | 8 | 128 |
| Mistral Small 4 | 32 | 2 | 4 | 16 | 16 | 8 | 16 | 76 |
| GLM-5.1 | 8 | 1 | 1 | 32 | 16 | 4 | 8 | 96 |
| Grok 2 | 4 | 1 | 1 | 16 | 16 | 16 | 16 | 128 |
| LLM-jp-4 | 17 | 5 | 5 | 9 | 2 | 4 | 9 | 16 |
| PLaMo 3 | 10 | 13 | 22 | 7 | 3 | 6 | 8 | 10 |
| PLaMo 2 | 16 | 13 | 22 | 7 | 3 | 6 | 8 | 10 |
| Sarashina2.2 | 14 | 8 | 8 | 4 | 2 | 4 | 8 | 8 |
=や.を64文字並べた入力は、事前分割に正規表現を使うBPEの8種のうち、Mistral Small 4を除く7種で1トークンになりました。語彙に同じ記号だけの長いトークンを持つためです。例えば、o200kには-が112文字、Command A+には128文字並んだトークンがあります。PLaMoでは、空白類を除く同じ文字の繰り返しは最長10文字で、.を64文字並べると22トークンになりました。PLaMo 3は、同じ文字が4個以上続く箇所の前後に境界を入れる前処理も持っています。
10. 特殊トークン
| 対象 | 特殊トークンとして登録された数 | 予約枠とみられるトークン | 終了を表す綴り | 入力文に書いて既定の方法で符号化した結果 |
|---|---|---|---|---|
| o200k | 1,090 | 1,081 | <|endoftext|> | エラー(tiktokenの既定) |
| cl100k | 5 | 0 | <|endoftext|> | エラー(tiktokenの既定) |
| Gemma 4 | 24 | 6,227 | <eos> | 特殊トークン1個 |
| Qwen3.8 | 21 | 0 | <|im_end|> | 特殊トークン1個 |
| Command A+ | 15 | 0 | <|END_OF_TURN_TOKEN|> | 特殊トークン1個 |
| DeepSeek V4 | 1,230 | 1,217 | <|end▁of▁sentence|> | 特殊トークン1個 |
| Mistral Small 4 | 1,000 | 972 | </s> | 特殊トークン1個 |
| GLM-5.1 | 18 | 0 | <|endoftext|> | 特殊トークン1個 |
| Grok 2 | 128 | 125 | <|eos|> | エラー(本測定のtiktoken実装) |
| LLM-jp-4 | 352 | 338 | <|return|> | 特殊トークン1個 |
| PLaMo 3 | 59 | 27 | <|plamo:eos|> | 特殊トークン1個 |
| PLaMo 2 | 29 | 23 | <|plamo:eos|> | 特殊トークン1個 |
| Sarashina2.2 | 7 | 0 | </s> | 特殊トークン1個 |
<unused…>という名前のトークンを6,227個持っています。
<|im_end|>が、会話の終了に使うものと同じIDになります。会話の終了として処理されるかは、そのIDを受け取るモデルや実装にも依存します。OpenAIの2種と本測定のGrok 2アダプターで使うtiktokenのencodeは、既定ではエラーにします。本記事のほかの節では、OpenAIの2種とGrok 2について、綴りを通常の文字列として分割する方法(encode_ordinary)を使いました。
<think>と<tool_call>を、PLaMoは</div>などHTMLのタグ76個を、特殊トークンの印を付けずに1トークンで持ちます。
11. 画像・音声・動画のトークン
| 対象 | 文章以外に受け付ける入力 | 画像・動画 | 音声 | 画像内の領域や座標 |
|---|---|---|---|---|
| o200k | — | なし | なし | なし |
| cl100k | — | なし | なし | なし |
| Gemma 4 | 画像・音声・動画 | <|image>、<|image|>、<image|>、<|video|> | <|audio>、<|audio|>、<audio|> | なし |
| Qwen3.8 | 画像・動画 | <|vision_start|>、<|vision_end|>、<|vision_pad|>、<|image_pad|>、<|video_pad|> | <|audio_start|>、<|audio_end|>、<|audio_pad|>、<tts_pad>、<tts_text_bos>、<tts_text_eod>、<tts_text_bos_single> | <|object_ref_start|>、<|object_ref_end|>、<|box_start|>、<|box_end|>、<|quad_start|>、<|quad_end|> |
| Command A+ | 画像 | <|START_OF_IMG|>、<|END_OF_IMG|>、<|IMG_LINE_BREAK|>、<|IMG_PATCH|> | なし | なし |
| DeepSeek V4 | なし | <|image|>、<|image2|>、<|rl_image_start|>、<|rl_image_pad|> | なし | <|ref|>、<|/ref|>、<|box|>、<|/box|>、<|point|>、<|/point|>、<|polygon|>、<|/polygon|> |
| Mistral Small 4 | 画像 | [IMG]、[IMG_BREAK]、[IMG_END] | [AUDIO]、[BEGIN_AUDIO] | なし |
| GLM-5.1 | なし | <|begin_of_image|>、<|end_of_image|>、<|begin_of_video|>、<|end_of_video|>、<|image|>、<|video|> | <|begin_of_audio|>、<|end_of_audio|>、<|begin_of_transcription|>、<|end_of_transcription|> | <|begin_of_box|>、<|end_of_box|> |
| Grok 2 | なし | なし | なし | なし |
| LLM-jp-4 | なし | なし | なし | なし |
| PLaMo 3 | なし | なし | なし | なし |
| PLaMo 2 | なし | なし | なし | なし |
| Sarashina2.2 | なし | なし | なし | なし |
| 対象 | 224×224 | 512×512 | 1024×768 | 1920×1080 | 4032×3024 |
|---|---|---|---|---|---|
| Gemma 4 | 258 | 258 | 268 | 266 | 268 |
| Qwen3.8 | 66 | 258 | 770 | 2,042 | 11,846 |
| Command A+ | 259 | 259 | 1,287 | 3,343 | 3,343 |
| Mistral Small 4 | 72 | 380 | 1,064 | 1,736 | 2,352 |
processor_config.jsonまたはpreprocessor_config.jsonとchat_template.jinjaを、Transformers 5.23.0のAutoProcessorで読み込みました。ほかの節とは別の環境で、PyTorch 2.15.0、torchvision 0.29.2、Pillow 13.0.0を使っています。全画素が0の画像1枚を含む会話を符号化し、画像用の特殊トークンだけを数えました。Mistral Small 4も、リポジトリーに含まれるTransformers用の設定で測っています。埋め込みを画像のベクトルに置き換える処理は、Transformersの各モデルの実装で確かめました。
| 対象 | 画像のベクトルを置くためのトークン | 開始・終了・区切り |
|---|---|---|
| Gemma 4 | <|image|> 264個 | 開始と終了の2個 |
| Qwen3.8 | <|image_pad|> 2,040個 | 開始と終了の2個 |
| Command A+ | <|IMG_PATCH|> 3,328個 | 開始と終了の2個、<|IMG_LINE_BREAK|> 13個 |
| Mistral Small 4 | [IMG] 1,705個 | [IMG_BREAK] 30個、[IMG_END] 1個 |
<|audio|>は、1秒で25個、10秒で250個、30秒と45秒ではどちらも750個でした。10秒の動画では、Gemma 4が32フレームに66個ずつの<|video|>を並べて2,112個、Qwen3.8が10組に220個ずつの<|video_pad|>を並べて2,200個になりました。
- Gemma 4は、指定した個数以内にベクトルが収まるように画像のサイズを調整します。既定の上限は280個で、70〜1,120個の5段階から選べます。1024×768ピクセルの画像では、上限に応じて63〜1,064個になりました。
- Qwen3.8は、サイズを調整した画像の32×32ピクセルごとに1個を割り当てます。画素数にほぼ比例して増え、設定された画素数の下限と上限から計算すると、64〜16,384個の範囲になります。
- Command A+は、画像を512×512ピクセルのタイルに分け、1枚を256個で表します。タイルは最大12枚で、2枚以上に分けたときは、全体を縮小した1枚が加わります。1920×1080ピクセル以上の2例は、どちらも13枚分になりました。
- Mistral Small 4は、長辺が1,540ピクセルを超える画像を縮小し、縦横を28の倍数に調整して、28×28ピクセルごとに1個を割り当てます。
[IMG_BREAK]を置き、最後の行を[IMG_END]で閉じます。Command A+は、タイルごとに<|IMG_LINE_BREAK|>を置きます。Gemma 4とQwen3.8は、開始と終了のトークンで画像全体を囲みます。縦横の位置を求めるための座標や格子のサイズは、トークン列とは別の配列でモデルに渡します。
<|audio|>を約1個並べ、上限は30秒分の750個です。動画では32フレームを取り出し、フレームごとに時刻を表す文字列と最大70個の<|video|>を並べます。Qwen3.8は毎秒2フレームを目安に、設定の下限と上限の範囲でフレームを取り出します。2フレームずつ組にし、組ごとに時刻を表す文字列と<|video_pad|>を並べます。
[AUDIO]・[BEGIN_AUDIO]も、固定した版の設定では使われません。これらのトークンは、画像や音声を扱う同じ系列のモデルと語彙を共有するために、登録されていると考えられます。
<|place_holder_mm_span_0021|>から<|place_holder_mm_span_0435|>までの415個を特殊トークンとして登録しています。§10では予約枠に数えました。表・行・セルの開始を表す<|table|>・<|tr|>・<|td|>と、それぞれの終了を表す3個も、追加トークンとして持っています。
12. 語彙の重なりと分割の一致
| 対象 | cl100kの語彙を含む割合 | o200kの語彙を含む割合 |
|---|---|---|
| o200k | 85% | 100% |
| Gemma 4 | 67% | 66% |
| Qwen3.8 | 97% | 68% |
| Command A+ | 88% | 74% |
| DeepSeek V4 | 59% | 41% |
| Mistral Small 4 | 56% | 50% |
| GLM-5.1 | 99% | 54% |
| Grok 2 | 77% | 50% |
| LLM-jp-4 | 42% | 27% |
| PLaMo 3 | 36% | 23% |
| PLaMo 2 | 35% | 20% |
| Sarashina2.2 | 29% | 17% |
| 対象 | 0%〜 | 10%〜 | 20%〜 | 30%〜 | 40%〜 | 50%〜 | 60%〜 | 70%〜 | 80%〜 | 90%〜 |
|---|---|---|---|---|---|---|---|---|---|---|
| o200k | 72/4 | 69/4 | 69/4 | 68/4 | 68/4 | 68/4 | 67/4 | 66/4 | 66/5 | 66/4 |
| cl100k | 88/0 | 88/0 | 87/1 | 91/1 | 92/1 | 92/1 | 91/1 | 91/2 | 92/1 | 91/1 |
| Gemma 4 | 75/2 | 68/4 | 65/6 | 64/6 | 62/6 | 62/7 | 62/7 | 61/8 | 61/8 | 28/38 |
| Qwen3.8 | 94/0 | 94/0 | 94/0 | 82/13 | 0/100 | 0/98 | 35/6 | 54/5 | 55/5 | 52/10 |
| Command A+ | 78/5 | 78/6 | 77/7 | 75/7 | 75/7 | 74/7 | 74/7 | 73/8 | 73/8 | 72/8 |
| DeepSeek V4 | 61/25 | 60/25 | 59/25 | 59/27 | 58/28 | 56/29 | 54/31 | 54/31 | 54/32 | 52/33 |
| Mistral Small 4 | 72/3 | 71/4 | 70/4 | 69/4 | 69/4 | 68/4 | 68/4 | 68/4 | 67/4 | 66/4 |
| GLM-5.1 | 91/0 | 92/0 | 92/0 | 92/0 | 92/0 | 93/0 | 32/63 | 0/97 | 28/26 | 44/4 |
| Grok 2 | 86/3 | 85/5 | 85/5 | 84/6 | 84/6 | 84/6 | 84/6 | 83/6 | 83/7 | 83/7 |
| LLM-jp-4 | 58/34 | 51/42 | 47/45 | 44/47 | 41/50 | 39/52 | 40/50 | 39/51 | 46/45 | 4/43 |
| PLaMo 3 | 92/0 | 100/0 | 100/0 | 100/0 | 65/33 | 3/97 | 4/96 | 3/97 | 4/96 | 36/38 |
| PLaMo 2 | 92/0 | 100/0 | 100/0 | 100/0 | 69/28 | 2/98 | 3/97 | 3/97 | 4/96 | 27/56 |
| Sarashina2.2 | 55/39 | 49/48 | 46/51 | 43/54 | 41/56 | 36/61 | 35/63 | 33/65 | 32/65 | 33/64 |
| 対象 | o200k | cl100k | Gemma 4 | Qwen3.8 | Command A+ | DeepSeek V4 | Mistral Small 4 | GLM-5.1 | Grok 2 | LLM-jp-4 | PLaMo 3 | PLaMo 2 | Sarashina2.2 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| o200k | — | 40 | 40 | 43 | 48 | 33 | 44 | 44 | 43 | 16 | 17 | 16 | 13 |
| cl100k | 40 | — | 23 | 39 | 33 | 35 | 33 | 64 | 50 | 17 | 21 | 21 | 16 |
| Gemma 4 | 40 | 23 | — | 38 | 44 | 31 | 33 | 31 | 34 | 24 | 18 | 16 | 14 |
| Qwen3.8 | 43 | 39 | 38 | — | 45 | 41 | 35 | 55 | 35 | 24 | 18 | 16 | 13 |
| Command A+ | 48 | 33 | 44 | 45 | — | 33 | 37 | 39 | 43 | 22 | 17 | 16 | 14 |
| DeepSeek V4 | 33 | 35 | 31 | 41 | 33 | — | 40 | 49 | 44 | 28 | 23 | 22 | 16 |
| Mistral Small 4 | 44 | 33 | 33 | 35 | 37 | 40 | — | 35 | 44 | 17 | 20 | 18 | 14 |
| GLM-5.1 | 44 | 64 | 31 | 55 | 39 | 49 | 35 | — | 47 | 24 | 21 | 19 | 15 |
| Grok 2 | 43 | 50 | 34 | 35 | 43 | 44 | 44 | 47 | — | 23 | 23 | 22 | 18 |
| LLM-jp-4 | 16 | 17 | 24 | 24 | 22 | 28 | 17 | 24 | 23 | — | 32 | 31 | 33 |
| PLaMo 3 | 17 | 21 | 18 | 18 | 17 | 23 | 20 | 21 | 23 | 32 | — | 84 | 44 |
| PLaMo 2 | 16 | 21 | 16 | 16 | 16 | 22 | 18 | 19 | 22 | 31 | 84 | — | 44 |
| Sarashina2.2 | 13 | 16 | 14 | 13 | 14 | 16 | 14 | 15 | 18 | 33 | 44 | 44 | — |
| 対象 | o200k | cl100k | Gemma 4 | Qwen3.8 | Command A+ | DeepSeek V4 | Mistral Small 4 | GLM-5.1 | Grok 2 | LLM-jp-4 | PLaMo 3 | PLaMo 2 | Sarashina2.2 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| o200k | — | 72 | 70 | 68 | 68 | 82 | 83 | 86 | 85 | 52 | 52 | 54 | 52 |
| cl100k | 72 | — | 52 | 50 | 50 | 62 | 71 | 66 | 65 | 39 | 39 | 40 | 39 |
| Gemma 4 | 70 | 52 | — | 90 | 88 | 80 | 70 | 76 | 76 | 67 | 64 | 63 | 67 |
| Qwen3.8 | 68 | 50 | 90 | — | 88 | 78 | 68 | 75 | 73 | 69 | 66 | 64 | 68 |
| Command A+ | 68 | 50 | 88 | 88 | — | 77 | 68 | 74 | 75 | 64 | 62 | 62 | 64 |
| DeepSeek V4 | 82 | 62 | 80 | 78 | 77 | — | 80 | 90 | 88 | 59 | 58 | 59 | 59 |
| Mistral Small 4 | 83 | 71 | 70 | 68 | 68 | 80 | — | 82 | 84 | 52 | 52 | 53 | 52 |
| GLM-5.1 | 86 | 66 | 76 | 75 | 74 | 90 | 82 | — | 88 | 56 | 55 | 56 | 56 |
| Grok 2 | 85 | 65 | 76 | 73 | 75 | 88 | 84 | 88 | — | 55 | 55 | 55 | 55 |
| LLM-jp-4 | 52 | 39 | 67 | 69 | 64 | 59 | 52 | 56 | 55 | — | 75 | 74 | 90 |
| PLaMo 3 | 52 | 39 | 64 | 66 | 62 | 58 | 52 | 55 | 55 | 75 | — | 96 | 77 |
| PLaMo 2 | 54 | 40 | 63 | 64 | 62 | 59 | 53 | 56 | 55 | 74 | 96 | — | 76 |
| Sarashina2.2 | 52 | 39 | 67 | 68 | 64 | 59 | 52 | 56 | 55 | 90 | 77 | 76 | — |
| 対象 | o200k | cl100k | Gemma 4 | Qwen3.8 | Command A+ | DeepSeek V4 | Mistral Small 4 | GLM-5.1 | Grok 2 | LLM-jp-4 | PLaMo 3 | PLaMo 2 | Sarashina2.2 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| o200k | — | 98 | 96 | 97 | 99 | 98 | 97 | 98 | 98 | 93 | 77 | 78 | 79 |
| cl100k | 98 | — | 96 | 98 | 98 | 98 | 98 | 100 | 99 | 93 | 77 | 77 | 79 |
| Gemma 4 | 96 | 96 | — | 97 | 96 | 96 | 95 | 96 | 97 | 97 | 78 | 76 | 81 |
| Qwen3.8 | 97 | 98 | 97 | — | 96 | 97 | 96 | 98 | 97 | 95 | 78 | 76 | 80 |
| Command A+ | 99 | 98 | 96 | 96 | — | 98 | 97 | 98 | 99 | 94 | 77 | 78 | 79 |
| DeepSeek V4 | 98 | 98 | 96 | 97 | 98 | — | 98 | 98 | 99 | 93 | 77 | 77 | 79 |
| Mistral Small 4 | 97 | 98 | 95 | 96 | 97 | 98 | — | 98 | 98 | 93 | 76 | 77 | 79 |
| GLM-5.1 | 98 | 100 | 96 | 98 | 98 | 98 | 98 | — | 99 | 93 | 77 | 77 | 79 |
| Grok 2 | 98 | 99 | 97 | 97 | 99 | 99 | 98 | 99 | — | 94 | 77 | 78 | 79 |
| LLM-jp-4 | 93 | 93 | 97 | 95 | 94 | 93 | 93 | 93 | 94 | — | 77 | 76 | 83 |
| PLaMo 3 | 77 | 77 | 78 | 78 | 77 | 77 | 76 | 77 | 77 | 77 | — | 95 | 67 |
| PLaMo 2 | 78 | 77 | 76 | 76 | 78 | 77 | 77 | 77 | 78 | 76 | 95 | — | 66 |
| Sarashina2.2 | 79 | 79 | 81 | 80 | 79 | 79 | 79 | 79 | 79 | 83 | 67 | 66 | — |
| 対象 | o200k | cl100k | Gemma 4 | Qwen3.8 | Command A+ | DeepSeek V4 | Mistral Small 4 | GLM-5.1 | Grok 2 | LLM-jp-4 | PLaMo 3 | PLaMo 2 | Sarashina2.2 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| o200k | — | 93 | 76 | 88 | 93 | 93 | 93 | 97 | 95 | 75 | 64 | 60 | 69 |
| cl100k | 93 | — | 73 | 85 | 88 | 88 | 91 | 94 | 90 | 72 | 61 | 58 | 66 |
| Gemma 4 | 76 | 73 | — | 84 | 78 | 76 | 75 | 76 | 78 | 87 | 82 | 77 | 85 |
| Qwen3.8 | 88 | 85 | 84 | — | 90 | 87 | 86 | 90 | 89 | 83 | 71 | 66 | 76 |
| Command A+ | 93 | 88 | 78 | 90 | — | 92 | 90 | 93 | 94 | 77 | 65 | 61 | 70 |
| DeepSeek V4 | 93 | 88 | 76 | 87 | 92 | — | 93 | 93 | 94 | 76 | 65 | 62 | 70 |
| Mistral Small 4 | 93 | 91 | 75 | 86 | 90 | 93 | — | 93 | 94 | 75 | 64 | 61 | 69 |
| GLM-5.1 | 97 | 94 | 76 | 90 | 93 | 93 | 93 | — | 95 | 75 | 64 | 60 | 69 |
| Grok 2 | 95 | 90 | 78 | 89 | 94 | 94 | 94 | 95 | — | 77 | 65 | 62 | 70 |
| LLM-jp-4 | 75 | 72 | 87 | 83 | 77 | 76 | 75 | 75 | 77 | — | 79 | 74 | 86 |
| PLaMo 3 | 64 | 61 | 82 | 71 | 65 | 65 | 64 | 64 | 65 | 79 | — | 93 | 79 |
| PLaMo 2 | 60 | 58 | 77 | 66 | 61 | 62 | 61 | 60 | 62 | 74 | 93 | — | 74 |
| Sarashina2.2 | 69 | 66 | 85 | 76 | 70 | 70 | 69 | 69 | 70 | 86 | 79 | 74 | — |
13. 語彙の使われ方とトークンの長さ
| 対象 | 総トークン数 | 1回以上使われた語彙の割合 | 出現の50%を占める種類数 | 出現の90%を占める種類数 | UTF-8の文字の途中で終わる割合 |
|---|---|---|---|---|---|
| o200k | 2,189,117 | 51.2% | 959 | 28,672 | 10.0% |
| cl100k | 3,244,038 | 36.1% | 209 | 3,546 | 19.5% |
| Gemma 4 | 2,053,725 | 40.3% | 1,289 | 27,554 | 0.2% |
| Qwen3.8 | 2,378,241 | 35.7% | 695 | 16,629 | 8.0% |
| Command A+ | 2,485,567 | 37.1% | 458 | 16,356 | 13.3% |
| DeepSeek V4 | 2,567,849 | 45.7% | 534 | 9,796 | 9.4% |
| Mistral Small 4 | 2,634,008 | 54.7% | 368 | 13,387 | 15.5% |
| GLM-5.1 | 2,836,136 | 37.4% | 332 | 7,654 | 14.6% |
| Grok 2 | 2,919,106 | 41.5% | 293 | 6,687 | 15.5% |
| LLM-jp-4 | 3,013,270 | 24.5% | 286 | 4,176 | 2.3% |
| PLaMo 3 | 3,344,648 | 41.8% | 147 | 4,425 | 19.2% |
| PLaMo 2 | 3,566,524 | 38.3% | 116 | 3,149 | 22.1% |
| Sarashina2.2 | 3,856,086 | 33.2% | 80 | 2,357 | 23.3% |
| 対象 | 平均の文字数 | 平均のバイト数 | 8文字以上の割合 | 最長のトークンの文字数 |
|---|---|---|---|---|
| o200k | 5.55 | 6.99 | 20.9% | 128 |
| cl100k | 6.36 | 6.42 | 29.6% | 128 |
| Gemma 4 | 5.63 | 7.78 | 25.2% | 31 |
| Qwen3.8 | 5.22 | 7.43 | 20.2% | 128 |
| Command A+ | 5.93 | 7.01 | 26.7% | 512 |
| DeepSeek V4 | 4.81 | 6.53 | 18.3% | 128 |
| Mistral Small 4 | 5.48 | 6.75 | 21.0% | 76 |
| GLM-5.1 | 5.36 | 6.64 | 21.7% | 512 |
| Grok 2 | 5.91 | 6.32 | 26.8% | 256 |
| LLM-jp-4 | 4.56 | 7.76 | 18.2% | 16 |
| PLaMo 3 | 4.91 | 7.99 | 17.7% | 32 |
| PLaMo 2 | 5.18 | 8.37 | 21.3% | 27 |
| Sarashina2.2 | 4.41 | 8.55 | 11.5% | 19 |
- cl100k・Qwen3.8・GLM-5.1には、
.translatesAutoresizingMaskIntoConstraintsのようなプログラムの識別子があります。 - Qwen3.8とGLM-5.1には、中国語のWebサイトで使われる免責や転載に関する定型文があります。
- DeepSeek V4・GLM-5.1・LLM-jp-4には、中国の政治に関する標語があります。
- PLaMoは、
␣pic.twitter.com/を1トークンで持っています。