LLMトークナイザー13種の分割の傾向

2026年11月17日公開

LLMトークナイザー13種の分割の傾向

大規模言語モデル(LLM)のトークナイザーは、文章をトークンと呼ばれる単位に分け、対応するIDの列に変換します。同じ文章でも、トークナイザーが違えばトークン数も切れ目の位置も変わります。例えば1234567は、今回調べたOpenAIの2種では3トークン、Gemma 4やQwen3.8では7トークンです。文末の「。」と改行が1つのトークンにまとまるものもあれば、必ず分かれるものもあります。
本記事では、公開されている13種のトークナイザーを同じ条件で動かし、分割の違いとその理由を約20の観点で調べました。同じ文章を少ないトークンで表せるほど圧縮効率が高いとし、切れ目の位置や、トークン列を文字列へ戻した結果も比べています。主な結果は次の5つです。
  • 単独の半角数字列は、左から最大3桁、右から最大3桁、1桁ずつの3通りの規則で区切られます。語彙によっては、そこからさらに細かく分かれます(§2)。
  • 英語とコードの文書では、記号と直後の改行を、7種がほぼ必ずまとめ、5種が必ず分けました。残るPLaMo 2は、約3割をまとめました(§3)。
  • かなを含む語彙が多い対象ほど、日本語を長いまとまりで分割する傾向がありました。かなを含むトークンの割合は、語彙の約0.2〜40%でした(§5・§6)。
  • 画像・音声・動画用と分かる名前のトークンは、6種の語彙にありました。画像を受け付ける4種では、画像のサイズや前処理の設定によって、1枚が占めるトークン数に差が出ました(§11)。
  • 語彙の重なりを調べると、GLM-5.1はcl100k_baseの語彙の99%を、Qwen3.8は97%を含んでいます(§12)。
BPE(Byte Pair Encoding)の仕組みはByte Pair Encoding(BPE)の仕組みと多言語対応で説明しています。

1. 比較の対象と方法

対象は、OpenAIのo200k_harmony(以下o200k)とcl100k_base(以下cl100k)、海外のモデルに付属する7種、日本語を重視した4種の、合わせて13種です。語彙と分割処理を確認できた版を固定して比較しました。
調査日は2026年11月17日です。Grok 2は、公開された語彙をtiktokenの形式で読み込み、語彙による分割の前に入力を区切る処理にはSGLangの固定版の正規表現を使いました。
測定に使った版の取得元です。OpenAIの2行はGitHubのリポジトリー名と設定名、ほかはHugging Faceのリポジトリー名を示します。版はコミットIDの先頭12桁です。
対象取得元版(先頭12桁)
o200kopenai/tiktoken/o200k_harmony4e71bbe0c078
cl100kopenai/tiktoken/cl100k_base4e71bbe0c078
Gemma 4google/gemma-4-E4B-it4ecc2ba63bca
Qwen3.8Qwen/Qwen3.8-27B1d4bf0f2ff60
Command A+CohereLabs/command-a-plus-05-2026-bf165fb6fde5fd12
DeepSeek V4deepseek-ai/DeepSeek-V4-Prob5968e9190ef
Mistral Small 4mistralai/Mistral-Small-4-119B-2603a11f36bebf70
GLM-5.1zai-org/GLM-5.126e1bd6e011f
Grok 2xai-org/grok-2daf4395a80ad
LLM-jp-4llm-jp/llm-jp-4-8b-instruct098f2b2cf330
PLaMo 3pfnet/plamo-3-610m-fin-instructa000b59209f1
PLaMo 2pfnet/plamo-2-1b92c75fd6eea9
Sarashina2.2sbintuitions/sarashina2.2-3b-instruct-v0.14f3626fb1b64
Grok 2の分割表示:Powered by xAI。配布元のxAI Community Licenseに基づく素材を含みます。All rights reserved. Copyright © xAI 2025. PLaMo 3の分割表示:Built with PLaMo(PLaMo Community License)。
語彙は、トークナイザーが扱うトークンの集合で、各トークンにIDが割り当てられています。表の語彙数は、追加トークンと特殊トークンを含む、登録済みのIDの数です。BPEは隣り合う単位を規則に従って結合し、Unigramは各トークンのスコアの合計が最大になる分割を選びます。
13種の語彙と分割方式です。語彙数は追加トークンと特殊トークンを含み、数字の列は単独の半角数字列の扱いを示します。NFCはUnicodeの正規化方式です(§8)。
対象語彙数方式語彙の単位空白の付き方連続する数字正規化
o200k201,088BPEバイト語の前に付ける3桁まで、左からなし
cl100k100,261BPEバイト語の前に付ける3桁まで、左からなし
Gemma 4262,144BPE文字語の前に付ける1桁ずつなし
Qwen3.8248,077BPEバイト語の前に付ける1桁ずつNFC
Command A+255,032BPEバイト語の前に付ける3桁まで、右からなし
DeepSeek V4129,280BPEバイト語の前に付ける3桁まで、左からなし
Mistral Small 4131,072BPEバイト語の前に付ける1桁ずつなし
GLM-5.1154,856BPEバイト語の前に付ける3桁まで、左から(語彙次第)なし
Grok 2131,072BPEバイト語の前に付ける1桁ずつなし
LLM-jp-4196,608Unigram文字語の前に付け、文頭にも足す1桁ずつなし
PLaMo 3107,520Unigram文字語の前にも後ろにも付く1桁ずつなし
PLaMo 2100,000Unigram文字語の前にも後ろにも付く1桁ずつなし
Sarashina2.2102,400Unigram文字語の前に付ける1桁ずつなし
「語彙の単位」がバイトのものは、入力をUTF-8のバイト列として扱い、文字の途中で切れるトークンも持ちます。文字のものは文字を基本単位とし、語彙にない文字をUTF-8の1バイトずつのトークンに分解します。「空白の付き方」は、空白を語と同じトークンに含めるときの位置を表します。半角スペースを␣と書くと、多くは␣theのように語の前に付けますが、PLaMoは␣of␣theや,␣のように、途中や末尾にも空白を含みます。
語彙からは文字種や長さの分布を、数字・空白・コードなど269個の短い入力例からは分割結果と規則の関係を調べました。さらに、同じ文書7,850件(UTF-8で約7.5 MB)を13種すべてで分割し、文字種の境目で切れる割合と、トークナイザー間で切れ目が一致する割合を集計しました。
共通の文書7,850件のうち、6,600件はWeb文書の抜粋、1,250件は比較用に作成した文章やコードです。集計は日本語200件、英語200件、両言語のコード計100件、その他の言語7,350件に分けました。日本語・英語・コードの比較には、いずれも比較用に作成した文書を使っています。
言語と文字体系による149区分から各50件、日本語・英語のニュース・SNS・コード・学術文書の8区分から各50件を用意しました。同じ言語でも文字体系が違えば別の区分に数えています。例えば、中国語の簡体字と繁体字は別区分です。
149区分のうち、日本語・英語と、中国語の簡体字・繁体字・韓国語(T2の3区分)、ドイツ語やアラビア語など12区分(T3)は、比較用に作成した一般文です。残る36区分(T4)と96区分(T5)の計6,600件は、Hugging FaceのFineWeb2の固定版に由来するWeb文書の抜粋です。ニュース・SNS・コード・学術文書も比較用に作成したもので、実際の報道や研究結果を収集したものではありません。
文字種ごとの割合は、該当する隣接2文字の総出現数を分母に、その間にトークンの切れ目がある回数を分子にしました。文字の途中で切れた位置は、この集計では数えません。2種のトークナイザーの切れ目の一致は、文書ごとに切れ目の積集合と和集合の大きさを求め、それぞれを対象文書全体で合計してから割りました。こちらは文字の途中のバイト位置も含みます。LLM-jp-4が追加する文頭の空白は、入力との位置合わせの際に除きました。正規化などで位置を合わせられない文書は境界の集計から除きますが、今回は全7,850件で位置を合わせられました。
文章の分割に使った環境はPython 3.14、Transformers 4.57.6、Tokenizers 0.22.2、tiktoken 0.14.0、SentencePiece 0.2.2です。集計値と測定条件(JSON)には、文字種別の件数・切れ目の数・語彙の統計と、入力本文の照合用SHA-256に加え、§11の画像・音声・動画用トークンの一覧と実測値を記録しています。乱数列はPythonのrandom.Random(20261117)で生成しました。
分割の例では、切れ目を|、改行(LF)を⏎で表します。単独ではUTF-8の文字列として解釈できないトークンは、<e3>のようにバイト列を16進数で示します。文章の分割では、会話の形式に必要な区切りや文頭・文末の特殊トークンを付けず、入力の文字列だけを分割しています。LLM-jp-4は文字列の先頭に空白にあたる記号を足すので、例の先頭に␣が現れ、先頭の文字と結び付かないときはトークン数が1つ増えます。

2. 数字

数字を何桁までまとめられるかは、事前分割と語彙の両方で決まります。事前分割は、語彙による分割に先立って入力を断片に分ける処理です。BPEでは、断片をまたいで結合できません。単独の半角数字列では、最大3桁をまとめるものと1桁ずつ切るものに分かれました。
半角数字の分割例と語彙数です。|はトークンの切れ目、␣は半角スペースです。乱数は64桁を300個生成し、総桁数を総トークン数で割っています。
対象12345673.141592026-11-17半角数字2桁・3桁のトークン数乱数64桁の1トークンあたりの桁数
o200k123|456|73|.|141|59202|6|-|11|-|171,1002.91
cl100k123|456|73|.|141|59202|6|-|11|-|171,1002.91
Gemma 41|2|3|4|5|6|73|.|1|4|1|5|92|0|2|6|-|1|1|-|1|701.00
Qwen3.81|2|3|4|5|6|73|.|1|4|1|5|92|0|2|6|-|1|1|-|1|701.00
Command A+1|234|5673|.|14|1592|026|-|11|-|171,1002.91
DeepSeek V4123|456|73|.|141|59202|6|-|11|-|171,1002.91
Mistral Small 41|2|3|4|5|6|73|.|1|4|1|5|92|0|2|6|-|1|1|-|1|701.00
GLM-5.1123|45|6|73|.|141|59202|6|-|11|-|172771.63
Grok 21|2|3|4|5|6|73|.|1|4|1|5|92|0|2|6|-|1|1|-|1|701.00
LLM-jp-4␣|1|2|3|4|5|6|7␣|3|.|1|4|1|5|9␣|2|0|2|6|-|1|1|-|1|700.98
PLaMo 31|2|3|4|5|6|73|.1|4|1|5|92|0|2|6|-|1|1|-|1|701.00
PLaMo 21|2|3|4|5|6|73|.1|4|1|5|92|0|2|6|-|1|1|-|1|701.00
Sarashina2.21|2|3|4|5|6|73|.|1|4|1|5|92|0|2|6|-|1|1|-|1|701.00
o200k・cl100k・DeepSeek V4・GLM-5.1は、事前分割の正規表現に\p{N}{1,3}を持ち、数字を左から3桁ずつの断片に分けます。1234567の断片は123|456|7になり、位取りの3桁区切り(1,234,567)とは一致しません。o200k・cl100k・DeepSeek V4では、この断片がそのままトークンになります。
Command A+は、左から3桁までまとめる規則より先に\d{1,3}(?=(?:\d{3})*\b)を適用し、右から3桁ずつになるように区切ります。1|234|567は位取りと一致し、小数部の14159も14|159と右から区切られます。数字の直後に英字やアンダースコアが続くと、この規則には一致せず、1234567kgは123|456|7|kgと左から区切られます。
Qwen3.8・Mistral Small 4・Grok 2は、正規表現が\p{N}で、数字を必ず1桁ずつ切ります。Gemma 4・LLM-jp-4・PLaMo・Sarashina2.2は、語彙に2桁以上の数字だけのトークンがなく、結果として1桁ずつになります。PLaMoには␣1や.5のように、空白や記号と数字1桁をまとめたトークンがあり、3.5kgは3|.5|kgの3トークンです。
3桁までまとめる規則を持つ5種のうち、o200k・cl100k・Command A+・DeepSeek V4は、00〜99と000〜999の1,100個をすべて語彙に持ちます。64桁の数字列は22トークンになり、乱数列300個の測定では、1トークンあたり2.91桁でした。GLM-5.1は3桁の数字を177個しか持たず、1234567は123|45|6|7と、3桁の断片の一部がさらに分かれます。4桁以上の数字を含むトークンも163個ありますが、事前分割が3桁で区切るので、分割の結果には現れません。
GLM-5.1の語彙には1985や␣2002のようなトークンがあり、163個のうち39個は先頭に空白が付きます。1985を分割すると198|5、␣2002は␣|200|2になり、もとのトークンは使われません。空白と3桁以下の数字をまとめた␣41のようなトークンも91個ありますが、事前分割が空白と数字を分けるので、同じく使われません。語彙の由来は§12で扱います。
日付の2026-11-17では、左から3桁までまとめる4種は年を202|6に、Command A+は2|026に分けました。全角数字の例1234567では、Command A+とGrok 2が「3」以降を文字の途中で分割し、ほかは1文字ずつ、または「12」をまとめて分割しました。漢数字「一億二千三百四十五万六千七百八十九」のトークン数には、DeepSeek V4の11からcl100kの27まで開きがありました。

3. 空白と改行

空白類の語彙には、半角スペース・改行・タブなどの1文字だけでなく、それらの繰り返しや組み合わせも含まれます。1トークンで表せる繰り返しの長さは、対象によって異なります。
特殊トークンを除く空白類の語彙です。最大連続数は、半角スペース・LF・タブのそれぞれ1種類だけでできたトークンの文字数です。改行を含む語彙の列ではLFを数えています。
対象空白類だけのトークン数半角スペースの最大連続数LFの最大連続数タブの最大連続数改行を含むトークンうち空白類以外も含む
o200k43412816202,2252,034
cl100k44112832202,1781,977
Gemma 4100313131310
Qwen3.844012832202000
Command A+50751264322,5442,280
DeepSeek V41571281611849799
Mistral Small 4129755161,0691,064
GLM-5.145451232202,1781,977
Grok 237525632171,8111,637
LLM-jp-468161110
PLaMo 339324860
PLaMo 24216246139
Sarashina2.22681110
空白や改行を挟んだ文字列でも、分割数に差が出ました。aとbの間に半角スペース16個を置くと、全体のトークン数はSarashina2.2が4、ほかは3でした。改行では、LLM-jp-4とSarashina2.2はLF1文字のトークンしか持たず、LFを増やすたびにトークンが増えます。PLaMo 2はLF2文字、PLaMo 3は4文字、Mistral Small 4は5文字までのトークンを持ち、残る8種は16文字以上の繰り返しを1トークンで持ちます。
aとbの間に指定数の半角スペースやLFを挿入し、入力全体のトークン数から2を引いた値です。空白が前後の英字と結合する場合も含みます。列見出しの数値は挿入する文字数です。
対象空白4空白16空白64空白200改行1改行2改行4改行8\r\n\r\n
o200k111211111
cl100k111211111
Gemma 4113711114
Qwen3.8111211111
Command A+111211111
DeepSeek V4111311114
Mistral Small 4111311124
GLM-5.1111211111
Grok 2111211111
LLM-jp-41141312484
PLaMo 3112711121
PLaMo 21141311244
Sarashina2.21282512484
\r\nを含むトークンを持つのはo200k・cl100k・Qwen3.8・Command A+・GLM-5.1・Grok 2・PLaMo 3で、ほかは\rと\nを別々のトークンにします。改行とその前の記号を同じトークンにまとめるかどうかにも、違いがあります。
記号と改行を含む入力の分割です。|はトークンの切れ目、␣は半角スペース、⏎はLFです。
対象です。⏎⏎次end.⏎⏎Nextf(x)⏎y
o200kです|。⏎⏎|次end|.⏎⏎|Nextf|(x|)⏎|y
cl100kです|。⏎⏎|次end|.⏎⏎|Nextf|(x|)⏎|y
Gemma 4です|。|⏎⏎|次end|.|⏎⏎|Nextf|(|x|)|⏎|y
Qwen3.8です|。|⏎⏎|次end|.|⏎⏎|Nextf|(x|)|⏎|y
Command A+です|。⏎⏎|次end|.⏎⏎|Nextf|(x|)⏎|y
DeepSeek V4です|。⏎⏎|次end|.⏎⏎|Nextf|(x|)⏎|y
Mistral Small 4です|。⏎⏎|次end|.⏎⏎|Nextf|(x|)⏎|y
GLM-5.1です|。⏎⏎|次end|.⏎⏎|Nextf|(x|)⏎|y
Grok 2です|。⏎⏎|次end|.⏎⏎|Nextf|(x|)⏎|y
LLM-jp-4␣|です|。|⏎|⏎|次␣end|.|⏎|⏎|Next␣f|(|x|)|⏎|y
PLaMo 3です。|⏎⏎|次end|.|⏎⏎|Nextf|(|x|)|⏎|y
PLaMo 2です。⏎|⏎|次end|.⏎⏎|Nextf|(|x|)|⏎|y
Sarashina2.2です|。|⏎|⏎|次end|.|⏎|⏎|Nextf|(|x|)|⏎|y
o200k・cl100k・Command A+・DeepSeek V4・Mistral Small 4・GLM-5.1・Grok 2では、表の例の句読点や閉じ括弧と後ろの改行がまとまり、。⏎⏎や)⏎が1トークンになりました。事前分割の正規表現が、[^\s\p{L}\p{N}]+[\r\n]*のように、記号の並びとそれに続く改行を1つの断片にし、語彙にも対応するトークンがあるためです。改行と空白類以外の文字を含むトークンは、o200kで2,034個、Command A+で2,280個あります。英語200文書とコード100文書では、記号の直後に改行が来る箇所は、この7種でほぼすべて同じトークンにまとまりました。
Gemma 4・LLM-jp-4・PLaMo 3・Sarashina2.2は、改行を含むトークンが空白類だけでできていて、記号と改行は必ず分かれます。Qwen3.8も、語彙に記号と改行をまとめたトークンが1つもないため、必ず分かれます。記号と改行を同じ断片にする正規表現を持っていても、語彙になければ1トークンにはできません。PLaMo 2は。⏎など39個を持ち、同じ英語とコードの文書では、記号の直後の改行のうち31%がまとまりました。
記号と改行が分かれる対象では、改行のトークンを直前の記号から独立して扱えます。まとまる対象では、.⏎⏎・。⏎⏎・:⏎⏎のように、直前の記号ごとに別のトークンになります。改行の検出や文法による出力制約をトークンIDに基づいて実装する場合は、記号と改行を含むトークンにも対応する必要があります。
改行に続く字下げにも差があります。事前分割に正規表現を使うBPEの8種(o200k・cl100k・Qwen3.8・Command A+・DeepSeek V4・Mistral Small 4・GLM-5.1・Grok 2)とLLM-jp-4は、4個の空白による字下げを␣␣␣|␣ifのように、3個の空白と、空白つきの語に分けました。Gemma 4・PLaMo 3・Sarashina2.2は␣␣␣␣|ifと、字下げ全体を1トークンにしました。PLaMo 2は⏎␣␣␣␣のように、改行と字下げをまとめる場合もあります。この形の語彙を20個持ちますが、PLaMo 3にはありません。
全角空白1文字をそのまま表すトークンは、Gemma 4だけが持っていません。Gemma 4は全角空白をUTF-8の3バイトに分け、3トークンで表します。

4. コードと記法

コードや記法では、記号と識別子の切り方に加え、数字(§2)と改行(§3)の扱いがトークン数に影響します。
コードと記法の短い入力例のトークン数です。自動の文頭・文末トークンは付けていません。
対象Pythonの関数get_user_profile_by_idHTMLの断片空白なしのJSONYAMLUUIDSHA-1の16進40桁
o200k3551717221823
cl100k3551716221823
Gemma 44491916283634
Qwen3.83851716283434
Command A+3551716211823
DeepSeek V43551718231824
Mistral Small 43851718243435
GLM-5.13551716222327
Grok 23851716233434
LLM-jp-44791921293735
PLaMo 3445929293635
PLaMo 2415929253635
Sarashina2.25492016293635
表に使った入力です。改行と字下げも入力に含めています。
Pythonの関数:
def fibonacci(n: int) -> int:
    if n < 2:
        return n
    return fibonacci(n - 1) + fibonacci(n - 2)
HTMLの断片:
<div class="container"><a href="/index.html">Home</a></div>
空白なしのJSON:
{"a":1,"b":[{"c":null},{"d":"e"}]}
YAML:
services:
  web:
    image: nginx:latest
    ports:
      - "80:80"
UUID:550e8400-e29b-41d4-a716-446655440000
SHA-1:da39a3ee5e6b4b0d3255bfef95601890afd80709
事前分割に正規表現を使うBPEの8種は、語の直前の記号1つを語と同じ断片に入れます。cl100kでは[^\r\n\p{L}\p{N}]?\p{L}+という形で、ほかの7種も同じ役割の規則を持ちます。_user・(n・.htmlのようなトークンができるので、get_user_profile_by_idは5トークンで済みます。Gemma 4・LLM-jp-4・Sarashina2.2は記号を別のトークンにするので9トークンです。PLaMoは_user_のように前後の記号を含むトークンを持ち、5トークンになります。
同じ語でも、直前が空白か記号かで先頭のトークンが変わります。多くの対象は、(token・_token・␣tokenを別々のトークンとして持っています。DeepSeek V4では、tokenization単独ならtoken|izationですが、前に/を付けると/t|oken|izationとなり、語の途中の切れ目まで変わりました。
直前の文字と大文字・小文字によるtokenizationの分割の違いです。|はトークンの切れ目、␣は半角スペースです。
対象単独空白のあと(のあと_のあと/のあと大文字で始める
o200ktoken|ization␣token|ization(token|ization_token|ization/token|izationToken|ization
cl100ktoken|ization␣token|ization(token|ization_token|ization/token|izationToken|ization
Gemma 4token|ization␣token|ization(|token|ization_|token|ization/|token|izationToken|ization
Qwen3.8token|ization␣token|ization(token|ization_token|ization/token|izationToken|ization
Command A+token|ization␣tokenization(token|ization_token|ization/token|izationToken|ization
DeepSeek V4token|ization␣token|ization(token|ization_token|ization/t|oken|izationToken|ization
Mistral Small 4token|ization␣token|ization(token|ization_token|ization/|token|izationToken|ization
GLM-5.1token|ization␣token|ization(token|ization_token|ization/token|izationToken|ization
Grok 2token|ization␣token|ization(token|ization_token|ization/token|izationToken|ization
LLM-jp-4␣token|ization␣|␣token|ization␣(|token|ization␣_|token|ization␣/|token|ization␣|Token|ization
PLaMo 3token|ization␣token|ization(|token|ization_|token|ization/|token|izationToken|ization
PLaMo 2token|ization␣token|ization(|token|ization_|token|ization/|token|izationToken|ization
Sarashina2.2token|ization␣token|ization(|token|ization_|token|ization/|token|izationToken|ization
HTMLの断片でPLaMoが9トークンと少ないのは、<div␣class="や</a>のように、タグ名と属性の一部や閉じタグをまとめたトークンを持つためです。一方、空白なしのJSON({"a":1,"b":[{"c":null},{"d":"e"}]})は29トークンで、ほかの16〜21トークンより多くなりました。o200kが":や},{"を1トークンにするのに対して、PLaMoは引用符や括弧の多くを1文字ずつのトークンにします。
表のUUIDとSHA-1の値は、数字を3桁までまとめる規則を持つ対象が18〜27トークン、1桁ずつ切る対象が34〜37トークンでした。これらの例でも、数字をまとめられるかどうかが分割数の差に表れました。
乱数で作った文字列では、英小文字や英数字の列が、どの対象でも1トークンあたり1.3〜2.0バイトになりました。16進数の列は、数字をまとめる対象が1.5〜1.8バイト、まとめない対象が約1.1バイトでした。ひらがなの列では、日本語を重視した4種が3.3〜3.5バイト(1文字強)、cl100kが2.1バイトでした。
各種類300個の文字列について、総UTF-8バイト数を総トークン数で割りました。Base64は48バイトの乱数を符号化した64文字です。ひらがなはU+3041〜U+3093、漢字はU+4E00〜U+9FA5から一様に選んでいます。自然文に現れる文字の頻度とは異なります。
種類ごとに生成した乱数列300個の総UTF-8バイト数を総トークン数で割った値です。
対象16進64桁Base64英小文字32字英数字32字ひらがな32字漢字32字
o200k1.741.461.911.462.721.57
cl100k1.751.391.841.392.111.28
Gemma 41.131.421.951.453.191.44
Qwen3.81.131.361.891.353.051.73
Command A+1.781.541.961.542.931.64
DeepSeek V41.721.421.841.422.621.72
Mistral Small 41.121.311.771.302.861.49
GLM-5.11.491.391.861.393.081.64
Grok 21.141.441.911.442.671.60
LLM-jp-41.111.301.821.313.411.68
PLaMo 31.121.341.911.373.511.19
PLaMo 21.121.331.881.363.491.16
Sarashina2.21.121.351.951.383.291.09

5. 言語と文字種の配分

トークンを文字種で分類すると、どの文字体系に語彙が多く割り当てられているかが分かります。
特殊トークンを除く語彙の文字種別の割合(%)です。数字・記号・空白類を無視して文字種を分類しています。
対象ラテン文字漢字だけかなを含むハングルキリル文字アラビア文字インド系数字・記号・空白類ほかの文字不完全なバイト列
o200k67.43.70.41.27.14.04.13.87.50.8
cl100k89.60.80.20.30.70.10.07.40.10.8
Gemma 460.67.31.91.85.13.211.13.55.40.0
Qwen3.855.721.52.22.77.53.50.82.03.60.4
Command A+73.04.92.03.13.43.02.13.92.32.4
DeepSeek V456.127.50.70.94.12.41.03.82.41.1
Mistral Small 467.92.71.23.45.97.22.93.14.51.1
GLM-5.165.218.40.60.46.41.40.15.90.90.7
Grok 283.55.10.81.03.00.10.35.00.40.8
LLM-jp-440.825.520.27.00.20.20.24.51.40.1
PLaMo 350.516.129.50.90.60.40.11.10.60.1
PLaMo 249.816.131.00.70.50.20.11.20.30.1
Sarashina2.240.416.240.20.11.10.00.01.70.10.1
文字種の分類では、数字・記号・空白類を除き、残る文字が属するUnicodeのScriptを調べています。例えば「漢字だけ」の列には、漢字と句読点をまとめたトークンも含まれます。「かなを含む」は、ひらがな、カタカナ、その混在、かなと漢字の混在を合計しています。ラテン文字とかなの混在などは「ほかの文字」です。
「インド系」は、デーヴァナーガリー・ベンガル・タミル・テルグの4文字体系です。「数字・記号・空白類」には絵文字も含みます。「不完全なバイト列」は、単独ではUTF-8として解釈できないトークンです。各列は重複しない分類で、端数処理のため合計が100%にならない場合があります。
cl100kは語彙の89.6%がラテン文字でした。o200kでは67.4%で、キリル文字・アラビア文字・インド系の文字がそれぞれ約4〜7%を占めました。Gemma 4はインド系の文字が11.1%と多く、Mistral Small 4はアラビア文字が7.2%でした。Qwen3.8・DeepSeek V4・GLM-5.1は、漢字だけのトークンが約18〜28%、日本語を重視した4種は、かなを含むトークンが約20〜40%でした。
漢字だけのトークンは、文字からは日本語か中国語かを決めきれません。そこで、日本語用のShift_JISと中国語用のGB2312・Big5の収録文字の違いを使って分類しました。各方式にだけ含まれる字を持つトークンと、そうした字を持たないトークンを分けています。
Pythonのshift_jisで符号化でき、gb2312とbig5のどちらでも符号化できない漢字を、表では「Shift_JISのみ」の字としています。「図」「働」「込」などの新字体や国字が当たります。「GB2312・Big5のみ」は、gb2312またはbig5で符号化でき、shift_jisでは符号化できない漢字です。簡体字や、Shift_JISで表せない繁体字などが当たります。
それぞれに固有の字を1字以上含み、もう一方に固有の字を含まないトークンを各列に数えました。「どちらも含まない」には、「東京」「社会」のような共通の字に加え、3つの方式のいずれでも符号化できない字も入ります。文字コードの収録範囲による分類なので、言語そのものの判定とは区別します。
特殊トークンを除く、かな・漢字の語彙数です。数字・記号・空白類を無視して分類しています。漢字の3列には、両側に固有の字を含むLLM-jp-4の1トークンを含めていません。
対象ひらがなだけカタカナだけかなの混在・かなと漢字漢字だけ(どちらも含まない)漢字だけ(Shift_JISのみの字を含む)漢字だけ(GB2312・Big5のみの字を含む)
o200k317403794,4551272,815
cl100k876915467286
Gemma 41,5442,0281,35312,0517646,445
Qwen3.81,8631,6321,96428,11752324,794
Command A+1,8091,4131,8318,0525053,850
DeepSeek V448323915419,69815615,332
Mistral Small 47725892592,484133866
GLM-5.147034611715,18611613,172
Grok 24375001564,4961781,967
LLM-jp-48,6167,53623,52929,1652,97017,953
PLaMo 310,8207,79213,12913,9082,644748
PLaMo 211,0387,37712,56512,9662,615540
Sarashina2.28,2328,42324,54413,3343,163113
中国語用の文字コードにだけ含まれる字を持つトークンは、Qwen3.8が約2.5万個、DeepSeek V4が約1.5万個、GLM-5.1が約1.3万個でした。LLM-jp-4も約1.8万個を持ち、かなを含む語彙の多さと合わせて、日本語と中国語の両方の文字列を多く含むと考えられます。PLaMoとSarashina2.2では1,000個未満で、Shift_JISにだけ含まれる字を持つトークンのほうが多くなりました。
言語ごとの圧縮効率にも差がありました。共通の文書の総UTF-8バイト数を総トークン数で割ると、英語ではSarashina2.2を除く12種が1トークンあたり5.3〜6.5バイトでした。日本語では13種で2.6〜6.5バイトと、約2.5倍の開きがありました。同じ言語の文書を比べているので、値が大きいほど少ないトークンで表せたことを意味します。
英語と日本語はそれぞれ200件、コードは100件を集計しました。残る文書は、§1の区分ごとにまとめています。T2は中国語の簡体字・繁体字と韓国語の150件、T3はドイツ語やアラビア語など12区分の600件、T4は36区分の1,800件、T5は96区分の4,800件です。T4とT5はWeb文書の抜粋、ほかは比較用に作成した文書です。
同じ文書集合で比較した、1トークンあたりのUTF-8バイト数です。各区分の総バイト数を総トークン数で割っています。言語・ジャンルの区分ごとに入力は異なります。
対象英語日本語コード中国語・韓国語(T2)T3T4T5
o200k5.523.613.703.834.904.682.96
cl100k5.472.623.502.403.292.152.22
Gemma 45.404.903.414.425.034.503.23
Qwen3.85.395.093.604.975.203.762.73
Command A+5.585.203.904.644.943.232.69
DeepSeek V45.474.193.644.324.143.312.60
Mistral Small 45.403.623.563.584.613.472.47
GLM-5.15.473.953.723.684.052.532.46
Grok 25.523.983.713.993.592.492.39
LLM-jp-45.286.353.304.992.582.432.36
PLaMo 36.296.483.413.153.241.962.13
PLaMo 26.486.403.553.102.981.702.07
Sarashina2.24.436.343.102.072.451.621.93
日本語を重視した4種は、T4とT5で1トークンあたり1.6〜2.4バイトとなり、日本語より低い値でした。これらの言語では、語彙にない文字がバイト単位に分解される例が多く見られました。

6. 日本語

日本語では、漢字・ひらがな・カタカナの組み合わせによって、隣り合う文字をまとめる割合に差が出ました。
比較用に作成した日本語200文書で、隣り合う2文字の間がトークンの切れ目になった割合(%)です。「日本語の記号」は句読点・括弧・中黒・長音などを含みます。
対象漢字と漢字ひらがなとひらがなカタカナとカタカナ漢字からひらがなひらがなから漢字ひらがなから日本語の記号
o200k7256529899100
cl100k948491100100100
Gemma 44226186989100
Qwen3.83824206787100
Command A+4324256687100
DeepSeek V45137639096100
Mistral Small 48043579198100
GLM-5.16140559296100
Grok 26640529197100
LLM-jp-4211954669100
PLaMo 323205547633
PLaMo 223215577832
Sarashina2.2201964570100
漢字が2字続く箇所で切れる割合は、cl100kの94%からSarashina2.2の20%まで開きました。o200k・Mistral Small 4・Grok 2・GLM-5.1・DeepSeek V4は51〜80%、Gemma 4・Qwen3.8・Command A+は38〜43%、日本語を重視した4種は20〜23%で、切れる割合が低い対象ほど、漢字を長くまとめていました。カタカナでは、日本語を重視した4種が隣り合う文字の間を切る割合は5〜6%で、ほかの9種の18〜91%より低くなりました。
漢字からひらがなへ移る箇所には、送り仮名や助詞の始まりがあります。今回の文書では、o200kやcl100kでほぼ必ず切れ目になり、日本語を重視した4種では約半分が「食べ」のように前の漢字とまとまりました。PLaMoは、ひらがなから日本語の記号へ移る箇所でも約3分の2がまとまりました。「です。」「ました。」のように、文末の表現と句点を合わせたトークンを多く持つためです。
「ありがとうございます。よろしくお願いいたします。」の分割とトークン数です。|はトークンの切れ目、␣は半角スペースです。単独ではUTF-8として解釈できないトークンは、バイト列を16進数で示しています。
対象分割トークン数
o200kありがとうございます|。|よろしく|お願|いい|た|します|。8
cl100kありがとうござ|います|。|よ|ろ|<e38197e381>|<8f>|お|<e9a1>|<98>|い|い|た|します|。15
Gemma 4ありがとうございます|。|よろしく|お願いいたします|。5
Qwen3.8ありがとうございます|。|よろしくお願いいたします|。4
Command A+ありがとうございます|。|よろしくお願い|いたします|。5
DeepSeek V4あり|が|とう|ござ|います|。|よ|ろ|しく|お|願|い|いた|します|。15
Mistral Small 4ありがとうございます|。|よろしく|お願|いい|たし|ます|。8
GLM-5.1ありがとうござ|います|。|よ|ろ|しく|お|願い|いたします|。10
Grok 2あり|が|とう|ご|ざ|い|ます|。|よ|ろ|しく|お|願|い|いた|します|。17
LLM-jp-4␣ありがとうございます|。|よろしくお願いいたします|。4
PLaMo 3ありがとうございます。|よろしくお願いいたします。2
PLaMo 2ありがとうございます。|よろしくお願いいたします。2
Sarashina2.2ありがとうござい|ます|。|よろしくお願い|いたします|。6
かなを含む長いトークンには、あいさつやWebページの定型句が現れます。LLM-jp-4やPLaMoは、「ご覧いただきありがとうございます」のような句を1トークンで持っています。
かなを含むトークンの長さ上位3個です。文字数には先頭の空白も含め、半角スペースを␣で示しています。
対象かなを含む最長のトークン(上位3個)
o200k「ありがとうございました」、「ありがとうございます」、「␣風吹けば名無し」
cl100k「ありがとうござ」、「ありがとう」、「こんにちは」
Gemma 4「ありがとうございました」、「のではないでしょうか」、「ありがとうございます」
Qwen3.8「よろしくお願いいたします」、「␣ありがとうございました」、「ありがとうございました」
Command A+「ありがとうございました」、「のではないでしょうか」、「ありがとうございます」
DeepSeek V4「かもしれません」、「ではありません」、「してください」
Mistral Small 4「ありがとうございました」、「ありがとうございます」、「ラクターデザイン」
GLM-5.1「かもしれません」、「ありがとうござ」、「してください」
Grok 2「␣外部リンク」、「キャラクター」、「してください」
LLM-jp-4「ご覧いただきありがとうございます」、「ブログランキングに参加しています」、「このレビューは参考になりましたか」
PLaMo 3「ご覧いただきありがとうございます」、「いただきありがとうございました。」、「あけましておめでとうございます。」
PLaMo 2「いただきありがとうございました。」、「あけましておめでとうございます。」、「明けましておめでとうございます」
Sarashina2.2「だろうと思います」、「お願いいたします」、「にお越しください」
半角カナの例ハンカクカタカナガギグは14文字で、濁点も1文字と数えます。これを分割すると、Gemma 4・Qwen3.8と日本語を重視した4種では14〜15トークン、ほかはバイト列の断片に分かれて25〜35トークンでした。
人名の例では、LLM-jp-4とSarashina2.2が「徳川家康」「大谷翔平」をそれぞれ1トークンで持っています。「徳川家康」を分割すると、PLaMoは「徳川|家康」、海外の対象の多くは1文字ずつになりました。

7. 英語の語と空白

比較用に作成した英語200文書から語を取り出し、先頭に空白を付けて分割すると、Sarashina2.2を除く12種では約95〜99%が1トークンでした。差が出たのは、同じ英字列の表記違いが語彙に占める割合と、語と語の間の空白を含むトークンの有無です。
特殊トークンを除く語彙の表記違いと、英語200文書から取り出した語の分割結果です。語の抽出と分割の条件を揃え、文書内の重複を除いた22,195件を測りました。
対象英字列のトークン(先頭空白を許容)先頭空白を除き小文字にそろえた種類表記違いの重複が語彙に占める割合英単語間の空白をまたぐトークン空白つきの語が1トークンになる割合
o200k105,79467,81619.0%098.3%
cl100k68,59140,59227.9%097.8%
Gemma 4139,42985,97520.4%099.2%
Qwen3.8104,06067,55714.7%097.9%
Command A+143,69490,35920.9%099.3%
DeepSeek V463,82141,69817.3%098.0%
Mistral Small 470,68049,57316.2%096.6%
GLM-5.175,74446,28819.0%097.8%
Grok 289,12756,38725.0%098.9%
LLM-jp-478,32951,02613.9%098.5%
PLaMo 343,82824,52018.0%8,19195.0%
PLaMo 237,62121,08116.5%10,05095.7%
Sarashina2.240,32123,95616.0%073.4%
英語200文書から、前に半角スペース、後ろに半角スペース・カンマ・ピリオドがあるASCII英字列を取り出しました。同じ文書内での重複を除き、文書が違えば同じ語も別に数えています。各語の前に半角スペース1個を付けて分割しました。LLM-jp-4では自動で加わる文頭の空白の影響を除くため、a・半角スペース・語を連結した入力を分割し、aだけを分割したときのトークン数を引きました。
語彙中の英字列の集計は、先頭に半角スペースが最大1個付いた、2文字以上のASCII英字列を対象にしています。「表記違いの重複」は、the・␣the・The・␣The・THE・␣THEのように、大文字と小文字、先頭の空白の有無だけが違うトークンを1種類と数えたときに減る個数です。特殊トークンを除く語彙全体に占める割合は、cl100kが27.9%と最も高く、LLM-jp-4が13.9%と最も低くなりました。
英単語間の空白をまたぐトークンを持つのはPLaMoだけで、PLaMo 3に8,191個あります。␣of␣the・␣one␣of␣the・␣as␣well␣asのような句が1トークンです。こうした句をまとめられることが、PLaMoの英語での圧縮効率(§5で1トークンあたり6.3〜6.5バイト)が高かった理由の1つと考えられます。事前分割で語と語の間を必ず区切る対象は、複数の語を同じトークンにできません。
Sarashina2.2では、測定した語が空白つきで1トークンになる割合は73.4%でした。ほかの12種より低く、空白と語を別のトークンにする例がありました。
英語とコードの文書で文字種ごとの境界を調べると、PLaMoは空白から数字へ移る箇所を␣1のようにまとめていました。記号から小文字へ移る箇所が切れ目になる割合は、記号を語に付ける8種では36〜42%、残る5種では86〜100%でした。
英語200文書とコード100文書の、文字種ごとの境界が切れ目になった割合(%)です。
対象小文字から空白空白から小文字空白から大文字記号から小文字記号から空白空白から数字数字と数字記号から改行
o200k1000036100100100
cl100k1000036100100100
Gemma 410032100100100100100
Qwen3.81000036100100100100
Command A+1000036100100100
DeepSeek V41000042100100100
Mistral Small 410000391001001000
GLM-5.11000036100100160
Grok 210000381001001000
LLM-jp-410015100100100100100
PLaMo 38531786650100100
PLaMo 2844158665010069
Sarashina2.21001126100100100100100
短縮形don'tの分割は、次のように分かれました。
  • o200kとCommand A+:don'tの1トークンです。
  • cl100k・Qwen3.8・DeepSeek V4・Mistral Small 4・GLM-5.1・Grok 2:don|'tの2トークンです。
  • Gemma 4・PLaMo・Sarashina2.2:don|'|tの3トークンです。
  • LLM-jp-4:文頭の空白も付き、␣don|'|tの3トークンです。
大文字への変換でも分割数が変わりました。The quick brown fox jumps over the lazy dog.は9〜10トークンでしたが、すべて大文字にすると、どの対象でも増え、12〜18トークンになりました。

8. 多言語・絵文字・Unicodeの扱い

多言語の短い入力例でも、語彙の配分に応じた差が見られました。
言語ごとに用意した短文のトークン数です。各列の入力を13種で比べています。入力の長さや意味は言語ごとに異なります。
対象中国語(簡体字)韓国語ロシア語アラビア語ヒンディー語タイ語ドイツ語
o200k13171415151820
cl100k22302630494126
Gemma 412151416141520
Qwen3.810151414231223
Command A+11131614171519
DeepSeek V410201717272025
Mistral Small 416171513202424
GLM-5.110231519423925
Grok 213182030374222
LLM-jp-410123437484527
PLaMo 314293127452929
PLaMo 215293230633829
Sarashina2.225462340717228
o200k・Gemma 4・Qwen3.8・Command A+では、ここで使った7言語の例がいずれも10〜23トークンに収まりました。cl100kと日本語を重視した4種は、ヒンディー語の例で45トークン以上でした。LLM-jp-4では、中国語の例が10トークン、韓国語の例が13種で最少の12トークンでした。
以下の7文をそれぞれ単独で分割しました。
  • 中国語(簡体字):今天天气很好,我们一起去公园散步吧。
  • 韓国語:오늘은 날씨가 좋아서 공원에 산책하러 갑니다.
  • ロシア語:Сегодня хорошая погода, пойдём гулять в парк.
  • アラビア語:الطقس جميل اليوم، لنذهب للتنزه في الحديقة.
  • ヒンディー語:आज मौसम अच्छा है, चलो पार्क में टहलने चलते हैं।
  • タイ語:วันนี้อากาศดี ไปเดินเล่นที่สวนสาธารณะกันเถอะ
  • ドイツ語:Die Donaudampfschifffahrtsgesellschaft überprüft die Geschwindigkeitsbegrenzung.
絵文字や特殊な文字では、語彙にあるかどうかで結果が大きく変わります。
特殊トークンを除く、絵文字を含む語彙の種類数と、各入力例のトークン数です。絵文字の集計はUnicodeのExtended_Pictographicに一致する文字を含むものを数えています。半角カナはハンカクカタカナガギグの14文字、caféは合成済みのéとe+U+0301の2通りです。
対象絵文字を含むトークン😂👩‍🔬🇯🇵🇺🇸🇫🇷全角空白1個半角カナ14文字caféの合成済みと分解
o200k7415121252と3
cl100k2128181282と3
Gemma 41,2191363142と2
Qwen3.83628181152と2
Command A+1161491282と2
DeepSeek V45115121283と3
Mistral Small 41049241353と4
GLM-5.182313181282と3
Grok 23015121282と3
LLM-jp-41,0562772151と2
PLaMo 32221891142と2
PLaMo 22201891142と2
Sarashina2.27719241143と2
絵文字を含むトークンは、Gemma 4が1,219個、LLM-jp-4が1,056個、GLM-5.1が823個でした。Mistral Small 4は10個しか持たず、😂をUTF-8の4バイトに分けて4トークンにしました。女性の科学者を表す👩‍🔬は、Gemma 4とGLM-5.1では「女性」「結合用の文字」「顕微鏡」の3トークンでした。文字の途中でも分割するcl100k・Qwen3.8・Mistral Small 4・PLaMo・Sarashina2.2では、8〜9トークンになりました。
Unicodeの正規化をする対象は、Qwen3.8だけでした。Qwen3.8は、基底文字と結合文字を合成できる場合にまとめるNFCを適用します。そのため、eと結合用のアクセント記号U+0301の並びは、合成済みのéと同じトークンになります。ほかの12種は正規化をせず、合成済みと分解した形を別の文字列として扱います。
空白・結合文字・制御文字など32個の入力例で、符号化後に文字列へ戻した結果を確かめました。入力と一致しなかったのは、次の3通りです。
  • Qwen3.8では、分解した形のアクセントや濁点、ハングルの字母の並びが、NFCで合成済みの形になります。
  • Gemma 4・LLM-jp-4・Sarashina2.2では、空白を表す内部の記号▁(U+2581)そのものが入力にあると、半角スペースに置き換わります。
  • PLaMo 3では、内部で境界に使うU+EE00が消えます。

9. 同じ文字の繰り返し

罫線や区切り線、長音や句点を繰り返す入力では、同じ文字の並びをどこまで1トークンにまとめられるかで分割数が変わります。
列見出しの文字を指定回数繰り返した入力のトークン数です。最終列は、特殊トークンと空白類を除く語彙中の、同じ文字だけでできた最長のトークンの文字数です。
対象a×64=×64.×64あ×32ー×16。×16笑×16同じ文字だけのトークンの最長(空白を除く)
o200k811324816112
cl100k811321681696
Gemma 484416441616
Qwen3.88111628896
Command A+411164816128
DeepSeek V4811321648128
Mistral Small 43224161681676
GLM-5.181132164896
Grok 241116161616128
LLM-jp-41755924916
PLaMo 3101322736810
PLaMo 2161322736810
Sarashina2.2148842488
=や.を64文字並べた入力は、事前分割に正規表現を使うBPEの8種のうち、Mistral Small 4を除く7種で1トークンになりました。語彙に同じ記号だけの長いトークンを持つためです。例えば、o200kには-が112文字、Command A+には128文字並んだトークンがあります。PLaMoでは、空白類を除く同じ文字の繰り返しは最長10文字で、.を64文字並べると22トークンになりました。PLaMo 3は、同じ文字が4個以上続く箇所の前後に境界を入れる前処理も持っています。
「あ」を32文字並べた例では、Sarashina2.2が4トークン、PLaMoが7トークンと、o200k・cl100k・DeepSeek V4・GLM-5.1の32トークンより少なくなりました。長音「ー」を16文字並べた例も、2〜4トークンにまとめる対象と、16トークンに分ける対象に分かれました。

10. 特殊トークン

特殊トークンは、会話の区切りや終了、画像など、通常の文章とは異なる役割を表すためのトークンです。配布されている実装で特殊トークンとして登録された数と、入力文に同じ綴りを書いたときの扱いを比べます。
特殊トークンの登録数、名前から推定した予約枠の数、終了を表す綴りの符号化結果です。予約枠は通常語彙の中からも数えています。Grok 2の符号化結果は、本測定のtiktokenアダプターでの値です。
対象特殊トークンとして登録された数予約枠とみられるトークン終了を表す綴り入力文に書いて既定の方法で符号化した結果
o200k1,0901,081<|endoftext|>エラー(tiktokenの既定)
cl100k50<|endoftext|>エラー(tiktokenの既定)
Gemma 4246,227<eos>特殊トークン1個
Qwen3.8210<|im_end|>特殊トークン1個
Command A+150<|END_OF_TURN_TOKEN|>特殊トークン1個
DeepSeek V41,2301,217<|end▁of▁sentence|>特殊トークン1個
Mistral Small 41,000972</s>特殊トークン1個
GLM-5.1180<|endoftext|>特殊トークン1個
Grok 2128125<|eos|>エラー(本測定のtiktoken実装)
LLM-jp-4352338<|return|>特殊トークン1個
PLaMo 35927<|plamo:eos|>特殊トークン1個
PLaMo 22923<|plamo:eos|>特殊トークン1個
Sarashina2.270</s>特殊トークン1個
名前から予約枠と推測できるトークンを、多数持つ対象があります。o200kは1,090個のうち1,081個、DeepSeek V4は1,230個のうち1,217個、Mistral Small 4は1,000個のうち972個が、予約用の接頭辞を持つ連番の名前です。Gemma 4は特殊トークンの登録が24個ですが、通常の語彙の中に<unused…>という名前のトークンを6,227個持っています。
入力文に特殊トークンと同じ綴りが書かれていたときの既定の扱いは、ライブラリーで分かれます。Hugging Faceのトークナイザーとして配布されている10種は、綴りを特殊トークン1個に変換しました。例えばQwen3.8では、入力の中の<|im_end|>が、会話の終了に使うものと同じIDになります。会話の終了として処理されるかは、そのIDを受け取るモデルや実装にも依存します。OpenAIの2種と本測定のGrok 2アダプターで使うtiktokenのencodeは、既定ではエラーにします。本記事のほかの節では、OpenAIの2種とGrok 2について、綴りを通常の文字列として分割する方法(encode_ordinary)を使いました。
HTMLのタグに似た綴りを通常の語彙に持つ対象もあります。Qwen3.8とGLM-5.1は<think>と<tool_call>を、PLaMoは</div>などHTMLのタグ76個を、特殊トークンの印を付けずに1トークンで持ちます。

11. 画像・音声・動画のトークン

画像や音声を入力できるモデルは、文章のトークン列の中に、画像や音声の位置を示す特殊トークンを置きます。語彙に登録された特殊トークンと追加トークンの名前を調べると、13種のうち6種に、画像・音声・動画や、画像内の領域を表すものがありました。
名前から画像・音声・動画用と分かる特殊トークンと追加トークンです。2列目は、固定した版のリポジトリーにある前処理の設定が、文章のほかに受け付ける入力です。OpenAIの2種はモデルのリポジトリーではないため「—」としています。
対象文章以外に受け付ける入力画像・動画音声画像内の領域や座標
o200k—なしなしなし
cl100k—なしなしなし
Gemma 4画像・音声・動画<|image>、<|image|>、<image|>、<|video|><|audio>、<|audio|>、<audio|>なし
Qwen3.8画像・動画<|vision_start|>、<|vision_end|>、<|vision_pad|>、<|image_pad|>、<|video_pad|><|audio_start|>、<|audio_end|>、<|audio_pad|>、<tts_pad>、<tts_text_bos>、<tts_text_eod>、<tts_text_bos_single><|object_ref_start|>、<|object_ref_end|>、<|box_start|>、<|box_end|>、<|quad_start|>、<|quad_end|>
Command A+画像<|START_OF_IMG|>、<|END_OF_IMG|>、<|IMG_LINE_BREAK|>、<|IMG_PATCH|>なしなし
DeepSeek V4なし<|image|>、<|image2|>、<|rl_image_start|>、<|rl_image_pad|>なし<|ref|>、<|/ref|>、<|box|>、<|/box|>、<|point|>、<|/point|>、<|polygon|>、<|/polygon|>
Mistral Small 4画像[IMG]、[IMG_BREAK]、[IMG_END][AUDIO]、[BEGIN_AUDIO]なし
GLM-5.1なし<|begin_of_image|>、<|end_of_image|>、<|begin_of_video|>、<|end_of_video|>、<|image|>、<|video|><|begin_of_audio|>、<|end_of_audio|>、<|begin_of_transcription|>、<|end_of_transcription|><|begin_of_box|>、<|end_of_box|>
Grok 2なしなしなしなし
LLM-jp-4なしなしなしなし
PLaMo 3なしなしなしなし
PLaMo 2なしなしなしなし
Sarashina2.2なしなしなしなし
Gemma 4・Qwen3.8・Command A+・Mistral Small 4では、トークナイザーとは別の画像エンコーダーが画像をベクトルの列に変換します。入力の前処理は、画像のサイズや設定から必要なベクトル数を求め、その数だけ同じIDの特殊トークンを並べます。モデルは、これらの位置の埋め込み(IDに対応するベクトル)を、画像の内容を表すベクトルに置き換えます。画像1枚が文脈長のうち何トークン分を占めるかは、画像用に並べるトークンの数で決まります。1920×1080ピクセルの画像では、開始・終了・区切りも含めて266〜3,343個でした。
固定した版の前処理を既定の設定で実行した、画像1枚あたりのトークン数です。画像のベクトルを置くためのトークンと、開始・終了・区切りを数えています。列見出しは幅×高さ(ピクセル)です。Gemma 4の280個という上限は、画像のベクトルを置くためのトークンに適用されます。
対象224×224512×5121024×7681920×10804032×3024
Gemma 4258258268266268
Qwen3.8662587702,04211,846
Command A+2592591,2873,3433,343
Mistral Small 4723801,0641,7362,352
固定した版のリポジトリーにあるprocessor_config.jsonまたはpreprocessor_config.jsonとchat_template.jinjaを、Transformers 5.23.0のAutoProcessorで読み込みました。ほかの節とは別の環境で、PyTorch 2.15.0、torchvision 0.29.2、Pillow 13.0.0を使っています。全画素が0の画像1枚を含む会話を符号化し、画像用の特殊トークンだけを数えました。Mistral Small 4も、リポジトリーに含まれるTransformers用の設定で測っています。埋め込みを画像のベクトルに置き換える処理は、Transformersの各モデルの実装で確かめました。
1920×1080ピクセルの画像1枚に並ぶ特殊トークンの内訳です。
対象画像のベクトルを置くためのトークン開始・終了・区切り
Gemma 4<|image|> 264個開始と終了の2個
Qwen3.8<|image_pad|> 2,040個開始と終了の2個
Command A+<|IMG_PATCH|> 3,328個開始と終了の2個、<|IMG_LINE_BREAK|> 13個
Mistral Small 4[IMG] 1,705個[IMG_BREAK] 30個、[IMG_END] 1個
音声は16 kHzの無音、動画は全画素が0の640×360ピクセル・毎秒30フレームの10秒で測りました。開始・終了・時刻のトークンを除くと、Gemma 4の<|audio|>は、1秒で25個、10秒で250個、30秒と45秒ではどちらも750個でした。10秒の動画では、Gemma 4が32フレームに66個ずつの<|video|>を並べて2,112個、Qwen3.8が10組に220個ずつの<|video_pad|>を並べて2,200個になりました。
この4種は画像の内容をベクトルのまま渡しますが、Chameleonの論文では、画像を量子化してIDの列に変換し、文章と共通の語彙で扱っています。この方式では、モデルが画像のID列を生成し、画像デコーダーがそれを画像に戻します。
画像の内容を表すベクトルの数は、次のように決まります。
  • Gemma 4は、指定した個数以内にベクトルが収まるように画像のサイズを調整します。既定の上限は280個で、70〜1,120個の5段階から選べます。1024×768ピクセルの画像では、上限に応じて63〜1,064個になりました。
  • Qwen3.8は、サイズを調整した画像の32×32ピクセルごとに1個を割り当てます。画素数にほぼ比例して増え、設定された画素数の下限と上限から計算すると、64〜16,384個の範囲になります。
  • Command A+は、画像を512×512ピクセルのタイルに分け、1枚を256個で表します。タイルは最大12枚で、2枚以上に分けたときは、全体を縮小した1枚が加わります。1920×1080ピクセル以上の2例は、どちらも13枚分になりました。
  • Mistral Small 4は、長辺が1,540ピクセルを超える画像を縮小し、縦横を28の倍数に調整して、28×28ピクセルごとに1個を割り当てます。
画像の縦横の並びを、トークン列で表すかどうかも分かれました。Mistral Small 4は、画像の行と行の間に[IMG_BREAK]を置き、最後の行を[IMG_END]で閉じます。Command A+は、タイルごとに<|IMG_LINE_BREAK|>を置きます。Gemma 4とQwen3.8は、開始と終了のトークンで画像全体を囲みます。縦横の位置を求めるための座標や格子のサイズは、トークン列とは別の配列でモデルに渡します。
Gemma 4の音声と、Gemma 4・Qwen3.8の動画も、特殊トークンを並べた位置にベクトルを渡します。既定の設定では、Gemma 4は音声40ミリ秒につき<|audio|>を約1個並べ、上限は30秒分の750個です。動画では32フレームを取り出し、フレームごとに時刻を表す文字列と最大70個の<|video|>を並べます。Qwen3.8は毎秒2フレームを目安に、設定の下限と上限の範囲でフレームを取り出します。2フレームずつ組にし、組ごとに時刻を表す文字列と<|video_pad|>を並べます。
DeepSeek V4とGLM-5.1は、語彙に画像用のトークンを持ち、GLM-5.1は音声用も持ちます。どちらも、固定した版には画像や音声の前処理の設定がなく、文章だけを入力するモデルとして配布されています。Qwen3.8の音声の列に挙げた7個と、Mistral Small 4の[AUDIO]・[BEGIN_AUDIO]も、固定した版の設定では使われません。これらのトークンは、画像や音声を扱う同じ系列のモデルと語彙を共有するために、登録されていると考えられます。
DeepSeek V4は、表のトークンのほかに、<|place_holder_mm_span_0021|>から<|place_holder_mm_span_0435|>までの415個を特殊トークンとして登録しています。§10では予約枠に数えました。表・行・セルの開始を表す<|table|>・<|tr|>・<|td|>と、それぞれの終了を表す3個も、追加トークンとして持っています。
o200k・cl100k・Grok 2と日本語を重視した4種の語彙には、画像・音声・動画用と分かる名前のトークンがありませんでした。o200kの1,081個やGrok 2の125個の予約枠(§10)は連番の名前で、用途は名前から読み取れません。

12. 語彙の重なりと分割の一致

語彙の重なりは、既存の語彙をもとに作られたかを推測する手掛かりになります。次の表は、cl100kとo200kの特殊トークンを除く語彙のうち、各対象にも同じバイト列がある割合です。トークンIDが異なっていても、同じバイト列なら共通と数えます。
OpenAIの各語彙を基準に、他の語彙にも同じバイト列がある割合です。特殊トークンは除きます。
対象cl100kの語彙を含む割合o200kの語彙を含む割合
o200k85%100%
Gemma 467%66%
Qwen3.897%68%
Command A+88%74%
DeepSeek V459%41%
Mistral Small 456%50%
GLM-5.199%54%
Grok 277%50%
LLM-jp-442%27%
PLaMo 336%23%
PLaMo 235%20%
Sarashina2.229%17%
GLM-5.1はcl100kの語彙の99%を、Qwen3.8は97%を含みます。IDの範囲を10等分して文字種の割合を数えると、GLM-5.1では先頭60%に当たる各区間の9割以上がラテン文字で、続く区間では漢字が多くなりました。Qwen3.8も先頭30%に当たる各区間では約94%がラテン文字で、40〜60%の区間では98〜100%が漢字やかなでした。この語彙の重なりとID順の偏りから、どちらもcl100kに近い語彙へ中国語などのトークンを追加して作られたと考えられます。§2で触れたGLM-5.1の使われない数字のトークンはcl100kにはなく、追加された語彙に由来する可能性があります。
特殊トークンを除き、単独でUTF-8として解釈できるトークンについて、最小IDから最大IDまでの範囲を10等分しました。各区間に含まれるトークンの「ラテン文字の割合/漢字・かなの割合」を示します。PLaMoでも、前半にラテン文字、後半に漢字・かなのトークンが多く並んでいました。o200k・Mistral Small 4・Command A+・Grok 2では、IDの区間による文字種の割合の変化は比較的小さくなりました。
特殊トークンを除き、単独でUTF-8として解釈できる語彙のID範囲を10等分した結果です。各区間の値は、ラテン文字の割合/漢字・かなの割合(%)です。
対象0%〜10%〜20%〜30%〜40%〜50%〜60%〜70%〜80%〜90%〜
o200k72/469/469/468/468/468/467/466/466/566/4
cl100k88/088/087/191/192/192/191/191/292/191/1
Gemma 475/268/465/664/662/662/762/761/861/828/38
Qwen3.894/094/094/082/130/1000/9835/654/555/552/10
Command A+78/578/677/775/775/774/774/773/873/872/8
DeepSeek V461/2560/2559/2559/2758/2856/2954/3154/3154/3252/33
Mistral Small 472/371/470/469/469/468/468/468/467/466/4
GLM-5.191/092/092/092/092/093/032/630/9728/2644/4
Grok 286/385/585/584/684/684/684/683/683/783/7
LLM-jp-458/3451/4247/4544/4741/5039/5240/5039/5146/454/43
PLaMo 392/0100/0100/0100/065/333/974/963/974/9636/38
PLaMo 292/0100/0100/0100/069/282/983/973/974/9627/56
Sarashina2.255/3949/4846/5143/5441/5636/6135/6333/6532/6533/64
語彙全体の重なりには、共通するバイト列の数を、両者を合わせた異なるバイト列の数で割るJaccard係数を使いました。PLaMo 2とPLaMo 3は84%、cl100kとGLM-5.1は64%です。日本語を重視した4種とほかの9種との間は13〜28%でした。
特殊トークンを除く語彙を、バイト列の集合として比較したJaccard係数(%)です。共通するバイト列の種類数を、両者を合わせた種類数で割っています。
対象o200kcl100kGemma 4Qwen3.8Command A+DeepSeek V4Mistral Small 4GLM-5.1Grok 2LLM-jp-4PLaMo 3PLaMo 2Sarashina2.2
o200k—404043483344444316171613
cl100k40—2339333533645017212116
Gemma 44023—38443133313424181614
Qwen3.8433938—454135553524181613
Command A+48334445—3337394322171614
DeepSeek V43335314133—40494428232216
Mistral Small 4443333353740—354417201814
GLM-5.144643155394935—4724211915
Grok 24350343543444447—23232218
LLM-jp-4161724242228172423—323133
PLaMo 317211818172320212332—8444
PLaMo 21621161616221819223184—44
Sarashina2.2131614131416141518334444—
PLaMo 2の語彙の95%はPLaMo 3にも含まれています。13種すべてに共通するバイト列は18,201種類でした。
語彙が違っても、分割結果が近くなることがあります。日本語200文書の切れ目の一致もJaccard係数で比べると、Gemma 4・Qwen3.8・Command A+の各組み合わせは88〜90%、DeepSeek V4・GLM-5.1・Grok 2の各組み合わせも88〜90%でした。LLM-jp-4とSarashina2.2は90%、PLaMo 2とPLaMo 3は96%で、cl100kはどの対象とも72%以下でした。
日本語200文書で、どちらかのトークナイザーが切った位置を分母に、両方が切った位置を分子にした割合です。文書ごとにそれぞれの位置の数を求め、200件の合計どうしを割りました。文書の先頭と末尾を除き、文字の途中のバイト位置も含めて集計しています。
日本語200文書での切れ目のJaccard係数(%)です。
対象o200kcl100kGemma 4Qwen3.8Command A+DeepSeek V4Mistral Small 4GLM-5.1Grok 2LLM-jp-4PLaMo 3PLaMo 2Sarashina2.2
o200k—727068688283868552525452
cl100k72—5250506271666539394039
Gemma 47052—90888070767667646367
Qwen3.8685090—887868757369666468
Command A+68508888—7768747564626264
DeepSeek V48262807877—80908859585959
Mistral Small 4837170686880—828452525352
GLM-5.186667675749082—8856555656
Grok 28565767375888488—55555555
LLM-jp-4523967696459525655—757490
PLaMo 352396466625852555575—9677
PLaMo 25440636462595356557496—76
Sarashina2.2523967686459525655907776—
英語とコードの切れ目も同じ方法で比べました。英語200文書では、事前分割に正規表現を使うBPEの8種のJaccard係数は、互いに96〜100%でした。日本語より切れ目が一致しやすく、語と空白を区切る規則が共通する影響が大きいと考えられます。
英語200文書で、どちらかのトークナイザーが切った位置の数と、両方が切った位置の数をそれぞれ合計し、後者を前者で割りました。文書の先頭と末尾を除き、文字の途中のバイト位置も含めています。PLaMoは語をまたぐトークン(§7)を持ち、BPEの9種やLLM-jp-4とのJaccard係数は76〜78%でした。
英語200文書での切れ目のJaccard係数(%)です。
対象o200kcl100kGemma 4Qwen3.8Command A+DeepSeek V4Mistral Small 4GLM-5.1Grok 2LLM-jp-4PLaMo 3PLaMo 2Sarashina2.2
o200k—989697999897989893777879
cl100k98—96989898981009993777779
Gemma 49696—97969695969797787681
Qwen3.8979897—969796989795787680
Command A+99989696—9897989994777879
DeepSeek V49898969798—98989993777779
Mistral Small 4979895969798—989893767779
GLM-5.1981009698989898—9993777779
Grok 29899979799999899—94777879
LLM-jp-4939397959493939394—777683
PLaMo 377777878777776777777—9567
PLaMo 27877767678777777787695—66
Sarashina2.2797981807979797979836766—
コード100件でも同じ方法で比べました。記号を語に付けないGemma 4・LLM-jp-4・Sarashina2.2のJaccard係数は互いに85〜87%で、記号を語に付ける8種との間では66〜84%でした。
コード100文書での切れ目のJaccard係数(%)です。
対象o200kcl100kGemma 4Qwen3.8Command A+DeepSeek V4Mistral Small 4GLM-5.1Grok 2LLM-jp-4PLaMo 3PLaMo 2Sarashina2.2
o200k—937688939393979575646069
cl100k93—7385888891949072615866
Gemma 47673—84787675767887827785
Qwen3.8888584—908786908983716676
Command A+93887890—9290939477656170
DeepSeek V49388768792—93939476656270
Mistral Small 4939175869093—939475646169
GLM-5.197947690939393—9575646069
Grok 29590788994949495—77656270
LLM-jp-4757287837776757577—797486
PLaMo 364618271656564646579—9379
PLaMo 26058776661626160627493—74
Sarashina2.2696685767070696970867974—

13. 語彙の使われ方とトークンの長さ

共通の文書7,850件について、使われたトークンの種類数と、出現が一部のトークンにどれだけ集中するかを数えました。7,850件のうち7,350件は英語と日本語以外の文書なので、集計全体にも、これらの文書での分割結果が大きく影響します。
共通の7,850文書での語彙の使用状況です。使用割合の分母は特殊トークンを除く語彙数です。50%・90%の列は、出現回数の多い順に累積し、総出現回数の各割合に達するまでの種類数を示します。最終列の分母は総トークン数です。
対象総トークン数1回以上使われた語彙の割合出現の50%を占める種類数出現の90%を占める種類数UTF-8の文字の途中で終わる割合
o200k2,189,11751.2%95928,67210.0%
cl100k3,244,03836.1%2093,54619.5%
Gemma 42,053,72540.3%1,28927,5540.2%
Qwen3.82,378,24135.7%69516,6298.0%
Command A+2,485,56737.1%45816,35613.3%
DeepSeek V42,567,84945.7%5349,7969.4%
Mistral Small 42,634,00854.7%36813,38715.5%
GLM-5.12,836,13637.4%3327,65414.6%
Grok 22,919,10641.5%2936,68715.5%
LLM-jp-43,013,27024.5%2864,1762.3%
PLaMo 33,344,64841.8%1474,42519.2%
PLaMo 23,566,52438.3%1163,14922.1%
Sarashina2.23,856,08633.2%802,35723.3%
出現回数の多い順に数えて全出現の半分に達するまでの種類数は、Gemma 4が1,289種類、Sarashina2.2が80種類でした。文字を単位とする5種のうち、PLaMoやSarashina2.2では、語彙にない文字をUTF-8のバイトへ分解するため、1バイトのトークンが繰り返し使われていました。文字の途中で終わるトークンの割合も、Gemma 4の0.2%、LLM-jp-4の2.3%に対し、PLaMoとSarashina2.2では約19〜23%でした。バイトを単位とする8種は、通常の結合でも文字の途中で終わるトークンを作るため、この割合をそのまま語彙にない文字の多さとして比べることはできません。
語彙に含まれるトークンの長さにも違いがありました。最長のトークンは、Command A+とGLM-5.1が半角スペース512個、Grok 2が半角スペース256個で、PLaMo 3は32文字、LLM-jp-4は16文字、Sarashina2.2は19文字です。文字を単位とする5種は最長でも32文字で、バイトを単位とする対象より短い範囲に収まっています。
特殊トークンを除く語彙について、空白も含めた長さを比べます。文字数はUnicodeコードポイントの数です。文字数に基づく列は、単独でUTF-8として解釈できるトークンだけを対象とし、バイト数の列はすべての通常トークンを対象にしています。
特殊トークンを除く語彙の長さです。空白も含め、文字数はUnicodeコードポイント数、バイト数はUTF-8で数えています。文字数の列は単独でUTF-8として解釈できるトークン、バイト数の列はすべての通常トークンを対象にしています。
対象平均の文字数平均のバイト数8文字以上の割合最長のトークンの文字数
o200k5.556.9920.9%128
cl100k6.366.4229.6%128
Gemma 45.637.7825.2%31
Qwen3.85.227.4320.2%128
Command A+5.937.0126.7%512
DeepSeek V44.816.5318.3%128
Mistral Small 45.486.7521.0%76
GLM-5.15.366.6421.7%512
Grok 25.916.3226.8%256
LLM-jp-44.567.7618.2%16
PLaMo 34.917.9917.7%32
PLaMo 25.188.3721.3%27
Sarashina2.24.418.5511.5%19
空白や記号の繰り返しを除くと、長いトークンには次のような識別子や定型句が見られました。
  • cl100k・Qwen3.8・GLM-5.1には、.translatesAutoresizingMaskIntoConstraintsのようなプログラムの識別子があります。
  • Qwen3.8とGLM-5.1には、中国語のWebサイトで使われる免責や転載に関する定型文があります。
  • DeepSeek V4・GLM-5.1・LLM-jp-4には、中国の政治に関する標語があります。
  • PLaMoは、␣pic.twitter.com/を1トークンで持っています。

おわりに

13種の比較では、事前分割で結合できる範囲と、語彙にあるトークンの両方が切れ目に表れていました。数字を3桁までまとめる規則を持つGLM-5.1や、記号と改行を結合できる規則を持つQwen3.8でも、対応する語彙がなければさらに分かれます。今回の文書では、日本語はかなを含む語彙が多いほど長いまとまりになる傾向があり、英語は事前分割の規則が共通する対象どうしで近い切れ目になりました。画像を受け付ける4種とGemma 4の音声では、内容をベクトルで渡し、トークン列の中にその位置を用意していました。画像のサイズや音声の長さと前処理の設定が、必要なトークン数を決めます。