PLaMo 3アーキテクチャ徹底解析

2026年10月26日公開

PLaMo 3アーキテクチャ徹底解析

PLaMo 3は、Preferred Networks(PFN)が情報通信研究機構(NICT)と共同で開発している大規模言語モデルです[8]。
本記事は、PLaMo 3 31B[1]の公開実装と学習済み重みをCodexに分析させ、その結果を基に作成しました。モデルの構造と計算手順、学習済み重みに見られる特徴を解説します。

対象はPLaMo 3 NICT 2604 31B Base(2604版)で、参照先はHugging Faceのpfnet/plamo-3-nict-2604-31b-baseのrevision e26c257e2175b05db69f01b52f4edf6fa4118f53です。公開実装はTransformers 5系を前提とするmodeling_plamo.pyで、vLLM用のsitecustomize.pyも同梱されています。

比較に使うPLaMo 3 NICT 31B Base[5]は、最大系列長4096の4K版です。revisionは9c1fa626です。トークナイザーの定義ファイルとコードは、2604版とバイト単位で同一です。

Gemma 4の比較対象はgoogle/gemma-4-31Bの事前学習版で、revisionは5bbc2fb1c1b2c611d06e3d9f23c170ba21659d89です。実装はTransformers 5.12.1のmodeling_gemma4.py[7]を参照しています。実行環境と測定条件は§10に示します。

  1. [5] Preferred Networks, Inc., "PLaMo 3 NICT 31B Base (model card, config.json, modeling_plamo.py; revision 9c1fa626)," Hugging Face, 2026.
  2. [7] Hugging Face, "modeling_gemma4.py (Transformers v5.12.1)," GitHub, 2026.
PLaMo 3 31Bは、過去のトークン列から次のトークンを予測するデコーダー型Transformerです。各層では、処理中のトークンにほかのトークンの情報を取り込むAttentionを使います。局所Attentionを7層、大域Attentionを1層置く周期を、全64層で繰り返します。
局所Attentionは、近傍の一定数のトークンからなる範囲(窓)だけを参照します。窓内だけを計算すれば計算量を抑えられ、窓外の計算結果を破棄すれば、過去の計算結果を保存するKVキャッシュの容量も抑えられます。自分自身を含む過去のトークン全体を直接参照するのは、8層に1回の大域Attentionです。
主に扱うPLaMo 3 NICT 2604 31B Base(以下、2604版)は、120Bモデルの出力を用いる蒸留で学習されています。対応する文脈長は262,144トークンです。位置符号化(トークンの位置情報の与え方)にはRoPEを使い、大域層には長文脈向けの拡張であるYaRNを適用します(§6.3)。文脈長4096のPLaMo 3 NICT 31B Base(以下、4K版)とは層数や次元数が同じですが、位置符号化の設定と学習済み重みが異なります。
比較対象は、同じく局所Attentionと大域Attentionを併用するGemma 4 31B[6]です。両モデルは、局所層と大域層の比率や、Attentionのヘッド次元、正規化、位置符号化の選び方が異なります。これらの違いと、計算手順やKVキャッシュ容量への影響を比べます。
再実装では、次の3点を確認します。本文の式と定数で計算した出力を、公開実装の出力と比較した結果も示します(§10)。対象はモデル本体で、トークナイザーの詳細は扱いません。
  • 各計算で使うベクトルの次元数を、設定ファイルと重みの形状に合わせること(§2.1)。
  • 正規化で各成分に掛ける係数を、保存された重みから正しく求めること(§3.2)。
  • 過去の計算結果を保存・再利用する処理と、位置情報を反映する処理の順序を、公開実装に合わせること(§4.4)。
PLaMo 3とGemma 4の全体構成を、トークンIDからlogitsへ上から下にたどる比較図。隠れ次元Dと層数Lは変数。PLaMo 3は局所7層・大域1層の8層周期で窓幅2048、Gemma 4は局所5層・大域1層の6層周期で窓幅1024。語彙数は107520と262144。どちらも入力埋め込みと出力ヘッドを共有するが、埋め込みの√D倍とlogitsのsoftcapはGemma 4だけにある。
図1:PLaMo 3とGemma 4の全体構成 31BモデルのトークンIDからlogits(候補トークンごとの出力スコア)までの計算を示し、モデルサイズに依存する次元と層数は変数にしています。\(B\)はバッチサイズ、\(T\)は今回処理するトークン数、\(D\)は隠れ次元、\(L\)は層数です。青色は局所ブロック、オレンジ色は大域ブロックで、周期を繰り返して\(L\)層を構成します。

1. 局所Attentionと大域Attentionによる長文処理

前世代のPLaMo 2[10]は、Mambaと、参照範囲を窓内に限るSliding Window Attention[9](SWA)を組み合わせたSamba[11]系の構成でした。PLaMo 3では、Gemma 3[12]と同様に、大域AttentionとSWAを組み合わせています。PFNは変更の背景として、長い系列での性能向上の難しさと、対応する推論エンジンやアプリケーションの少なさを挙げています[8]。
推論では、入力列を一括処理するprefillに続いて、decodeでトークンを1つずつ生成します。各層では、過去のトークンから求めたKey(参照先との照合に使うベクトル)とValue(取り込む情報を表すベクトル)をKVキャッシュに保存します。decodeではこれらを再利用し、新しいトークンのK/Vだけを追加で求めます。
大域層のprefillでは、各トークンがそれ以前の全トークンを参照するため、Attentionの内積・重み付き和の演算回数は系列長の2乗に比例します。局所層で窓内だけを計算するカーネルを使えば、窓幅を固定したときの演算回数は系列長に比例します。入力が長くなるほど、参照範囲を絞る効果が大きくなります。
decodeでは、大域層の参照トークン数とKVキャッシュ容量が生成とともに増え続けます。局所層の参照数は窓幅2048で頭打ちになり、窓外のKey/Value(K/V)を破棄すれば保存容量も一定にできます。
局所層が直接参照する範囲は窓内ですが、前の層がさらに古いトークンを参照していれば、その情報も窓内のベクトルに含まれます。層を重ねることで、現在の窓より前の情報も間接的に使えます。

2. 設定と保存された重みから分かるモデル構成

2.1. 主要な設定値

まとめて処理する系列数をバッチサイズ\(B\)、各系列で今回処理するトークン数を\(T\)とします。参照先のKeyと照合するQueryは、この\(T\)トークンから求めます。Attentionへ渡すK/Vのトークン数を\(S\)とし、キャッシュを使う場合は、過去の分に今回の分を加えて返される数を指します。
キャッシュが空のprefillでは\(S = T\)、1トークンずつ生成するdecodeでは\(T = 1\)です。局所層で窓外のK/Vを破棄する場合、系列長が窓幅を超えると、decode時の\(S\)は局所層では窓幅、大域層では系列長になります。
各ブロックはAttentionと、トークンごとに特徴を変換する多層パーセプトロン(MLP)からなります。Attentionでは複数のヘッドが別々に参照先への重みを求め、情報を組み合わせます。各ヘッドが使うベクトルの次元数をヘッド次元と呼びます。設定ファイルconfig.json[1]の主要な値は次のとおりです。
設定項目値記号・役割
vocab_size107520語彙数\(V\)。埋め込みの行数と一致
hidden_size5120残差ストリーム(層間で受け渡すベクトル)の次元数\(D\)。隠れ次元とも呼ぶ
num_hidden_layers64デコーダーブロック数\(L\)
intermediate_size25600MLPの中間次元\(F\)(\(5D\))。gate/upそれぞれの射影出力の次元数(§7)
num_attention_heads64Queryヘッド数\(H_q\)
num_key_value_heads8Key/Valueヘッド数\(H_{kv}\)
head_dim1281ヘッドの次元数\(d\)。Q/K/Vで共通
rms_norm_eps\(10^{-6}\)RMSNormで二乗平均に加える\(\epsilon\)
window_size2048局所Attentionの窓幅\(W\)
sliding_window_pattern88層ごとに大域Attention
rope_local_theta10000局所層のRoPEの基底
rope_theta1000000大域層のRoPEの基底
initial_context_length4096YaRNの元の文脈長\(L_0\)(§6.3)
rope_scaling_factor256大域層のYaRNの係数\(s\)(§6.3)
max_position_embeddings262144設定に記録された最大系列長
scale_embeddingfalse埋め込みを\(\sqrt{D}\)倍しない(§2.4)
linear_typefp8公開実装の計算には使われない設定(保存重みは16ビット浮動小数点のBF16)
公開実装のLinearType列挙型にはnormal、fp8、mxfp8が定義されていますが、モデルの構築や順伝播の分岐では参照されません。射影には通常のnn.Linearを使い、保存されている全642テンソルはBF16です。linear_typeの値は8B Baseではnormal、31Bの4K版・2604版ではfp8であるものの、公開実装ではこの値による計算の切り替えはありません。
Queryの総次元数\(H_q d = 8192\)は、隠れ次元\(D = 5120\)を上回ります。再実装でヘッド次元を\(D / H_q\)から求めると80になり、保存された重みの形状と一致しません。設定のhead_dimに従って128を使います。

2.2. 公開重みのキー名とパラメーター数

各ブロックの重みは、model.layers.layers.{i}.という接頭辞を持つキー名で保存されています。iは0始まりの層番号で、layersは2回続きます。ブロック内ではmixerがAttention、mlpがMLPに対応し、全64層で同じ命名規則を使います。
モデル全体のクラスPlamo3ForCausalLMは、model属性にPlamo3Modelを持ちます。埋め込みのキー名はmodel.embed_tokens.weight、最終RMSNormはmodel.norm.weightです。ブロック列はPlamo3Model.layersのPlamo3Decoderが管理し、そのlayers属性にModuleListを持ちます。この2段の階層が、キー名のlayers.layersに対応します。
1ブロックには10個のテンソルが保存されています。AttentionとMLPの射影行列が各2個、Q/K正規化のパラメーターが2個、AttentionとMLPの入出力を正規化するパラメーターが計4個です。線形層にバイアスはありません。
表では、共通の接頭辞model.layers.layers.{i}.をキー名から省いています。PyTorchの線形層の重みは、行が出力、列が入力に対応する\([\text{out}, \text{in}]\)の形状です。RMSNormが保存するのは、実効ゲインとオフセットの差分です(§3.2)。
キー名形状
mixer.qkv_proj.weight\(10240 \times 5120\)
mixer.o_proj.weight\(5120 \times 8192\)
mixer.q_norm.weight、mixer.k_norm.weight各128
mlp.gate_up_proj.weight\(51200 \times 5120\)
mlp.down_proj.weight\(5120 \times 25600\)
pre_mixer_norm.weight、post_mixer_norm.weight、pre_mlp_norm.weight、post_mlp_norm.weight各5120
入力埋め込みはトークンIDを入力ベクトルに変換し、出力ヘッドはブロック列の出力から候補トークンごとのスコアを求めます。31Bでは両者の行列を共有するため、専用のlm_head.weightは保存されていません。
総パラメーター数は、埋め込み、64ブロック、最終RMSNormを合わせて約317.6億です。

1ブロックの内訳は、QKV射影が52,428,800、出力射影が41,943,040、gate/up射影が262,144,000、down射影が131,072,000、RMSNormが\(4 \times 5120 + 2 \times 128 = 20{,}736\)パラメーターです。合計は487,608,576で、モデル全体では\(550{,}502{,}400 + 64 \times 487{,}608{,}576 + 5{,}120 = 31{,}757{,}456{,}384\)になります。

設定ファイルにtie_word_embeddingsの指定はなく、公開実装では既定値のTrueが使われます。保存されている全テンソルの要素数も同じ値で、テンソル数は\(64 \times 10 + 2 = 642\)です。RoPEの周波数は学習パラメーターに含まれず、実行時にバッファーとして作られます。公開実装は出力ヘッドの行数を語彙数以上の16の倍数に揃えますが、107,520は16で割り切れるため、追加行はありません。

2.3. モデルサイズごとの構成・演算回数・読み込み量

PLaMo 3の610M、2B、8B、31Bは、ヘッド次元128、窓幅の設定値2048、8層周期、語彙数107,520が共通です。以下では、610Mは金融向けのFin Instruct、2Bと8BはNICT Base、31Bは2604版を比べます。31Bの4K版も層数と次元数は同じなので、構成と演算回数は同じ列にまとめます。
入力埋め込みのパラメーター数は\(VD\)で、出力ヘッドと共有するモデルでは1回だけ数えます。610M Fin Instructは両者を共有しないため、両方を含む総数はモデル名の610Mより多い約8.90億です。
演算回数と読み込み量は、系列長4096・BF16でのdecodeの概算です。演算回数とK/Vのデータ量は生成する1トークンあたり、重みの読み込み量はバッチ全体の1ステップあたりで示します。

処理中のトークンを含む系列長を4096とし、大域層では4096個、局所層では自分を含む直近2048個を参照します。旧実装との窓幅1トークンの差(§5.1)は無視しています。演算回数は積和を2 FLOPで数え、1 GFLOPは\(10^9\)回の浮動小数点演算とします。

語彙数を\(V\)、隠れ次元を\(D\)、層数を\(L\)、MLPの中間次元を\(F\)、Query・KVヘッド数を\(H_q,H_{kv}\)、ヘッド次元を\(d\)とします。出力ヘッドを含む線形射影の行列要素数\(P_{\mathrm{lin}}\)は、次の式で求められます。各ブロックのQKV・出力射影が\(2Dd(H_q+H_{kv})\)、gate/up/down射影が\(3DF\)、出力ヘッドが\(VD\)要素です。

\[ P_{\mathrm{lin}} = L\left[2Dd(H_q+H_{kv}) + 3DF\right] + VD \]

大域層数を\(N_g=L/8\)、局所層数を\(N_l=7L/8\)、系列長を\(N\)、窓幅を\(W\)とし、全層の参照トークン数の合計を\(A=N_gN+N_l\min(N,W)\)と置きます。合計演算回数\(C\)は次の式で概算しています。第1項が線形射影、第2項がAttentionの内積と重み付き和です。表では\(B=1\)、\(N=4096\)、\(W=2048\)、\(d=128\)を代入し、第2項を\(C\)で割って内積・重み付き和の割合を求めています。

\[ C \approx 2BP_{\mathrm{lin}} + 4BH_qdA \]

BF16は1要素2バイトなので、行列重みの読み込み量は\(2P_{\mathrm{lin}}\)バイト、KとVの読み込み量は計\(4BH_{kv}dA\)バイトです。GQAでは、同じKVヘッドを参照するQueryヘッド間でKとVを使い回すと仮定しています。系列間でのKVキャッシュの共有は仮定していません。1 MiBは\(2^{20}\)バイト、1 GiBは\(2^{30}\)バイトです。

新しい1トークンのKとVは、1層あたり計\(4H_{kv}d\)バイトです。窓外のK/Vを破棄しない場合、1トークンあたりの追加保存量は局所層全体で\(4N_lH_{kv}d\)バイト、大域層全体で\(4N_gH_{kv}d\)バイト、全層では\(4LH_{kv}d\)バイトになります。1 KiBは\(2^{10}\)バイトです。31Bでは局所56層で224 KiB、大域8層で32 KiB、合計256 KiBです。

行列重みはバッチ全体で1回、各系列のKとVはそれぞれ1回読むと仮定しています。バッチサイズ\(B\)の1ステップでは、表の演算回数、KVキャッシュの読み込み量、K/Vの追加保存量をそれぞれ\(B\)倍します。31Bの読み込み量はバッチ全体で約\(59.15 + 0.5625B\) GiB、生成する1トークンあたりでは約\(59.15/B + 0.5625\) GiBです。

この概算は行列計算とそのデータ量に対象を絞り、正規化・softmax・RoPE・活性化関数・残差加算、入力埋め込みの検索、中間データの読み書きを省いています。追加保存量もK/Vの要素数から求めた容量で、キャッシュの再配置に伴う書き込みは含みません。実際のメモリー転送量には、ハードウェアのキャッシュ、新しいK/Vを保存前に使う処理、カーネル内での再読み込みも影響します。

項目610M[4]2B[2]8B[3]31B[1]
総パラメーター数\(8.90 \times 10^{8}\)\(2.60 \times 10^{9}\)\(8.09 \times 10^{9}\)\(3.18 \times 10^{10}\)
入力埋め込みの
パラメーター数
\(1.65 \times 10^{8}\)\(2.75 \times 10^{8}\)\(4.40 \times 10^{8}\)\(5.51 \times 10^{8}\)
隠れ次元\(D\)1536256040965120
層数\(L\)16243264
MLPの中間次元\(F\)6144102401638425600
Queryヘッド数\(H_q\)16243264
Key/Valueヘッド数\(H_{kv}\)1448
入力埋め込みと
出力ヘッド
共有なし共有共有共有
decodeの概算演算回数
(GFLOP/トークン)
1.755.8917.3968.34
うち内積・重み付き和の割合17.24%11.54%6.95%7.07%
重みの読み込み量
(GiB/ステップ)
1.354.8515.0759.15
KVキャッシュの読み込み量
(MiB/トークン)
18108144576
K/Vの追加保存に
必要な容量(KiB/トークン)
局所層: 7
大域層: 1
合計: 8
局所層: 42
大域層: 6
合計: 48
局所層: 56
大域層: 8
合計: 64
局所層: 224
大域層: 32
合計: 256
この系列長では、31Bの概算演算回数68.34 GFLOP/トークンのうち、Attentionの内積・重み付き和は約7%です。残りはQKV・出力射影やMLPなどの線形射影が占めます。窓内だけを参照する効果は内積・重み付き和に現れ、線形射影の演算回数は変わりません。
「K/Vの追加保存に必要な容量」は、新たな1トークンのK/Vを全層で保存するための容量です。窓外のK/Vを破棄しない場合は、トークンが増えるたびにこの分だけ容量が増えます。窓外を破棄する場合の総容量は§5.2で求めます。
重みはバッチ内で使い回せますが、KVキャッシュは系列ごとに異なります。この見積もりでは、バッチを大きくするほど1トークンあたりの重みの読み込み量が減り、系列ごとのKVキャッシュを読む量は変わりません。

2.4. 入力からlogitsまでの計算

まず、各トークンのIDに対応するベクトルを埋め込み行列から取り出し、64個のブロックで順に更新します。入力ID列を\(I \in \{0, \dots, V-1\}^{B \times T}\)、埋め込み行列を\(E \in \mathbb{R}^{V \times D}\)とすると、計算は次の式で表せます。
\[ \begin{eqnarray} X_0 &=& E[I], \\ X_{\ell+1} &=& \operatorname{Block}_\ell(X_\ell) \quad (\ell = 0, \dots, 63) \end{eqnarray} \]
最後のブロックの出力\(X_{64}\)に、オフセット1のRMSNorm(§3.2)を適用し、入力埋め込みと同じ行列\(E\)を転置して掛けます。候補トークンごとの出力スコア(logits)は、\(\operatorname{logits} = \operatorname{RMSNorm}(X_{64})\, E^\mathsf{T}\)で求められ、形状は\([B, T, V]\)になります。
入力埋め込みはそのまま使い、Gemma 4のように\(\sqrt{D}\)倍しません。出力スコアを一定の範囲に滑らかに収めるsoftcapも使わず、順伝播(forward)で求めたlogitsをそのまま返します。softmaxによる確率への変換や、次のトークンの選択は、生成処理側で行います。

3. ブロックの構造とオフセット付きRMSNorm

3.1. 残差を含むブロックの式

各ブロックでは、入力ベクトルを残したままAttentionの出力を足し、続いてMLPの出力を足す残差加算を行います。AttentionとMLPの前後にはRMSNormを置き、出力を正規化してから加算します(図2)。
Attentionの前後の正規化を\(N_{\mathrm{pre\_attn}}\)、\(N_{\mathrm{post\_attn}}\)、MLPの前後を\(N_{\mathrm{pre\_mlp}}\)、\(N_{\mathrm{post\_mlp}}\)と書きます。入力\(X\)から出力\(Y\)への計算は、次の2段階です。
\[ \begin{eqnarray} A &=& X + N_{\mathrm{post\_attn}}\bigl(\operatorname{Attention}(N_{\mathrm{pre\_attn}}(X))\bigr), \\ Y &=& A + N_{\mathrm{post\_mlp}}\bigl(\operatorname{MLP}(N_{\mathrm{pre\_mlp}}(A))\bigr) \end{eqnarray} \]
Attention側は、pre_mixer_norm、mixer、post_mixer_normの順です。その出力を残差に加えた\(A\)を、MLP側のpre_mlp_norm、mlp、post_mlp_normへ渡します。残差に加えるテンソルの形状は、どちらも\([B, T, 5120]\)です。
PLaMo 3とGemma 4のデコーダーブロックの比較図。入力から下向きにAttentionとMLPを処理し、それぞれの前後にRMSNormを置き、正規化した出力を残差に加える。PLaMo 3は保存された重みにオフセットを加えてゲインを求め、Gemma 4は保存された重みそのものを使う。PLaMo 3のヘッド次元は128で、Gemma 4は局所用と大域用を別の変数で表す。MLPはPLaMo 3がSiLU、Gemma 4がtanh近似GELU。Gemma 4だけが最後の残差加算後に層ごとの係数を掛ける。
図2:デコーダーブロックと残差経路の比較 両モデルとも、AttentionとMLP(トークンごとの特徴変換)の前後にRMSNormを置き、正規化した出力を残差に加えます。PLaMo 3のゲインは保存された重み\(w\)とオフセットの和で、Gemma 4は\(w\)そのものを使い、加算後のブロック出力に層ごとの係数\(s_\ell\)を掛けます。\(F\)は中間次元、\(H_q,H_{kv}\)はQuery・KVヘッド数、\(d_{\mathrm{local}},d_{\mathrm{global}}\)はGemma 4の局所・大域のヘッド次元で、\(H_{kv}\)もGemma 4では局所・大域で別の値です。

3.2. 重みとオフセットの和による実効ゲイン

RMSNorm[14]は、入力ベクトルの二乗平均平方根(RMS)を基準に大きさを揃え、成分ごとの学習可能な係数(ゲイン)を掛ける方法です。PLaMo 3では、分母の二乗平均に小さな定数を加え、\(n\)次元のベクトル\(x\)を次の式で正規化します。
\[ \boxed{\;N^{(c)}_w(x) = (c + w) \odot \frac{x}{\sqrt{\frac{1}{n}\sum_{r=1}^{n} x_r^2 + \epsilon}}\;} \]
\(\odot\)は要素ごとの積、\(\epsilon = 10^{-6}\)は入力が0でも分母が0にならないように加える定数です。LayerNormと異なり、入力から平均を引きません。学習して保存するベクトル\(w\)に定数\(c\)を足した\(\gamma = c + w\)を、実際に掛ける係数という意味で実効ゲインと呼びます。オフセット\(c\)は、適用箇所ごとにコード内で定められています。
適用箇所実装名オフセット\(c\)正規化する次元数\(n\)
Attention入力pre_mixer_norm15120
Attention出力post_mixer_norm\(1/5 = 0.2\)5120
MLP入力pre_mlp_norm15120
MLP出力post_mlp_norm\(5^{-1.5} \approx 0.0894\)5120
Querymixer.q_norm1ヘッドごとの128
Keymixer.k_norm1ヘッドごとの128
最終出力model.norm15120
重み\(w\)の初期値は0なので、初期の実効ゲインはAttention出力で0.2、MLP出力で約0.089です。学習するパラメーターは、実効ゲインとオフセットとの差分\(w\)です。

差分\(w\)を学習する場合とゲイン\(\gamma\)を直接学習する場合では、weight decay(重み減衰)の適用によって近づく先が変わります。Plamo3RMSNormのdocstringも、torch.nn.RMSNormとの更新の違いに言及しています。

weight decayは、学習する重みを0へ近づける更新です。仮に\(w\)をその対象に含め、AdamWのように勾配による更新と分離して減衰させるとします。学習率を\(\eta\)、減衰係数を\(\lambda\)とすると、減衰だけによる更新は\(w' = (1 - \eta\lambda)w\)です。実効ゲインの更新は\(\gamma' = (1 - \eta\lambda)\gamma + \eta\lambda c\)となり、\(\gamma\)は\(c\)へ近づきます。オフセットを足し込んだ\(\gamma\)自体に同じ減衰を掛けた場合は、0へ近づきます。推論用にオフセットを重みへ足す変換は、同じweight decayで学習を続ける場合の更新までは保ちません。

公開実装のコメントには、すべてのオフセットを1にすると性能が低下したとあります。評価条件や低下量、0.2と\(5^{-1.5}\)を選んだ理由は記されていません。

通常のRMSNormカーネルへ移植する場合は、\(w\)にオフセットを足した\(\gamma\)をゲインとして渡します。vLLMのPLaMo 3実装[15]と、モデルに同梱されたvLLM用のsitecustomize.pyも、この加算を重みの読み込み時に行います。BF16で出力を照合するときは、オフセットの加算と型変換の順序も合わせます。
公開実装の_plamo3_rms_normは、二乗平均と、各成分を分母で割る処理を32ビット浮動小数点(FP32)で計算します。分母で割った値を入力のデータ型へ戻してから、(offset + weight)を掛けます。Gemma 4の実装は、ゲインの乗算までFP32で計算してから入力のデータ型へ戻す順序です。オフセットを重みへ足し込むときも、加算に使うデータ型と丸めの段階によって値は変わりえます。BF16でビット単位の一致を求める場合は、数式に加え、オフセットの加算、型変換、乗算の順序まで合わせる必要があります。

4. Attentionの計算手順とテンソルの形状

4.1. QKV射影の分割位置

Attentionでは、Query(Q)とKey(K)の内積から各参照先への重みを求め、その重みによるValue(V)の重み付き和を出力します。
Q/K/Vは、各トークンの入力ベクトルに重み行列を掛ける線形変換(射影)で作ります。公開実装では3つの行列を縦に並べ、1回の射影でQ/K/Vを求めます。
pre_mixer_normの出力を\(U \in \mathbb{R}^{B \times T \times 5120}\)とすると、\([Q_{\text{flat}}, K_{\text{flat}}, V_{\text{flat}}] = U W_{\text{qkv}}^\mathsf{T}\)で一度に射影できます。出力の次元数は、\(64 \times 128 + 8 \times 128 + 8 \times 128 = 10240\)です。
射影出力の最後の軸を、Q、K、Vの順に\([0{:}8192]\)、\([8192{:}9216]\)、\([9216{:}10240]\)で分割します。区間の末尾は含みません。各区間に同じ種類の全ヘッド分がまとまっているので、重みを個別の射影に分ける場合も、qkv_proj.weightの行をこの境界で切ります。
分割した各テンソルを\([B, T, H, d]\)へ形状変更し、ヘッド軸とトークン軸を入れ替えます。\(H\)は各射影のヘッド数です。並べ替え後の形状は、Qが\([B, 64, T, 128]\)、KとVが\([B, 8, T, 128]\)になります。

4.2. GQAによるKey/Valueの共有

PLaMo 3 31BのGrouped-Query Attention(GQA)[16]では、連続する8個のQueryヘッドが1組のK/Vヘッドを共有します。参照先への重みは64個のQueryヘッドごとに求めますが、保存するK/Vは8ヘッド分です。K/Vも64ヘッドにした場合に比べて、キャッシュ容量は1/8になります。
各K/Vヘッドを8回ずつ繰り返し、\([B, 64, S, 128]\)に広げれば、通常のマルチヘッドAttentionとして計算できます。公開実装はPyTorchのscaled_dot_product_attentionにenable_gqa=Trueを渡して、K/Vヘッドを共有するAttentionの計算をPyTorch側に任せています。両者は数学的には同じで、§10の参照実装は明示的に繰り返す方法です。キャッシュに保存する段階では、64ヘッド分へ複製する必要はありません。
Gemma 4 31BもGQAを使いますが、局所層と大域層で共有の単位が異なります。局所層はQueryが32ヘッド、K/Vが16ヘッドで、2個のQueryヘッドがK/Vを共有します。大域層はQueryが32ヘッド、K/Vが4ヘッドなので、共有するQueryヘッドはPLaMo 3と同じ8個です。ヘッド次元も含めたキャッシュ容量は§5.2で比べます。

4.3. ヘッドごとのQ/K正規化

Q/KをRMSNormで正規化すると、射影後のベクトル全体の大きさがAttentionスコアに与える影響を抑えられます。PLaMo 3は、QとKにそれぞれq_normとk_normでヘッドごとのRMSNormを適用します。どちらもオフセット1、\(\epsilon = 10^{-6}\)で、トークン・ヘッドごとに128次元のベクトルを正規化します。
HenryらのQuery-Key Normalization[21]は、QとKをL2ノルムで単位長に揃え、内積に学習可能なスカラーを掛ける方法です。PLaMo 3は、成分ごとのゲインを持つRMSNormと、通常のAttentionの係数\(1/\sqrt{128}\)を使います。QとKを正規化する点は共通ですが、正規化の分母と、学習する係数の数・掛ける位置が異なります。
  1. [21] Alex Henry, Prudhvi Raj Dachapally, Shubham Shantaram Pawar, Yuxuan Chen, "Query-Key Normalization for Transformers," Findings of EMNLP, 2020. (L2正規化と学習可能なスカラーを使うQuery-Key Normalization)
ゲインの形状は\([128]\)で、Q用は64個のQueryヘッド、K用は8個のKVヘッドで共有します。ヘッドごとに別のゲインを持つのではなく、正規化の分母をヘッドごとに求める構成です。
PLaMo 3はVをそのまま使いますが、Gemma 4はVにもゲインなしのRMSNormを適用します。取り込む情報を表すVの大きさも正規化する点が異なります。

4.4. KVキャッシュとRoPEの適用順序

公開実装では、Q/KのRMSNormの後にキャッシュを更新し、RoPEを適用してから内積と重み付き和を計算します。キャッシュには、正規化済み・RoPE適用前のKと、正規化していないVを保存します。Qは保存せず、今回の入力から求めたものを使います。
RoPEを適用する対象は、キャッシュから返されたK全体と今回のQです。大域層では、保存されている過去のKも順伝播のたびに回転し直します。キャッシュの管理には、TransformersのDynamicCacheを使います。
Gemma 4は、正規化したKにRoPEを適用してから保存します。PLaMo 3を別の推論エンジンで動かす際は、その実装がRoPE適用前と適用後のどちらのKを保存するかを確認する必要があります。保存形式が異なるままキャッシュを渡すと、RoPEの二重適用や適用漏れにつながります。
RoPEに渡す位置番号は、Attentionの内部で生成する連番です。Kには\(0, \dots, S-1\)、Qにはその末尾の\(S - T, \dots, S - 1\)を割り当てます。局所層で古いトークンを取り除くと、残ったトークンの位置番号も数え直します。QとKの位置番号は同じ量だけ移るため、位置差は変わりません。丸め誤差を除けば、RoPE適用後の内積とAttentionスコアも同じです。

局所層では、TransformersのDynamicSlidingWindowLayerがキャッシュ更新後に末尾の最大\(W - 1 = 2047\)トークンを残します。次のdecodeでは新しい1個を加えた2048個にKの位置\(0, \dots, 2047\)を割り当て、Qの位置を2047とします。固定周波数のRoPEでは、QとKの位置を同じ量だけ平行移動しても内積は変わりません。大域層で使うYaRNも、固定周波数と共通の振幅補正によってこの性質を保ちます。

引数のposition_idsはAttentionへ渡されず、内部で作った連番が使われます。不等間隔の位置を指定する場合や、複数の系列を連結した入力で位置をリセットする場合は、引数の位置情報をAttentionへ渡すように実装を変更する必要があります。

4.5. GQAの式と出力射影

参照先ごとの重みを得るには、Q/Kの内積を係数で調整し、softmaxを適用します。参照させない位置は、softmax後の重みが0になるようにマスクで除外します。
正規化・回転後のQとKを\(Q', K'\)、加算マスクを\(M\)とします。0始まりのQueryヘッド番号\(h\)に対応するKVヘッドは、\(g(h) = \lfloor h / 8 \rfloor\)です。バッチ内の系列を\(b\)、Query・Keyのトークン位置をそれぞれ\(t,s\)、ヘッド内の成分を\(r\)で表すと、参照先への重み\(A\)と各ヘッドの出力\(O\)は次の式で求められます。
\[ \begin{eqnarray} A_{b,h,t,s} &=& \operatorname{softmax}_s\left(\frac{\sum_{r=0}^{127} Q'_{b,h,t,r}\, K'_{b,g(h),s,r}}{\sqrt{128}} + M_{b,t,s}\right), \\ O_{b,h,t,r} &=& \sum_s A_{b,h,t,s}\, V_{b,g(h),s,r} \end{eqnarray} \]
内積に掛ける固定係数は\(1/\sqrt{128}\)で、スコア全体の倍率を変える温度パラメーターは別に学習しません。Attentionスコアへのsoftcapとドロップアウトも使いません。
各ヘッドが集めた情報をトークンごとにまとめ、残差に加えられる隠れ次元5120のベクトルへ変換します。出力の軸を\([B, 64, T, 128]\)から\([B, T, 64, 128]\)へ並べ替え、64ヘッド分を連結して\([B, T, 8192]\)とします。これにo_proj.weight(\(5120 \times 8192\))を転置して掛け、隠れ次元へ戻します。
PLaMo 3とGemma 4のAttention内部を上から下に比較する図。正規化済み入力からQ・K・Vを作り、各レーンで処理する。PLaMo 3はQ/Kを正規化し、K/Vのキャッシュ更新後にQとキャッシュ全体のKへRoPEを適用する。Gemma 4はVもゲインなしで正規化し、今回のQ/KにRoPEを適用してからK/Vをキャッシュへ保存する。Gemma 4の大域層はK/Vの射影出力を共有する。両モデルともGQAの出力を連結し、出力射影で隠れ次元Dへ戻す。次元とヘッド数は変数で示し、窓幅などは具体値を残す。
図3:Attentionの計算手順の比較(キャッシュ有効時) PLaMo 3はRoPE適用前、Gemma 4は適用後のKを保存し、Gemma 4はVもゲインなしで正規化します。\(d\)はヘッド次元、\(S\)はキャッシュから返されるK/Vのトークン数で、形状はヘッド軸を前に揃えた表記です。PLaMo 3はキャッシュ全体のKを毎回回転させ、Gemma 4は今回の入力のKだけを回転させてから過去のKと連結します。

5. 局所/大域Attentionの配置とKVキャッシュ

5.1. 局所7層・大域1層の配置

0始まりの層番号を\(\ell\)とすると、\((\ell + 1) \bmod 8 = 0\)を満たすのが大域層です。該当するのは7、15、23、31、39、47、55、63の8層で、最終層も含みます。残りの56層は局所層です。
位置\(i\)のQueryが位置\(j\)のKeyを参照できるのは、大域層では因果条件\(j \le i\)を満たす場合です。これにより、参照先を自分自身と過去のトークンに限ります。
局所層では、さらに\(i - j < W\)を満たす必要があります。2604版の窓に入るのは、自分自身と直前の2047トークン、計2048トークンです。4K版の旧実装では計2049トークンを参照するため、同じ窓幅の設定でも範囲が異なります。参照できない位置のスコアに\(-\infty\)を足し、softmax後の重みを0にします。

swa_maskはtriu(diagonal=-(window_size - 1))で帯状のマスクを作ります。参照先との距離は\(W - 1\)以下なので、自分を含めて最大\(W = 2048\)個です。局所層のキャッシュは\(W - 1\)個を残し、次のdecodeで新しい1個が加わるため、prefillとdecodeの参照範囲は一致します。

4K版に同梱された旧実装はtriu(diagonal=-window_size)を使い、自分を含めて最大\(W + 1 = 2049\)個を参照します。独自のキャッシュクラスが残すのも末尾\(W\)個です。「窓幅2048」に含めるトークン数は、実装の版によって1個異なります。

2604版にも、マスクを省略できる条件のassertが\(S \le W + 1\)のまま残っています。そのため、学習モードでマスクを省略し、キャッシュなしで\(T = W + 1\)を入力すると、本来は窓外となる1トークンも参照対象に入ります。ランダム重みの小型モデル(\(W = 4\))では、この条件で学習モードと評価モードのlogitsに最大0.15の差が出ました(§10)。

8トークンのAttentionマスクの例。行はQuery、列はKeyに対応する。左の大域層は自分自身とそれ以前の全トークンを参照できる下三角のパターン。右の局所層は窓幅4で、自分自身と直前の最大3トークンだけを参照できる帯状のパターン。
図4:大域層と局所層のマスク(\(W = 4\)に縮小した説明用) 青色は参照できる位置、灰色は\(-\infty\)でマスクされる位置を示します。局所層の参照範囲は、自分と直前\(W - 1\)個を含む帯状になります。実際の窓幅\(W\)は2048です。

5.2. KVキャッシュ容量の計算

KVキャッシュの容量は、保存するトークン数と、1トークン分のK/Vのデータ量から求められます。大域層は過去全体を保存し、局所層は窓内だけを残す場合を考えます。
処理中のトークンを含めた系列長を\(N\)、自分を含む窓幅を\(W\)とします。KVヘッド数は\(H_{kv}\)、ヘッド次元は\(d\)、1要素のバイト数は\(b\)です。大域層数を\(N_g\)、局所層数を\(N_l\)とすると、バッチサイズ1のKVキャッシュ容量は次の式で概算できます。
\[ C_{\text{KV}} \approx 2\, b\, H_{kv}\, d \left[ N_g N + N_l \min(N, W) \right] \]
先頭の2はKとVの分です。BF16では\(b = 2\)なので、PLaMo 3 31Bのキャッシュは、1層・1トークンあたり4 KiBになります。大域8層分のキャッシュは1トークン増えるごとに32 KiB増え、局所56層分は約448 MiBで頭打ちです。全64層を大域にした場合と比べると、32Kトークンで約1/5.6、256Kトークンで約1/7.6の容量に収まります。1Kは1024トークンを表し、ここで数える容量はKVテンソルの分だけです。
表には、バッチサイズ1、BF16の条件で計算した値を示します。窓幅は自分を含むトークン数とし、PLaMo 3は2048、Gemma 4は1024です。実際の局所キャッシュでは、更新後に残すトークン数の上限は窓幅より1個少なくなります。この1個の差は概算では無視しています。
系列長\(N\)PLaMo 3 31BGemma 4 31BPLaMo 3 31Bを全層大域にした場合
4,096576 MiB1,120 MiB1 GiB
32,7681,472 MiB3,360 MiB8 GiB
131,0724,544 MiB11,040 MiB32 GiB
262,1448,640 MiB21,280 MiB64 GiB

Gemma 4の大域10層は4ヘッド×512次元のKとVを持ち、1層・1トークンあたり8 KiBです。局所50層は16ヘッド×256次元で、1層・1トークンあたり16 KiBになります。局所層の合計容量は、約800 MiBで頭打ちです。

attention_k_eq_vは射影の共有を指定します。共有する射影出力を\(Z\)、ゲイン\(\gamma\)のRMSNormを\(N_\gamma\)とすると、大域層では\(K = \operatorname{RoPE}(N_{\gamma_k}(Z))\)、\(V = N_1(Z)\)です。上の表は、KとVを別々に保持するTransformersの実装に対応します。共通の射影出力だけを保存し、KとVを再計算する実装では、保存するテンソルに合わせて容量を計算し直す必要があります。

PLaMo 3について1要素1バイトと仮定すると、1Kトークンで128 MiB、128Kトークンで約2.2 GiBとなり、丸めを考慮するとPFNの比較表[8]と一致します。この節の容量はKVテンソルの分で、重みやマスク、活性値、メモリー割り当てに伴う余分な使用量は別に必要です。

  1. [8] Shuji Suzuki, "大規模言語モデルの次期バージョン PLaMo 3 シリーズにおける8B, 31Bの小規模モデルによる事前学習の検証," Preferred Networks Tech Blog, 2025.
Gemma 4 31Bは、大域層でKとVの射影を共有しますが、Transformersの実装は処理後のKとVを別々に保存します[7]。キャッシュ容量は大域層1層・1トークンあたり8 KiBで、大域10層分では1トークン増えるごとに80 KiB増加します。長い系列で局所層の分を無視できる場合、容量はPLaMo 3の約2.5倍です。
系列長1Kから256Kに対するKVキャッシュ容量の両対数グラフ。BF16・バッチサイズ1で、PLaMo 3は1Kで256 MiB、256Kで8.4 GiB、Gemma 4は1Kで880 MiB、256Kで20.8 GiB。PLaMo 3を全64層大域にした場合は256Kで64 GiBになる。
図5:KVキャッシュ容量の計算結果(BF16、バッチサイズ1) 局所層では窓外のK/Vを破棄し、大域層では全トークン分を残す場合のKVテンソル容量です。両モデルともKとVを別々に保存し、PLaMo 3の窓幅は2048、Gemma 4は1024としています。両軸は対数目盛で、1Kは1024トークンです。

5.3. 計算量と実装上のメモリー使用量

ヘッド数とヘッド次元を固定し、キャッシュなしのprefillを考えると、Attentionの内積・重み付き和の計算量は、局所層で窓内だけを計算すれば\(O(TW)\)、大域層では\(O(T^2)\)です。大域層を減らす効果は、この部分に現れます。モデル全体にはMLPや射影の計算もあり、§2.3ではdecodeでの内訳を示しています。
Attentionのスコアをすべて保存せずに計算するカーネルでも、別に渡すマスクが大きければメモリーを消費します。公開実装は、参照できない位置も含む全\(T \times S\)組のマスクを配列として作ります。長文処理で局所Attentionの利点を得るには、窓内だけを計算することに加え、マスク全体の配列を作らずに済む実装を使います。

prefillでは、因果マスクと局所マスクを作り、scaled_dot_product_attentionに渡します。窓外の内積計算を省けるかどうかは、マスクを受け取るカーネルの処理にも依存します。設定上の最大系列長\(T = S = 262144\)でFP32のマスクを1枚作ると、\(T \times S\)要素に各4バイトを使うため、計算上は256 GiBが必要です。

4K版の旧実装にあったflash_attnを呼ぶ分岐は、2604版では削除されています。vLLMの実装は、窓幅を指定できるAttentionバックエンドを使います。

6. RoPEの回転ペアと大域層のYaRN

6.1. split-halfの回転ペア

RoPE(Rotary Position Embedding)[17]は、Attentionでトークン同士を照合するときに、その位置差を反映する位置符号化です。QとKの各ヘッド内で成分を2つずつ組(回転ペア)にし、2成分からなるベクトルをトークン位置に比例した角度で回転させます。回転後のQとKの内積に現れる位置情報は、2つのトークンの位置差で決まります。
PLaMo 3は、ヘッド内の128成分を前半64成分と後半64成分に分けるsplit-half形式(GPT-NeoX形式)を使います。成分番号を0から数え、\(j\)と\(j + 64\)を組にします。例えば、成分0と64、成分1と65がそれぞれ1つの回転ペアです。
トークンの位置を\(p\)、回転ペア番号を\(j = 0, \dots, 63\)とします。ペアをなす2成分を\(a_j\)、\(b_j\)とすると、回転後の成分\(a'_j\)、\(b'_j\)は次の式で求められます。
\[ \begin{bmatrix} a'_j \\ b'_j \end{bmatrix} = \begin{bmatrix} \cos(p\omega_j) & -\sin(p\omega_j) \\ \sin(p\omega_j) & \cos(p\omega_j) \end{bmatrix} \begin{bmatrix} a_j \\ b_j \end{bmatrix}, \qquad \omega_j = \theta^{-2j/128} \]
角周波数\(\omega_j\)は、トークン位置が1つ進むごとに回す角度です。基底\(\theta\)から決まり、\(j = 0\)で最も高く、波長は\(2\pi\)トークンになります。\(j\)が大きいほど周波数は低く、\(j = 63\)で最低になります。
Q/Kのヘッド内の成分を並べ替えるときは、射影行列の行とRMSNormのゲインも同じ順に並べ替えます。隣接する成分を組にするRoPE(GPT-J形式)への移植でも、この変換が必要です。
Q/K正規化はRoPEより先に適用します。各成分を異なる倍率で伸縮してから回転する場合と、回転してから伸縮する場合では、一般に異なるベクトルが得られるためです。大域層で順序を入れ替えると、YaRNの振幅補正(§6.3)も後段のRMSNormでほぼ相殺されます。

6.2. 局所層と大域層の基底の違い

局所層は基底\(\theta = 10^4\)、大域層は\(\theta = 10^6\)を使います。基底が大きいほど、\(j > 0\)の回転ペアの波長は長くなります。過去全体を参照する大域層では、同じ角度だけ回転するまでのトークン間距離が長くなる設定です。Gemma 3とGemma 4も、局所層に\(10^4\)、大域層に\(10^6\)を使います[12, 6]。
ヘッド内の回転ペアを示す帯。PLaMo 3は全層でヘッド次元128、64対すべてを回転させる。Gemma 4の局所層はヘッド次元256、128対すべてを回転させる。大域層はヘッド次元512で、256対のうち高周波側の64対だけを回転させ、低周波側の192対は回転させない。
図6:ヘッド内の回転ペア(PLaMo 3とGemma 4) ヘッド次元を\(d\)とすると、回転ペアは成分番号\(j\)と\(j + d/2\)の組です。PLaMo 3は全64対を回転させますが、Gemma 4の大域層はp-RoPE(§6.4)により、低周波側の3/4を回転させません。色が濃いほど周波数が高いことを示します。

6.3. 大域層のYaRN

YaRN[18]は、長い文脈に対応させるため、RoPEの周波数とAttentionスコアの倍率を調整する方法です。2604版では大域層に適用し、局所層は基底\(10^4\)の通常のRoPEを使います。4K版[5]は、大域層にもYaRNを適用しません。
高周波側の回転ペアでは元の周波数を保ち、低周波側では周波数を係数\(s\)で割ります。その中間では、回転ペア番号に応じて2つの周波数を線形に補間します。
元の文脈長\(L_0 = 4096\)、\(\beta_{\text{fast}} = 32\)、\(\beta_{\text{slow}} = 1\)、基底\(\theta = 10^6\)から、補間範囲の境界を求めます。 \[ \begin{eqnarray} j_{\text{low}} &=& 64 \frac{\ln\bigl(L_0 / (2\pi\beta_{\text{fast}})\bigr)}{\ln\theta} \approx 13.96, \\ j_{\text{high}} &=& 64 \frac{\ln\bigl(L_0 / (2\pi\beta_{\text{slow}})\bigr)}{\ln\theta} \approx 30.02 \end{eqnarray} \] 公開実装は境界の端数を丸めず、\(\alpha_j = \operatorname{clip}\bigl((j - j_{\text{low}}) / (j_{\text{high}} - j_{\text{low}}),\, 0,\, 1\bigr)\)を計算します。補間後の角周波数は\(\tilde\omega_j = \omega_j [(1 - \alpha_j) + \alpha_j / 256]\)です。\(\operatorname{clip}\)は値を0以上1以下に制限する操作を表します。
周波数の調整には、rope_scaling_factorの\(s = 256\)を使います。これは最大系列長262,144と元の文脈長4096の比である64とは別の値です。最大系列長から逆算せず、設定された256を使います。
周波数の変更に加え、\(\cos\)と\(\sin\)の両方に振幅補正の係数\(1 + 0.1 \ln 256 \approx 1.5545\)を掛けます。QとKがともに拡大するため、内積は振幅補正なしの場合の約2.42倍になります。Q/K正規化はRoPEより前にあるため、この倍率はAttentionスコアにも残ります。

QとKの両方に同じ係数を掛けるため、内積の倍率は\((1 + 0.1\ln256)^2 \approx 2.4165\)です。通常のAttentionの係数\(1/\sqrt{128}\)を含めると、振幅補正前の内積に掛かる係数は\(2.4165 / \sqrt{128} \approx 0.2136\)になります。

YaRNの論文では、Q/Kに掛ける係数を温度\(t\)による\(\sqrt{1/t}\)として導入しています。公開実装はcos/sinのテーブルへ係数を掛けるため、ここでは振幅補正と呼んでいます。詳しい導出はYaRNの解説記事で扱っています。

移植時には、BF16での丸め順序と、推論エンジンへ渡すRoPE設定も確認します。
公開実装は角度とcos/sinをFP32で計算し、cos/sinを入力のデータ型へ戻してから振幅補正の係数を掛けます。BF16で出力を照合するときは、この順序を合わせます。§10の参照実装はFP32を対象としており、BF16への型変換は省いています。

Plamo3Config.rope_parametersは、config.jsonの値から局所層・大域層それぞれのRoPE設定を生成して返すプロパティです。Transformers 5.12.1では、旧名のrope_scalingからも同じ値を取得できます[22]。JSONにrope_scalingがなくても、YaRNの設定はこのプロパティを通して取得されます。

参照したvLLM本体[15]は、層の種類ごとのrope_parametersを読みます。一方、同梱のsitecustomize.pyは旧名のrope_scalingを読む別実装です。層の種類ごとの設定との互換性や、vLLMでの実行結果は確認していません。

  1. [22] Hugging Face, "configuration_utils.py (Transformers v5.12.1)," GitHub, 2026.
  2. [15] vLLM Project, "vllm/model_executor/models/plamo3.py (commit d881812)," GitHub, 2026.
回転ペア番号jに対するYaRNの周波数倍率。縦軸は対数。jが約13.96以下では倍率1で、約13.96から30.02の間では1/256へ補間し、それ以降は1/256で一定になる。
図7:大域層におけるYaRNの周波数倍率 PLaMo 3 2604版の設定(\(s = 256\)、\(L_0 = 4096\)、\(\theta = 10^6\))から求めた、元の角周波数に対する倍率です。破線は補間範囲の境界を示します。縦軸は対数目盛ですが、境界間の補間は倍率そのものに対して線形です。

6.4. Gemma 4のp-RoPE

p-RoPE[19]は、ヘッド内の一部の回転ペアだけを回転させ、残りをそのまま使う位置符号化です。回転させるペアの割合を\(p\)で表します。Gemma 4の大域層はヘッド次元512、\(p = 0.25\)なので、256対のうち高周波側の64対だけを回転させます。

Transformersのproportional形式[23]は、角周波数を計算するとき、指数の分母に元のヘッド次元512を使います。そのうえで、低周波側の角周波数を0にします。回転ペアは\((j, j + 256)\)で、角周波数は次の値です。

\[ \omega_j = \begin{cases} (10^6)^{-2j/512} & (0 \le j < 64), \\ 0 & (64 \le j < 256). \end{cases} \]

回転するのは、成分番号0〜63と256〜319の計128成分です。先頭128成分に通常の128次元RoPEを適用すると、回転ペアも周波数も変わってしまいます。周波数0のペアではcosが1、sinが0となり、元の値が残ります。

Barberoらは、Gemma 7Bの解析で低周波側の回転ペアがトークン同士の内容の照合に使われていると解釈し、その回転を取り除く方法を提案しています[19]。

  1. [23] Hugging Face, "modeling_rope_utils.py (Transformers v5.12.1)," GitHub, 2026.
  2. [19] Federico Barbero, Alex Vitvitskyi, Christos Perivolaropoulos, Razvan Pascanu, Petar Veličković, "Round and Round We Go! What makes Rotary Positional Encodings useful?," ICLR, 2025.
Gemma 4の大域層では、回転させない3/4の成分に対応する内積の項に、その層のRoPEによる位置差の効果が加わりません。PLaMo 3の大域層は、低周波側もYaRNで周波数を下げて回転させるため、全64対が位置差を反映します。

7. SwiGLUによるMLPと射影行列の分割

PLaMo 3のMLPはSwiGLU[20]を使います。入力をgateとupの2通りに射影し、SiLUという活性化関数を通したgate側の値で、up側の各成分を調整します。各層の射影行列は、すべてのトークンに共通です。
pre_mlp_normで正規化した入力を\(U \in \mathbb{R}^{B \times T \times 5120}\)とすると、計算は次の式で表せます。
\[ \begin{eqnarray} [G, U_{\text{up}}] &=& U W_{\mathrm{gate\_up}}^\mathsf{T}, \\ \operatorname{MLP}(U) &=& \bigl[\operatorname{SiLU}(G) \odot U_{\text{up}}\bigr] W_{\text{down}}^\mathsf{T} \end{eqnarray} \]
射影後の\(G\)と\(U_{\text{up}}\)は、どちらも形状\([B, T, 25600]\)です。gate_up_proj.weightを分割する場合は、先頭25600行をgate、後半25600行をupに使います。gate側の出力\(G\)だけに\(\operatorname{SiLU}(g) = g\,\sigma(g)\)を適用し、up側の出力\(U_{\text{up}}\)と要素ごとに掛けます。最後にdown射影で隠れ次元5120へ戻します。
\(\sigma(g) = 1/(1 + e^{-g})\)はシグモイド関数です。SiLUはこれを入力\(g\)に掛けるため、\(g\)が負なら出力も負になり、up側の成分の符号を反転させます。MLPにもドロップアウトはありません。
Gemma 4のMLPも、活性化関数を通したgate出力とup出力の積を使います。活性化関数はtanh近似のGELU、中間次元は\(4D = 21504\)で、PLaMo 3のSiLU・\(5D = 25600\)とは異なります。

8. Gemma 4 31Bとの共通点と相違点

Gemma 4 31Bの事前学習版[13]は、約307億パラメーターのテキストデコーダーと、約5.8億パラメーターの画像エンコーダーからなります。比較するのは60層・隠れ次元5376のテキスト部分です。
同じ役割の処理でも、実装上の名前や射影行列のまとめ方は異なります。コードを対応付けるための実装名と、構成を比較するための設定値を、それぞれ表にまとめます。
役割PLaMo 3Gemma 4
1ブロックPlamo3DecoderLayerGemma4TextDecoderLayer
Attention入力のRMSNormpre_mixer_norminput_layernorm
Attentionmixer(qkv_projを分割)self_attn(q_proj、k_proj。局所層はv_projも使用)
Attention出力のRMSNormpost_mixer_normpost_attention_layernorm
MLP入力のRMSNormpre_mlp_normpre_feedforward_layernorm
MLPmlp.gate_up_projを分割、down_projmlp.gate_proj、up_proj、down_proj
MLP出力のRMSNormpost_mlp_normpost_feedforward_layernorm
層ごとのスカラーなしlayer_scalar(ブロック出力に乗算)
最終RMSNormmodel.normmodel.norm
項目PLaMo 3 31BGemma 4 31B
ブロック数 / 隠れ次元\(D\)64 / 512060 / 5376
MLPの中間次元\(F\) / 活性化関数25600(\(5D\))/ SiLU21504(\(4D\))/ tanh近似GELU
Queryヘッド数 / KVヘッド数64 / 8局所32 / 16、大域32 / 4
ヘッド次元128(全層)局所256、大域512
Queryの総次元数8192(\(> D\))局所8192、大域16384(\(> D\))
大域層のValueKとは別に射影Kと射影出力を共有し、V用に正規化(attention_k_eq_v)
語彙数107,520262,144
局所:大域の周期7:1(大域8層、最後は大域)5:1(大域10層、最後は大域)
局所窓2048(自分を含む。4K版の旧実装は2049)1024(自分を含む)
設定上の最大系列長262,144(4K版は4096)262,144
RoPEの基底(局所 / 大域)\(10^4\) / \(10^6\)\(10^4\) / \(10^6\)
大域層のRoPEの拡張YaRN(係数256、振幅補正あり。4K版はなし)p-RoPE(\(p = 0.25\)、256対中64対だけ回転)
Q/K正規化RMSNorm、ゲイン128次元、オフセット1RMSNorm、ゲインは局所256次元・大域512次元
Vの正規化なしゲインなしのRMSNorm
Q/Kの内積に掛ける固定係数\(1/\sqrt{128}\)1(公開重みのゲインによる係数は§9.4)
RMSNormのゲインの求め方\(c + w\)(出力側の\(c\)は0.2と\(5^{-1.5}\))\(w\)そのもの(初期値1)
入力埋め込みの\(\sqrt{D}\)倍なし(scale_embedding = false)あり
埋め込みと出力ヘッドの共有ありあり
出力logitsのsoftcapなし\(30 \tanh(\cdot / 30)\)
キャッシュに保存するK正規化後・RoPE前正規化後・RoPE後
RMSNormを置く場所は共通ですが、ゲインの保存形式が異なります。PLaMo 3では保存値にオフセットを足し、Gemma 4では保存値をそのまま使います。§9の重みの比較でも、保存値を実効ゲインに直して比べます。
Gemma 4はさらに、残差加算を終えたブロック出力全体に、層ごとの係数layer_scalarを掛けます。公開重みの値はすべて0より大きく1未満です。この縮小は残差経路にも作用し、次の層で加える出力と残差との大きさの比を変えます。

Gemma4TextDecoderLayerは、残差加算を終えたブロック出力にlayer_scalarを掛けてから、次のブロックへ渡します。Transformersでは、1要素のバッファーとして登録されており、学習パラメーターには含まれません[7]。初期値は1ですが、公開重みには層ごとに異なる値が保存されています(§9.4)。

入力を正の定数倍する前後で二乗平均が\(\epsilon\)を十分に上回る場合、RMSNormの出力はほぼ変わりません。そのため、スカラーでブロック出力を縮めても、次のAttentionに渡す正規化済み入力はほぼ同じです。一方、残差経路の値は縮むので、新たに加えるAttention出力・MLP出力と、残差との大きさの比が変わります。加算後のベクトルの方向も変わりうるため、中間層のスカラーを変えたことによる値の違いは、最終RMSNormを通した出力にも残ることがあります。

  1. [7] Hugging Face, "modeling_gemma4.py (Transformers v5.12.1)," GitHub, 2026.

9. 学習済み重みの統計的な特徴

9.1. 比較対象と統計量

PLaMo 3 31Bの2604版とGemma 4 31Bのテキスト部分について、保存された重みの全要素から統計量を求めました。重みのばらつきは標準偏差、ベクトルの大きさはRMSで比べ、RMSNormの重みは実効ゲインに直して扱います。入力に応じて変わる中間出力の値(活性値)も、共通の入力文を使って調べました。

PLaMo 3 31Bの2604版は全642テンソル(31,757,456,384要素)、Gemma 4 31Bはテキスト部分の全832テンソル(30,697,345,340要素)が対象です。Gemma 4の要素数には、学習パラメーターに加えて60個のlayer_scalarも含みます。

BF16は16ビットで値を表すため、ビット列は65,536通りです。重みをsafetensorsのバイト列から直接読み、テンソルごとに各ビット列の出現回数を数え、対応する数値を使って64ビット浮動小数点(FP64)で統計量を計算しています。標本抽出はしていません。

母標準偏差はddof = 0で計算します。RMSは\(\sqrt{\operatorname{mean}(w^2)}\)で、平均を引きません。超過尖度は、平均からのずれの4乗を使って分布を評価し、正規分布で0となる定義です。

PLaMoのQKV射影は§4.1の境界でQ/K/Vに、gate/up射影は§7の境界でgateとupに分け、部分ごとに統計量を計算しました。これらは元のテンソルの一部なので、総パラメーター数には重複して足しません。実効ゲインは、重みとオフセットの和をFP64で計算した値です。BF16で加算したときの丸めは含みません。

両モデルの重みにNaNとInfはなく、PLaMoの重みにはちょうど0の値もありませんでした。

9.2. 出力側の正規化ゲインと残差の大きさ

2604版の出力側RMSNormには、深い層ほど実効ゲインが大きくなる傾向があります。Attention出力側の平均ゲインは層0の約0.12から最終層の約0.27へ、MLP出力側は最小となる層7の約0.02から最終層の約0.36へ増えています。

平均は各RMSNormの全5120成分から求めています。Attention出力側は層0が0.116、最終層が0.269、MLP出力側は層7が0.021、最終層が0.358です。浅い層では、初期値にあたるオフセット(Attention側0.2、MLP側約0.089)を下回ります。入力側の平均ゲインは、Attention側が0.977〜1.035、MLP側が0.905〜1.204でした。

4K版でも似た傾向が見られ、Attention出力側の平均ゲインは層0が0.104、最終層が0.247です。各層の平均ゲインを2つのチェックポイント間で比べると、相関係数はAttention出力側が0.93、MLP出力側が0.99でした。

入力側の平均ゲインは、Attention側・MLP側ともおおむね1です。層間の差は、残差に加える直前の出力側に強く現れています。
層番号0から63に対する正規化ゲインの全成分の平均。入力側は約1で、出力側は浅い層で小さく、深い層ほど大きくなる傾向がある。Attention出力側は約0.10から0.27、MLP出力側は約0.02から0.36。初期値に相当するオフセット0.2と約0.089を破線で示す。
図8:PLaMo 3 31B(2604版)の実効ゲイン\(\gamma = c + w\)の全成分の平均 各RMSNormの5120成分を平均し、縦軸を対数目盛で示しています。破線は出力側の初期ゲインにあたるオフセット、横軸下のオレンジ色の目盛は大域層です。
日本語の1文で残差の大きさを測ると、末尾トークンのRMSは、埋め込み直後の0.017から最終ブロックの0.97へ増えました。途中の層7でも一時的に0.85まで増え、層8では0.10に下がっています。

入力文は「これからの人工知能技術は、計算資源の制約の中でどこまで」です。PLaMoでは文頭を表すBOSトークンを含めて12トークン、Gemmaでは17トークンになります。図9は、各モデルの埋め込み直後、各ブロック出力、最終RMSNorm後の末尾トークンを比べています。

PLaMoのBOSトークンでは、残差のRMSが終盤の層で6.3に達し、他のトークンの6倍以上になりました。また、層7(最初の大域層)でRMSが一時的に大きくなる傾向は、BOS以外のトークンにも共通です。4K版でも、層7で0.17まで増えました。

残差のRMSが大きくなると、同じRMSの出力を加えても、残差に対する加算出力の比は小さくなります。深い層ほどゲインが大きいという観測は、加算出力を大きくしてこの比を保つという解釈と整合しますが、その働きは未検証です。
同じ入力文で測ったGemma 4の残差のRMSは、\(\sqrt{D}\)倍した埋め込みで1.0、中盤で5を超え、終盤には0.7まで下がりました。Attention出力とMLP出力の加算だけでなく、layer_scalarの乗算もこの推移に関わります。出力側のRMSNormの配置は共通でも、残差ストリームの大きさは両モデルで異なる推移を示しました。
同じ日本語文の末尾トークンに対する残差のRMS。PLaMo 3は埋め込み直後の約0.02から最終ブロックの約1へ増え、層7では一時的に0.85になる。Gemma 4は1から始まり、中盤で5を超えた後、終盤で0.7まで下がる。右端の最終RMSNorm後は、PLaMo 3が2.8、Gemma 4が5.6。
図9:残差ストリームのRMSの推移(同じ日本語文、末尾トークン) 日本語の1文を入力し、末尾トークンについて、埋め込み直後と各ブロック出力のRMSを測った結果です。右端の点は最終RMSNorm後の値を示します。入力文とトークン数は§9.2の測定条件の補足に記載しています。

9.3. Q/Kゲインの成分ごとの違い

2604版のQ/K正規化では、深い層の高周波側に、小さな実効ゲインが集中しています。絶対値が0.05未満の成分はすべて層31以降にあり、同じ回転ペアの2成分がそろってこの閾値を下回る例はありませんでした。片方の成分を弱めてから回転させる構成で、ペア全体を回転させないp-RoPEとは異なります。

Q用・K用それぞれ8192成分(64層×128成分)のうち、絶対値が0.05未満だったのはQが282成分、Kが246成分です。すべて高周波側の回転ペア\(j \le 16\)に属します。

成分番号\(i\)に対応する回転ペア番号は\(j = i \bmod 64\)です。回転ペアごとに平均したゲインは、高周波側の\(j = 0\)付近では約0.6、低周波側の\(j \ge 48\)では約1.4で、その間もほぼ単調に増えます。高周波側では層や成分による差も大きく、図10では前半と後半の対応する成分を比べると、その差が分かります。

Q/K正規化の実効ゲインのヒートマップ。縦軸は層番号0から63、横軸は成分番号0から127で、前半と後半の対応する成分が回転ペアになる。高周波側に小さなゲインが集中し、絶対値0.05未満を示すオレンジ色は層31以降にだけ現れる。低周波側は濃い青色で、値はほぼ一様。
図10:PLaMo 3 2604版のQ/K正規化の実効ゲイン(64層×128成分) 成分番号\(j\)と\(j + 64\)の2成分が回転ペアです。色は\(\gamma = 1 + w\)を表し、絶対値が0.05未満の成分をオレンジ色で示します。Qのゲインは64個のQueryヘッドで、Kのゲインは8個のKVヘッドで共有されます。

片側のゲインが小さいとき、もう一方は多くの場合1を超えています。RoPEはこの2成分を混ぜて回転させます。

ゲインの最小値はQ・Kともに0.0039で、負の値はありませんでした。最大値はQが2.55、Kが2.26です。

4K版で同じ閾値に該当するのは、Qが273成分、Kが166成分で、いずれも\(j \le 16\)にあります。16層の610M Fin Instructでは、Qの153成分が\(j \le 14\)、Kの101成分が\(j \le 18\)に分布します。両モデルとも、同じ回転ペアの2成分がそろって閾値未満になる例はありませんでした。

Gemma 4では、各層のQ用・K用ゲインはそれぞれのベクトル内で一定でした(§9.4)。PLaMo 3で見られる成分ごとの倍率の違いが、§6.1で説明した、正規化と回転の順序を入れ替えられない理由です。

9.4. Gemma 4のゲインと射影行列の大きさ

Gemma 4 31BのQ/Kゲインは、ヘッド次元と同じ要素数のベクトルとして保存されています。公開重みでは、各層のQ用ゲインは全成分が同じ値で、K用ゲインも同様でした。層間で比べると、Q側は0.95〜1.05、K側は局所層で0.120〜0.132、大域層で0.060〜0.065です。
Gemma 4のAttentionは、内積に\(1/\sqrt{d}\)を掛けません。代わりに、公開重みではQ用・K用ゲインの積を、内積全体に掛かる逆温度の係数として扱えます。ゲインを掛ける前の正規化済みQ/Kを固定すると、この係数が大きいほど、softmax後の重みが一部の参照先に集中します。
局所層(\(d = 256\))では、ゲインの積は通常の係数\(1/\sqrt{256} = 0.0625\)の約2倍です。大域層(\(d = 512\))では、\(1/\sqrt{512} \approx 0.044\)の約1.4倍になります。この比較は、同じ正規化済みQ/Kにどちらの係数を掛けるかを比べたものです。
Gemma 4のlayer_scalarは、最初の2層と最後の層で特に小さく、順に0.097、0.070、0.040です。この倍率でブロック出力を縮小しますが、各層ではAttention出力とMLP出力も加わります。図9の入力文では、最初の2層を通った出力のRMSは、埋め込みの約半分でした。

最初の2層を残差経路で通る入力埋め込みの項には、2つのスカラーの積で約1/150の倍率が掛かります。中間の層のスカラーは0.46〜0.99の範囲です。次の表では各層のBF16の値を小数第3位まで丸め、各行を層番号の小さい順に並べています。

層番号layer_scalarの値
0〜90.097、0.070、0.992、0.969、0.984、0.879、0.914、0.852、0.859、0.867
10〜190.914、0.812、0.719、0.973、0.977、0.840、0.977、0.844、0.969、0.906
20〜290.902、0.957、0.910、0.695、0.836、0.793、0.664、0.641、0.457、0.562
30〜390.695、0.758、0.766、0.785、0.758、0.668、0.789、0.809、0.797、0.684
40〜490.590、0.645、0.766、0.809、0.848、0.871、0.895、0.879、0.875、0.832
50〜590.867、0.871、0.703、0.828、0.906、0.871、0.844、0.809、0.727、0.040

最終層で0.040を掛けた出力は、別の出力を加えることなく最終RMSNormへ渡されます。今回の入力文の末尾トークンでは、最終RMSNorm前のRMSは約0.7でした。二乗平均に対する\(\epsilon = 10^{-6}\)の比は約\(2 \times 10^{-6}\)と十分小さいため、出力を縮小した倍率は最終RMSNormでほぼ相殺されます。

Gemma 4 31Bの層ごとのスカラーの棒グラフ。層0は0.097、層1は0.070、層59は0.040で、他の層は約0.46から0.99の範囲にある。大域層をオレンジ色で示す。
図11:Gemma 4 31Bの層ごとのlayer_scalar 横軸は0始まりの層番号、縦軸は公開重みに保存された倍率です。大域層をオレンジ色で示しています。各値は、AttentionとMLPの残差加算を終えたブロック出力全体に掛かります。
Gemma 4の入力側のRMSNormには、全成分の平均が数十から数百に達するゲインもあります。このゲインを掛けた出力に、続く射影行列を掛けてQ/K/VやMLPの中間値を求めます。
各層の平均ゲインについて、層間での最小値から最大値までを示します。右列は、全層・全成分を通じた最小値と最大値です。最終RMSNormは1個なので、平均ゲインも1つの値になります。
RMSNormの実装名平均ゲインの範囲(層間)全層・全成分の最小 / 最大
input_layernorm4.9〜47.6−54 / 1248
post_attention_layernorm0.018〜1.680.00003 / 20
pre_feedforward_layernorm2.2〜218−100 / 860
post_feedforward_layernorm0.032〜1.90.0002 / 50
norm(最終)11.4−2.6 / 510
Gemma 4の射影行列では、入力次元数が大きい行列ほど、重みの標準偏差が小さくなっています。標準偏差に入力次元数の平方根を掛けると、約0.95〜1.05に収まります。入力側の大きなゲインと、続く射影行列の小さな重みを組み合わせた構成です。
RMSNormの直後にある射影行列では、重みを0でない係数で割り、対応するゲインに同じ係数を掛けると、数学的に同じ射影出力を保てます。大きなゲインと小さな行列重みは、このように互いの倍率を補えます。両モデルの重みを比較するときは、正規化と射影を合わせて見る必要があります。

線形層の行列を\(W\)、ゲインを掛ける前の正規化済み入力を\(\hat{x}\)とすると、射影出力は列ベクトルの記法で\(W\operatorname{diag}(\gamma)\hat{x}\)と書けます。\(W\)の列を0でない係数で割り、対応する\(\gamma\)の成分に同じ係数を掛けても、この積は変わりません。同じRMSNormから複数の射影へ分岐する場合は、すべての射影を同じ対応で変換します。これは出力を保つ変換の説明であり、Gemma 4が実際にこの変換を経たかは確認していません。

射影の後にRMSNormがある場合にも、重みの倍率が相殺されることがあります。PLaMo 3のQ/K射影、出力射影、down射影がこの配置です。行列全体を正の定数倍すると、射影出力と正規化の分母がほぼ同じ倍率で変わります。正規化後の値がほぼ保たれる条件は、変更前と変更後のどちらでも、入力の二乗平均が\(\epsilon\)を十分に上回ることです。この条件を満たさない層7のMLP出力は、§9.5で扱います。

PLaMo 3の層8以降では、AttentionのQ/K/V・出力射影と、MLPのgate/up/down射影の重みの標準偏差は約0.0048〜0.0068に収まります。入力次元数は5120、8192、25600と異なりますが、標準偏差は同程度です。層0〜7のMLPには、層8以降とは異なる特徴があります(§9.5)。
重みの分布には、標準偏差に加えて外れ値の頻度にも違いがあります。PLaMo 3のAttentionの出力射影では、平均から標準偏差の5倍を超えて離れた値が、正規分布より多く見られました。

外れ値の影響を受けやすい統計量として、超過尖度も調べました。平均からのずれの4乗を使うため、標準偏差よりも極端な値の影響を強く受けます。正規分布で0となる定義です。

PLaMo 3のo_projでは、層ごとの超過尖度の中央値は115、最大は層16の3506です。平均からの距離が標準偏差の5倍を超える要素は0.040%あります。正規分布なら約0.00006%です。down_projも層6では超過尖度4270ですが、層8以降のgate/upは0.1〜0.6です。

Gemma 4の射影行列の超過尖度は、種類ごとに層間の中央値を取ると約0.34〜3.01です。個別にはv_projの9.38のような例もあり、埋め込みの超過尖度は111でした。

9.5. 浅い層のMLPの重みと正規化後の出力

MLPのgate、up、down射影では、層2、3、4、6の重みの標準偏差が、層8以降のおよそ1/5〜1/10になっています。
表は、層0〜8の重みの標準偏差と活性値のRMSです。活性値の測定には§9.2の入力文を使い、BOSを除く11トークンを対象にしました。「SiLU入力」は、gate射影の出力を活性化関数へ渡す直前の値です。AttentionとMLPの出力は、それぞれ出力側のRMSNormを通した後に残差へ加えます。
層gate / up / downの重みの標準偏差o_projの重みの標準偏差SiLU入力のRMSMLP出力のRMS(正規化前)MLP出力のRMS(正規化後)Attention出力のRMS(正規化前)Attention出力のRMS(正規化後)
00.0037 / 0.0037 / 0.00410.00480.2550.58470.0222.30.135
10.0046 / 0.0045 / 0.00480.00390.7776.4440.04817.30.134
20.0010 / 0.0010 / 0.00110.00420.52133.110.04360.40.102
30.0006 / 0.0006 / 0.00060.00390.770108.60.04247.80.103
40.0006 / 0.0006 / 0.00060.00450.35211.890.03723.30.125
50.0036 / 0.0035 / 0.00360.00460.1450.6450.0678.760.125
60.0006 / 0.0006 / 0.00060.00510.0600.65420.0724.820.200
70.0031 / 0.0031 / 0.00340.00450.0130.000210.0472.470.448
80.0057 / 0.0057 / 0.00570.00590.0370.00540.3780.2530.376

この入力文では、正規化後のAttention出力とMLP出力のRMSは、9層を通じて0.02〜0.5の範囲でした。

ところが、§9.2の入力文で測ったMLP出力のRMSは、正規化前には層3で108.6、層7で0.00021でした。重みの標準偏差が小さい層3の方が、この入力に対しては大きな値を出しています。出力側のRMSNormを通すと、それぞれ0.042と0.047となり、5桁以上あった差が縮まります。
正規化後のRMSには、ゲインと入力の各成分、\(\epsilon\)が関わります。層7のように入力が小さい場合は、分母の\(\epsilon\)を省くと正規化後のRMSを過大に見積もります。

この入力での層7の正規化前のRMSは約0.00021で、\(\sqrt{\epsilon} = 0.001\)より小さな値です。二乗平均に比べて\(\epsilon\)が大きいため、RMSだけで割る場合との差が生じます。

RMSNormへ渡す1トークン分のベクトルを\(x\)、実効ゲインを\(\gamma\)とします。RMSNormを\(N_\gamma\)と書くと、出力のRMSは次の関係を満たします。

\[ \operatorname{RMS}(N_\gamma(x))^2 = \frac{\operatorname{mean}(\gamma^2 \odot x^2)}{\operatorname{mean}(x^2) + \epsilon}. \] 分子には、各成分のゲインと活性値を掛けた値の二乗が現れます。入力を正の定数\(a\)倍したときは、次の式で表せます。 \[ N_\gamma(a x) = \gamma \odot \frac{x}{\sqrt{\operatorname{mean}(x^2) + \epsilon/a^2}} \] 入力を定数倍しても正規化後の値がほぼ変わらないのは、変更前と変更後のどちらでも、二乗平均が\(\epsilon\)に比べて十分大きい場合です。層7のようにMLP出力が小さい場合は、downやupの行列全体を正の定数倍すると、残差に加えるMLP出力のRMSも変わります。
gate側のSiLUは、入力\(g\)が0に近いと\(\sigma(g) \approx 1/2\)となり、\(g/2\)で近似できます。同じ入力文に対するSiLU入力のRMSは、層6〜8では0.01〜0.06でした。一方、重みの標準偏差が小さい層2〜4では0.35〜0.77と、深い層の多くと同程度です。
4K版のMLPでは、全層の重みの標準偏差が0.0045〜0.0068に収まり、特定の浅い層だけ小さくなる偏りはありません。それでも、この入力文に対する層7のSiLU入力のRMSは0.035でした。層7のgate射影が小さな値を出す点は、両チェックポイントに共通します。

10. 参照実装と公開実装の照合

本文の式と定数から作った参照実装で、公開実装のlogitsを再現できるか確かめました。2604版の公開重みを使い、短い入力を32ビット浮動小数点(FP32)で処理したところ、logitsの最大絶対誤差は\(9.5 \times 10^{-6}\)でした。各位置でスコアが最大になるトークンも一致しています。

参照実装はsafetensorsから重みを直接読み込み、モデルの公開実装を呼び出さずに計算します。以下のコードはCPU・FP32・バッチサイズ1を対象とし、パディングとキャッシュは使いません。wにはFP32へ変換した重みの辞書、idsには形状\([1, T]\)のトークンID列を渡します。

import math
import torch
import torch.nn.functional as F

EPS, DH = 1e-6, 128
OFF = dict(
    pre_mixer=1.0, post_mixer=1 / 5,
    pre_mlp=1.0, post_mlp=5 ** -1.5,
    q=1.0, k=1.0, final=1.0,
)

def rms_norm(x, weight, offset):            # (c + w) ⊙ x / sqrt(mean(x^2) + ε)
    y = x.float() * torch.rsqrt(x.float().pow(2).mean(-1, keepdim=True) + EPS)
    return (offset + weight) * y.to(x.dtype)

def rope(x, theta, yarn):                    # split-half形式で回転。大域層にはYaRNを適用
    T = x.shape[-2]
    freq = theta ** (torch.arange(0, DH, 2).float() / DH)
    inv, conc = 1.0 / freq, 1.0
    if yarn:                                 # L0 = 4096, s = 256, β_fast = 32, β_slow = 1
        low = 64 * math.log(4096 / (32 * 2 * math.pi)) / math.log(theta)
        high = 64 * math.log(4096 / (1 * 2 * math.pi)) / math.log(theta)
        mask = 1 - ((torch.arange(64).float() - low) / (high - low)).clamp(0, 1)
        inv = (1.0 / (256 * freq)) * (1 - mask) + (1.0 / freq) * mask
        conc = 0.1 * math.log(256) + 1.0      # 振幅補正。cosとsinの両方に掛ける
    ang = torch.arange(T).float()[:, None] * inv[None]
    cos, sin = (
        torch.cat([ang, ang], -1).cos() * conc,
        torch.cat([ang, ang], -1).sin() * conc,
    )
    x1, x2 = x[..., :DH // 2], x[..., DH // 2:]
    return x * cos + torch.cat([-x2, x1], -1) * sin

def block(x, w, i):
    p = f"model.layers.layers.{i}."
    is_global = (i + 1) % 8 == 0
    T = x.shape[1]
    u = rms_norm(x, w[p + "pre_mixer_norm.weight"], OFF["pre_mixer"])
    q, k, v = torch.split(
        u @ w[p + "mixer.qkv_proj.weight"].T,
        [64 * 128, 8 * 128, 8 * 128], -1,
    )
    q = q.view(1, T, 64, 128).transpose(1, 2)        # [B, 64, T, 128]
    k = k.view(1, T, 8, 128).transpose(1, 2)         # [B, 8, T, 128]
    v = v.view(1, T, 8, 128).transpose(1, 2)
    q = rms_norm(q, w[p + "mixer.q_norm.weight"], OFF["q"])
    k = rms_norm(k, w[p + "mixer.k_norm.weight"], OFF["k"])
    theta = 1000000 if is_global else 10000
    q, k = rope(q, theta, is_global), rope(k, theta, is_global)
    # GQA:連続する8個のQueryヘッドが同じ1組のK/Vヘッドを参照
    k = k.repeat_interleave(8, 1)
    v = v.repeat_interleave(8, 1)
    s = (q @ k.transpose(-1, -2)) / math.sqrt(128)
    i_, j_ = torch.arange(T)[:, None], torch.arange(T)[None, :]
    allowed = j_ <= i_
    if not is_global:
        allowed &= (i_ - j_) <= 2047        # 局所層:自分自身と直前の2047トークン
    s = s.masked_fill(~allowed, float("-inf"))
    a = (torch.softmax(s, -1) @ v).transpose(1, 2).reshape(1, T, 64 * 128)
    x = x + rms_norm(
        a @ w[p + "mixer.o_proj.weight"].T,
        w[p + "post_mixer_norm.weight"], OFF["post_mixer"],
    )
    u = rms_norm(x, w[p + "pre_mlp_norm.weight"], OFF["pre_mlp"])
    g, up = (u @ w[p + "mlp.gate_up_proj.weight"].T).chunk(2, -1)
    m = (F.silu(g) * up) @ w[p + "mlp.down_proj.weight"].T
    return x + rms_norm(m, w[p + "post_mlp_norm.weight"], OFF["post_mlp"])

def forward(ids, w):
    x = w["model.embed_tokens.weight"][ids]          # 埋め込みを√D倍しない
    for i in range(64):
        x = block(x, w, i)
    x = rms_norm(x, w["model.norm.weight"], OFF["final"])
    return x @ w["model.embed_tokens.weight"].T     # 出力ヘッドは埋め込みと共有
同じ入力を使ったキャッシュの有無の比較でも、一括処理と1トークンずつのdecodeの差は同程度でした。FP32同士での実装間の差は、公開実装をBF16とFP32で動かしたときの差より約4桁小さくなっています。
窓幅を超える入力は、公開実装にランダム重みを与えた小型モデルで検証しました。1トークンずつのdecodeと、入力を分割したprefillのどちらも、一括処理とのlogitsの最大絶対誤差は\(2.7 \times 10^{-7}\)以下でした。公開重みを使った長文脈での動作は未検証です。

表の誤差は、比較する2通りの計算で得たlogitsの差です。公開重みの検証には§9.2と同じ入力文を使い、BOSを含めて12トークンになります。全64層を通したlogitsの絶対値は最大18.2でした。公開重みで窓幅2048を超える入力や、最大系列長262,144トークンでの動作は確認していません。小型モデルにはランダム重みを使っています。

検証条件最大絶対誤差
公開重み・全64層:参照実装と公開実装2604版、FP32、\(T = 12\)、キャッシュなし\(9.5 \times 10^{-6}\)(平均絶対誤差\(1.2 \times 10^{-6}\))
公開実装:BF16とFP322604版、\(T = 12\)、キャッシュなし0.165(平均絶対誤差0.019)。最大スコアのトークンは一致
公開重み:一括処理と1トークンずつのdecode2604版、FP32、系列長12\(1.0 \times 10^{-5}\)
小型モデル:一括処理と1トークンずつのdecode8層、\(D = 48\)、ヘッド次元16、\(W = 4\)、系列長12、FP32\(2.7 \times 10^{-7}\)(4K版の旧実装では\(3.3 \times 10^{-7}\))
小型モデル:一括処理と3・6・3トークンに分けたprefill同上\(2.1 \times 10^{-7}\)(旧実装では\(2.8 \times 10^{-7}\))
小型モデル:学習モードでのマスク省略と評価モード上記の小型モデルで\(T = 4, 5, 6\)\(T = 5\)のみ0.15(旧実装では0)

公開重みの照合には、PyTorch 2.12.1(CPU)とTransformers 5.12.1を使いました。モデルカードはPyTorch 2.9.0以下を指定していますが、この検証では2.12.1で実行しています。両実装ともFP32で重みを読み込むため、重みだけでそれぞれ約127 GBが必要です。CPUは96スレッドで実行しました。小型モデルは、公開実装のクラスにランダム重みを与えたものです。4K版の旧実装の検証にはTransformers 4.57.1を使っています。

重みを読み込む処理と順伝播の実装を確認するために、参照先をまとめます。
  • 保存されたキー名model.layers.layers.{i}.からの重みの対応付けと、1つにまとめた射影行列の分割位置(§2.2・§4.1・§7)
  • 設定ファイルのヘッド次元128と、RMSNormの適用箇所ごとのオフセット(§2.1・§3.2)
  • Q/K正規化とRoPEの適用順序、split-halfの回転ペア、大域層のYaRNと振幅補正(§6.1・§6.3)
  • キャッシュに保存するKがRoPE適用前の値であることと、Q/Kへの位置番号の割り当て(§4.4)
  • 0始まりの層番号に対応する局所/大域層の配置と、窓幅に含めるトークン数(§5.1)
  • 入力埋め込みと出力ヘッドの重みの共有(§2.2)
  • BF16での型変換、オフセット加算、乗算の順序(§3.2・§6.3)
実装を照合するときは、まずFP32・短い入力・バッチサイズ1・キャッシュなしの条件で、各ブロックの出力を比較します。その後、キャッシュ、窓の境界、パディング、BF16、高速カーネルの順に条件を増やすと、不一致が生じる段階を特定しやすくなります。

11. まとめ

PLaMo 3を長文処理に使う際は、局所/大域層の設定に加えて、推論エンジンが窓外の計算と保存をどう省くかが関わります。短い入力で計算を再現できても、長い入力ではマスクの作り方やキャッシュの保持範囲がメモリー使用量を左右します。
学習済み重みの比較では、保存値を実際の演算に対応付けて読む必要があります。オフセットを含むゲインや前後の正規化によって、同じ程度の行列重みからも異なる大きさの出力が生じます。重みの統計で見つけた差を、入力に対する活性値と合わせて調べることで、残差に何が加わるかまで確かめられます。

参考文献

  1. [1] Preferred Networks, Inc., "PLaMo 3 NICT 2604 31B Base (model card, config.json, modeling_plamo.py; revision e26c257e)," Hugging Face, 2026. (本記事の主対象。版を固定した設定ファイル、公開実装、重み)
  2. [2] Preferred Networks, Inc., "PLaMo 3 NICT 2B Base (model card and config.json)," Hugging Face, 2026. (モデルサイズの比較)
  3. [3] Preferred Networks, Inc., "PLaMo 3 NICT 8B Base (model card and config.json)," Hugging Face, 2026. (モデルサイズの比較)
  4. [4] Preferred Networks, Inc., "PLaMo 3 610M Fin Instruct (model card and config.json)," Hugging Face, 2026. (金融向け派生モデルの構成とパラメーター数)
  5. [5] Preferred Networks, Inc., "PLaMo 3 NICT 31B Base (model card, config.json, modeling_plamo.py; revision 9c1fa626)," Hugging Face, 2026. (層数や次元数が同じ4K版。比較用の重みと、窓の数え方が異なる旧実装)
  6. [6] Google DeepMind, "Gemma 4 31B (model card and config.json)," Hugging Face, 2026. (比較対象。設定ファイルと重み)
  7. [7] Hugging Face, "modeling_gemma4.py (Transformers v5.12.1)," GitHub, 2026. (Gemma 4の正規化・RoPE・KVキャッシュの公開実装)
  8. [8] Shuji Suzuki, "大規模言語モデルの次期バージョン PLaMo 3 シリーズにおける8B, 31Bの小規模モデルによる事前学習の検証," Preferred Networks Tech Blog, 2025. (PLaMo 3のアーキテクチャ変更の背景、KVキャッシュの比較表)
  9. [9] Iz Beltagy, Matthew E. Peters, Arman Cohan, "Longformer: The Long-Document Transformer," arXiv:2004.05150, 2020. (Sliding Window Attentionを含むLongformer)
  10. [10] Preferred Networks, Kaizaburo Chubachi, others, "PLaMo 2 Technical Report," arXiv:2509.04897, 2025. (前世代PLaMo 2の技術報告)
  11. [11] Liliang Ren, Yang Liu, Yadong Lu, Yelong Shen, Chen Liang, Weizhu Chen, "Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling," ICLR, 2025. (PLaMo 2が採用していたMambaとSWAの混合構成)
  12. [12] Gemma Team, "Gemma 3 Technical Report," arXiv:2503.19786, 2025. (局所/大域Attentionの併用とQ/K正規化を持つGemma 3)
  13. [13] Gemma Team, "Gemma 4 Technical Report," arXiv:2607.02770, 2026. (Gemma 4の5:1の層比率、大域層でのKの再利用、p-RoPE)
  14. [14] Biao Zhang, Rico Sennrich, "Root Mean Square Layer Normalization," NeurIPS, 2019. (RMSNormの原典)
  15. [15] vLLM Project, "vllm/model_executor/models/plamo3.py (commit d881812)," GitHub, 2026. (RMSNormのオフセットを重みへ足し込む推論実装)
  16. [16] Joshua Ainslie, James Lee-Thorp, Michiel de Jong, Yury Zemlyanskiy, Federico Lebrón, Sumit Sanghai, "GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints," EMNLP, 2023. (Grouped-Query Attention)
  17. [17] Jianlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, Yunfeng Liu, "RoFormer: Enhanced Transformer with Rotary Position Embedding," Neurocomputing 568, 2024. (RoPEの原典)
  18. [18] Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole, "YaRN: Efficient Context Window Extension of Large Language Models," ICLR, 2024. (YaRN)
  19. [19] Federico Barbero, Alex Vitvitskyi, Christos Perivolaropoulos, Razvan Pascanu, Petar Veličković, "Round and Round We Go! What makes Rotary Positional Encodings useful?," ICLR, 2025. (p-RoPE。低周波側の回転ペアから回転を取り除く提案)
  20. [20] Noam Shazeer, "GLU Variants Improve Transformer," arXiv:2002.05202, 2020. (SwiGLUを含むGLU系MLP)

最終更新日: 2026年10月27日