AIの推論コストを決めていたのは、計算より「何ビットで表すか」だった

生成AIのコストの大半は、できあがったモデルを動かす「推論」で発生します。そのコストを左右するのは演算回数だけではありません。モデルの中身である膨大な数値を、どれだけ少ないビット数で表せるかが効きます。「AI半導体の性能を決めるのはメモリ帯域幅」であることを踏まえると、数値表現そのものを軽くする意味が見えてきます。本記事ではFP8・FP4・NVFP4という数値フォーマットの中身を、平易に解説します。

量子化とは何か

量子化とは、数値の精度（ビット幅）を意図的に落として、計算とメモリを軽く・速くする技術です。AIモデルは「重み（パラメータ）」と呼ばれる膨大な数値の集まりで、これを32ビットから8ビットや4ビットへ変換します。

たとえば1,750億パラメータのモデルをFP16（16ビット）で持つと約350GBですが、FP8（8ビット）なら約175GB、FP4（4ビット）なら約88GBまで縮みます。ビット数を半分にすれば、データ量もおおむね半分になるという素直な関係です。

量子化が特に効くのは推論（できあがったAIに質問して答えを出させる工程）です。学習では数値の細かい差が結果に影響しやすいため、極端な低精度化は難しい場面が残ります。一方で推論はビットを削っても答えの質を保ちやすく、ここにコスト削減の余地が集中しています。

FP8・FP4はどういう数値表現か

そもそも浮動小数点（フローティングポイント）とは、数を「符号・指数・仮数」の3つの部分で表す方式です。符号はプラスかマイナス、指数は小数点の位置（おおまかな大きさ＝表せる範囲）、仮数は数の細かい値（精度）を担います。指数に割くビットが多いほど広い範囲を、仮数に多いほど細かい値を表せます。

FP8の名前にある E4M3・E5M2 は、指数（Exponent）と仮数（Mantissa）のビット数を示します。E4M3は指数4・仮数3ビットで精度を優先、E5M2は指数5・仮数2ビットで表せる範囲を優先します。FP8 Formats for Deep Learning（Micikevicius et al., 2022）は、この2つを使い分けることで16ビット学習と同等の品質を得られることを示しました。一般に、答えを出す方向の計算にはE4M3が、学習時の更新量の計算にはE5M2が向くとされます（要確認：用途配分は実装により異なる）。

FP4 はわずか4ビットで、E2M1（符号1・指数2・仮数1）の構成です。表せる値は約-6〜6の16段階しかありません。これだけでは粗すぎるため、後述のブロックスケールで補うのが前提になります（arXiv:2209.05433）。

なぜ低精度で推論コストが下がるのか

ビット数を減らすと推論コストが下がる理由は、主にメモリにあります。「AI半導体の性能指標の記事」で解説したとおり、大規模言語モデルの推論はトークンを1つ生成するたびに全パラメータをメモリから読み込むため、メモリ帯域幅が速度の上限を決めることが多いのです。

ビット数が半分になれば、メモリに置くデータ量も、メモリから読み出すデータ量もおおむね半分になります。読み出すデータが減れば、その分だけ速くなり、HBM（高帯域幅メモリ）の限られた帯域を有効に使えます。NVIDIAによると、NVFP4はFP16比でモデルのメモリ占有を約3.5分の1、FP8比で約1.8分の1に削減します。

下がるのは時間とメモリだけではありません。しかも、データを動かす量が減れば消費電力も下がります。データセンターのAI電力が問題になるなか、「GPUが大量の電力を使う構造」に対して、低精度化は数値表現の側から効く対策です。推論特化のASIC（特定用途向けチップ）も、こうした低ビット演算を前提に設計されます（NVIDIA Technical Blog）。

精度は落ちないのか

最大の疑問は「ビットを削って精度は落ちないのか」です。素朴に削れば落ちます。FP4は16段階しかないため、ある範囲の数値を一律に4ビットへ押し込めると、大きな外れ値が表現の範囲をはみ出し、誤差が膨らみます。

これを解く鍵がブロックスケールです。数値を小さなグループ（ブロック）に分け、ブロックごとに共通の倍率（スケール）を持たせます。各値はスケールで割ってから4ビットに収め、使うときに掛け戻します。ブロックが小さいほど、その範囲の値に合わせて倍率を調整でき、外れ値の影響を抑えられます。

ここで方式が分かれます。業界団体のOCP（Open Compute Project）が標準化した MXFP4 は、32個ごとに「2のべき乗」のスケールを共有します。一方、NVIDIA独自の NVFP4 は16個ごとに端数まで表せる細かいスケールを持ち、さらにテンソル（数値のひとまとまり）全体にもう一段のスケールを重ねる二段構えです。ブロックが32→16と細かく、スケールが端数まで表せる分、外れ値に強く誤差が小さくなります。

その効果は具体的です。NVIDIAは、公開モデルのDeepSeek-R1-0528をFP8からNVFP4へ量子化しても、主要な言語タスクで精度劣化が1%以下にとどまり、数学ベンチマークのAIME 2024では逆に約2%向上したと報告しています。つまり、4ビットでも、スケール設計次第で実用精度を保てるということです（Open Compute Project）。

今後はどうなるのか

低精度化の流れは、ハードとフォーマットの両面で進みます。NVIDIAの最新世代GPU（Blackwell）は、NVFP4のブロック分割・スケール処理・4ビットの行列計算を、AI計算専用の回路でそのまま自動処理します。フォーマットがチップに焼き込まれることで、量子化はソフトの工夫から標準機能へと移りつつあります。

論点は標準化と互換性です。業界標準のMXFP4と、ベンダー独自で精度に優れるNVFP4が並走しており、どちらがエコシステムの主流になるかは未確定です。また、学習側でも4ビット化の研究が進み、学習と推論の双方で低精度が当たり前になる可能性があります。

数値を何ビットで表すかは、もはや実装の細部ではなく、AI半導体の競争力そのものになりました。「AI半導体とは何か」を理解するうえで、低精度数値フォーマットは欠かせない論点です（Edge AI and Vision Alliance）。

この記事のまとめ

• 浮動小数点は符号・指数・仮数の3要素で数を表し、FP32→FP16→FP8→FP4とビット数を削るほど軽く速くなる。
• 量子化とは、精度（ビット幅）を落として計算とメモリを軽くする技術で、AIの推論で特に効く。
• FP8にはE4M3（精度重視）とE5M2（範囲重視）があり、FP4はE2M1で約-6〜6しか表せないためスケール補正が前提。
• NVFP4はNVIDIA独自のブロックスケール付きFP4で、16個単位のFP8スケール＋テンソル単位のFP32スケールで精度を保つ。
• NVFP4はFP16比でメモリを約3.5分の1にしつつ、DeepSeek-R1で精度劣化1%以下を実現し、推論コストと電力を下げる。