AIが安くなった本当の理由——GPU3世代と推論ASICが変えた「1トークン」の経済学

推論コストが「100分の1」になったとはどういうことか

AI推論コストの下落を示す指標として、LLMのAPI価格がよく使われます。GPT-4クラスのモデルで入力100万トークンあたり数十ドルだったものが、2026年には同規模のモデルで数十セントまで下がっています。この値下がりはモデルの圧縮や競争による値下げだけでなく、チップそのものの進化に支えられています。

推論とは、学習済みのモデルに新しい入力を与えて出力を得る処理です。ChatGPTに質問を投げるとき、Claudeに文章を要約させるとき——それがすべて推論です。2026年時点でAI計算全体のうち約3分の2を推論が占めており、コスト削減の恩恵が最も広くユーザーに届く領域になっています。GPUがなぜAI計算に向くのかという基礎は「CPUとGPUの違いは“手数”だった——GPUがAIの主役になれた理由」で解説しています。

GPU世代交代という「性能の複利」

HBM（高帯域メモリ）の進化とコンピューティングアーキテクチャの刷新が、GPUの推論性能を急激に押し上げています。

NVIDIAのH100 SXM5はFP16で約1,979 TFLOPSの演算性能を持ち、HBM3で3.35 TB/sのメモリ帯域幅を備えます。消費電力は700Wです。

次世代のBlackwell世代（GB200 NVL72）は、72枚のGPUをNVLink（130 TB/s）で結び、サーバーを収納する棚状の設備であるラックあたり約120kWを消費しながら巨大なモデルを高スループットで動かします。

そして2026年後半に登場予定のVera Rubin NVL72では、HBM4（288GB/GPU、22TB/s）を搭載し、Blackwellと比較して推論スループットが5倍、トークンあたりの単価が10分の1になるとNVIDIAは主張しています。

3世代を並べると——H100→GB200→Vera Rubin——という継続的な性能向上のチェーンが見えます。各世代2〜5倍のスループット改善が「複利」のように積み重なり、数年で10倍超の性能差を生み出します。これは半導体の微細化世代を示すプロセスノードの微細化だけでなく、HBM世代・NVLink帯域・アーキテクチャ設計の総合的な進歩によるものです。

推論専用ASIC——GPUが苦手なことをゼロから設計する

汎用GPUが持つ設計の柔軟性は、推論という特定タスクにおいては「過剰」でもあります。GPUは学習にも使えるよう、巨大な並列演算コアとHBMを組み合わせていますが、推論は「同じ計算を高スループット・低レイテンシで繰り返す」という要件が中心です。

この隙間を狙ったのが推論専用ASICです。GroqのLPU（Language Processing Unit）はSRAMをオンチップに大量搭載し、メモリアクセスを予測可能な固定パターンに限定することで、決定論的な実行を実現します。Llama 3 70Bを毎秒約500トークンで処理できるとGroqは示しており、GPUベースのサービスと比べて応答速度で差別化しています。

GoogleのTPUやAmazonのTrainium/Inferentia、MetaのMTIAなどのハイパースケーラー独自チップも同様の方向性——特定のモデル・推論パターンに最適化したカスタム設計——を取っています。

市場データはこの動きを裏付けます。TrendForceの推計では、2026年のAIサーバー市場においてASICの成長率は+44.6%、GPUの+16.1%を大きく上回り、ASICのシェアはAIサーバー市場の27.8%に達します。

量子化がメモリの壁を押し下げた

LLMの推論速度は、演算性能よりもHBMのメモリ帯域に律速されることが多いです。モデルの重みを次々とメモリから読み出す処理がボトルネックになるためです。量子化はこのボトルネックを正面から攻略する手法です。

FP32（32ビット浮動小数点）で保持していた重みをFP16（16ビット）、さらにFP8（8ビット）やFP4（4ビット）に落とすと、メモリ消費量は半分〜4分の1になります。同じHBMでより多くの重みを保持でき、帯域あたりのトークン処理量が増えます。

精度の劣化は学習時の量子化対応（QAT: Quantization-Aware Training）や推論時のキャリブレーションで抑制できます。多くの大規模モデルでFP8化しても、品質の差は通常の用途では知覚されないレベルに収まることが実証されています。NVIDIA H100はFP8での演算を直接ハードウェアサポートしており、ソフトウェア側の量子化と組み合わせることでH100の推論スループットはFP16比で約2倍になります。

推論市場500億ドルの意味——コスト低下が需要を生む

推論市場は2026年に500億ドルを超えると推定されており、データセンター全体の電力消費や設備投資の議論でも中心に据えられ始めています。

コスト低下が需要を生む構造を「ジェボンズのパラドックス」と呼びます。エネルギーの効率が上がると、安くなった分だけ需要も増えて総消費量は減らない——という19世紀の観察が、AI推論でも働いています。1トークンあたりのコストが10分の1になれば、企業は10倍の使い道を探します。コード補完・文書作成・カスタマーサポート・翻訳・レコメンデーション——かつては費用対効果が合わなかった用途が次々と経済合理性を持ち始めます。

このため、GPU世代交代・推論ASIC・量子化によって「コスト革命」が起きたとしても、それはトータルの推論消費量が増える起爆剤でもあります。半導体メーカーやデータセンター事業者にとっては、コスト低下＝需要拡大というサイクルが続く限り、投資の根拠が消えることはありません。

今後の不確定要素

コスト低下のトレンドは続くと見られますが、注意点もあります。第1に、Vera Rubinなど次世代GPU・ASICの性能数値はメーカーの事前発表であり、量産後の実測値や価格が変わる可能性があります。第2に、量子化の精度限界——モデルによってはFP4まで落とすと品質が大きく劣化するケースがあり、汎用ではありません。

第3に、コスト低下が需要を呼び起こすペースが供給側の設備投資を上回れば、電力や冷却インフラのボトルネックが出現します。コスト革命はチップ単体では完結せず、インフラ全体の連鎖で動いています。