AIは答えを出す前に「考え直す」ほど賢くなる——学習より推論が半導体需要を動かし始めた

なぜ「もっと考える時間」を与えるとAIは賢くなるのか

従来の大規模言語モデル（LLM）は、質問を受けると一度だけ「左から右へ」と文字を生成して答えを出していた。処理は速いが、複雑な数学の証明や多段階の推論問題では間違いが多かった。

2024年9月、OpenAIが公開した「o1」は違う動き方をする。答えを出す前に内部で「思考トークン」を大量に生成し、問題を分解・検証してから最終回答を出力する。人間が難しい問題を解くとき計算用紙に下書きを何枚も書いてから答えをまとめるのに近い発想だ。o1はこの手法で数学オリンピック（AIME）の予選問題を83.3%の正解率で解いた。GPT-4oの13.4%と比べると、同じモデル規模で正解率が6倍以上になる（openaiO1Blog）。

この「考え直す」プロセスに多くの計算資源を投じるほど、答えの精度が上がることが複数の研究で確認されている。学習（訓練）に使う計算とは独立して、推論（実行）時の計算を増やすだけで性能向上が得られる——これが**推論スケーリング（inference-time scaling、またはTest-Time Compute）**の本質だ。

推論スケーリングの仕組み——どうやって「考える」のか

推論スケーリングには主に3つの手法がある。

Google DeepMindの研究（2024年8月）は、小さなモデルに多くの推論計算を与えると、はるかに大きなモデルと同等の性能が得られることを実験的に示した（dmTestTimeScaling）。この結果が示すのは、「訓練済みモデルを大きくする」と「推論時の計算を増やす」は、ある範囲で代替関係にあり得るという事実だ。

2025年1月に公開されたDeepSeek-R1は、強化学習で「長い思考連鎖を生成する」能力を特化的に訓練し、OpenAI o1に匹敵する数学・コーディング精度をオープンウェイトで達成した（deepseekR1Paper）。世界中の研究者がモデルを改良できる状態で公開されたことで、推論スケーリングの研究は一気に加速した。

なぜこの変化がGPU・半導体需要を動かすのか

推論スケーリングが広がると、2つの経路でチップ需要が増える。

第一は、推論クラスタの大規模化だ。 従来のAIサービスは、1クエリあたり数百トークンを生成して終わりだった。o1型のモデルは数千〜数万トークンを内部で生成してから回答する。ユーザー1人あたりの計算量が1桁以上増える計算になる。

第二は、AIエージェントによる複合需要だ。 AIが「ツールを使いながら複数回考える」エージェント型ワークフローでは、1つのタスクで数十〜数百回の推論呼び出しが発生する。各呼び出しが推論スケーリングでさらに計算を積む構造になると、全体の計算量は指数的に膨らむ。

この流れを受けてGoogleは2025年末に発表した第7世代TPU「Ironwood」を「AI推論の時代のための初のTPU（the first TPU for the age of inference）」と位置づけた（googIronwood）。NVIDIAのFY2026（2026年1月期）データセンター事業売上は1,937億ドルに達し、FY2024の475億ドルと比べ約4倍に拡大した（nvdaFy2026）。この急拡大の背景の一つが、推論需要の構造的成長だ。

推論チップと学習チップはどこが違うのか

推論と学習では、チップに求める性質が大きく異なる。

学習はバッチをまとめて処理するため、スループット（単位時間あたりの演算量）が鍵になる。一方、推論は1ユーザーの問いに「速く答える」ことが優先されるため、レイテンシ（応答時間）が重視される。バッチが小さいほど演算ユニットは遊び、メモリからデータを読み出す帯域幅が先にボトルネックになる構造だ。

「FP8・FP4量子化」は推論専用の精度削減手法だ。訓練中は勾配の精度が必要なため適用が難しいが、推論だけなら重みを4〜8ビットに圧縮してもモデルの精度をほぼ維持できる。これでメモリ使用量を1/2〜1/4に削減し、同じHBM（高帯域幅メモリ）容量でより多くのリクエストをさばける。

長い思考がメモリ需要を増やす——KVキャッシュとHBMの関係

推論スケーリングの大きな副作用が、HBM消費量の急増だ。

LLMは過去のトークン（単語のかけら）の情報を「KVキャッシュ（Key-Valueキャッシュ）」としてメモリ上に保持する。入力や思考トークンが長くなるほど、このキャッシュは線形に増える。o1型モデルが「1万トークンの思考」を内部で積み重ねると、それを格納するためのHBM容量が大幅に上乗せされる。

例えば700億パラメータのモデルをFP16精度で動かすと、重みだけで約140GBのHBM3Eが必要だ。これに1万トークン分のKVキャッシュが加わると、さらに数十GBが上乗せされる。NVIDIAの「Blackwellアーキテクチャ」（GB200）がHBM3E 192GBを搭載する——H100の80GBの2.4倍——主な理由の一つが、この長文脈・推論スケーリングへの対応だ。

長い文脈のKVキャッシュをストレージ階層に逃がす仕組み（NVIDIAのCMXなど）も登場しているが、根本的な制約はより大容量・高帯域幅のHBMを積むことで緩和される。「AIの推論コスト経済学」で解説したように、1トークンあたりのコストを下げるにはレイテンシとスループットの最適化が欠かせない。

「学習から推論へ」のシフトが産業構造を変える

2022〜2023年のGPT-4開発時代は、「大規模な訓練クラスタを持つ企業が勝つ」という前提が支配的だった。推論スケーリングが確立されると、この構図が変わる。

「小さいが推論で強化したモデル」が「大きいが素直なモデル」を追い抜ける場面が増える。これは巨大訓練コンピュートの優位性を部分的に相殺し、推論インフラを大量に抱えるクラウドプロバイダーが需要を直接つかめる立場になる。

「GPUとCPUの違い」でも触れたように、AIの学習も推論も根本的にはGPUの並列計算力に頼っている。しかし推論では「高帯域幅でモデル重みを読み出す速度」、すなわちHBMの帯域幅が律速になりやすい。これはASIC設計の自由度を活用して「演算ユニットより帯域幅を優先する」カスタムチップへの追い風にもなっている。GroqのLPUや各ハイパースケーラーが開発するカスタムASICが「推論専用機」として注目される背景も、ここにある。

この記事のまとめ

• 推論スケーリング（Test-Time Compute）とは、AIが答えを出す前の「考え直し」に計算を積むほど性能が上がる性質で、2024年のOpenAI o1で注目を集めた。
• 思考連鎖・ベスト・オブ・Nなど複数の手法があり、小さなモデルでも推論計算を増やすことで大きなモデルに迫れることが研究で示されている。
• チップ需要の重心が学習クラスタから大規模推論インフラへとシフトし、NVIDIAのFY2026データセンター売上は約4年で4倍超の1,937億ドルに拡大した。
• 推論チップはスループットよりレイテンシとHBM帯域幅が重要で、量子化（FP8/FP4）との組み合わせがコスト削減の鍵になる。
• AIエージェントの普及と推論スケーリングの組み合わせで、1タスクあたりの計算量が指数的に増え、HBMサプライチェーンへの需要が構造的に高まっている。