AIエージェントが動くほど、効くのはGPUより「メモリと段取り」のチップだった

「AI半導体とは——AIを動かしているのは、ふつうのチップではなかった」でGPUの強さを見ました。しかしAIの使われ方が「一問一答の生成」から「自律的に動くエージェント」へ変わると、効きどころが動きます。全体像は「半導体まとめ・入門ロードマップ」で確認できます。

学習と推論はどう違うのか

学習（トレーニング）とは、大量のデータからAIモデルを作り込む処理のことです。膨大な計算力を一度に必要とし、巨大なGPUクラスタを数週間〜数か月動かします。生のFLOPS（演算力）と、GPU同士をつなぐ高速インターコネクトが効く世界です。

これに対し推論（インファレンス）とは、完成したモデルを実際に使って答えを出す処理のことです。質問に答える、文章を生成する——利用時の計算がこれにあたります。学習は一度きりでも、推論はユーザーが使うたびに発生するため、回数が桁違いに多くなります。だから推論では「1トークンあたりのコスト」と「電力効率」が決定的な指標になります。

実際、推論が全AI計算に占める割合は、2023年の約1/3から2025年に約半分、2026年には約2/3へ拡大するとされます。さらに、推論特化チップ市場も2025年の200億ドル超から、2026年には500億ドル超へ伸びる見込みです（Deloitte）。

なぜAIエージェントだとメモリが律速になるのか

生成AIの「一問一答」に対し、AIエージェントは長い文脈を保ちながら何十回も考え、ツールを呼び、結果をふまえてまた考えます。つまり1つのタスクで推論を膨大に繰り返します。ここで効いてくるのがメモリです。

エージェントが文脈を保持するために使う「KVキャッシュ」は、文脈が長くなるほどメモリの容量と帯域を食います。演算チップがいくら速くても、データが届かなければ待ち時間が生まれます。だから大規模推論とエージェントの時代には、メモリが性能の律速になります。「HBM（広帯域メモリ）」や、「DRAMそのものの供給」の重要性がさらに上がっているのはこのためです。

なぜCPUの出番が増えるのか

意外に思えますが、エージェント時代にはCPUの重要性も上がります。エージェントは「次に何をするか」を決め、ツールを呼び、結果を整理する——この段取り（オーケストレーション）の部分は、GPUよりCPUが担います。

その結果、サーバー内のCPUとGPUの比率が変わります。学習中心の時代はおおよそCPU:GPU＝1:8でしたが、エージェント中心の推論ではこれが1:1へ近づくとの分析があります。GPUを遊ばせないために、段取りを速く回すCPUが必要になるのです。データセンター全体では、「電力」あたりでどれだけ多くのトークンを安く出せるかが競争軸になります（Computerworld）。

推論ASICはGPUを置き換えるのか

ASIC（カスタムチップ）とは、特定の用途だけに特化して作る専用チップのことです。汎用GPUより無駄がなく、決まった推論処理を安く・省電力でこなせます。そのため、クラウド大手は、自社の推論を最適化し、GPUの高い価格を回避するために、独自ASICを次々に投入しています。

代表例がGoogleのTPUとAmazonのTrainiumで、MicrosoftやMetaも自社チップを持ちます。こうしたチップの設計の多くは、BroadcomとMarvellという設計請負の2社が担っています。TrendForceの集計では、クラウド大手の自社ASICは2026年に約44.6%成長し、GPUの約16.1%を初めて上回るとされ、ASIC搭載AIサーバーは市場の約27.8%に達する見込みです。

ただしGPUが不要になるわけではありません。NVIDIAも推論に照準を合わせています。2026年後半に投入されるVera Rubinは、現行のBlackwell世代に対し推論性能を最大5倍、トークン単価を最大1/10に下げると発表され、1パッケージあたり288GBという大容量のHBMと毎秒22TBのデータ供給力を積みます。学習はGPUの牙城のまま、推論でも勝ちにいく構えです（Tom's Hardware）。

AI推論チップはどう選べばいいのか

AI推論チップの選定は、①学習用か推論用か ②スループットかレイテンシか ③メモリ容量と帯域 ④電力あたりの性能 ⑤ソフトウェアエコシステム——この5つの観点で判断します。順に見ていきます。

①学習用か推論用か。 学習には生のFLOPSとGPU同士をつなぐインターコネクトが効くため、巨大GPUクラスタが基本です。一方、完成したモデルを回し続ける推論なら、TPUやTrainiumのような推論向けASICが有力な選択肢になります。まず自分のワークロードがどちら中心かを切り分けます。

②スループット重視かレイテンシ重視か。 スループット（単位時間あたりの処理量）が効くバッチ処理なら、ASICで1トークンあたりのコストを下げる構成が向きます。これに対し、チャットやエージェントのようにレイテンシ（応答の速さ）が体験を左右する用途では、データを待たせないメモリ帯域の太さが効きます。

③メモリ容量と帯域——モデルが載るか。 モデル本体とKVキャッシュがチップのメモリに収まるかが最初の関門です。長い文脈を扱うエージェント用途ほど、HBMの容量と帯域が実効性能を決めます。Vera Rubinが1パッケージに288GBのHBM4・帯域22TB/sを積むのは、この律速への回答です。

④消費電力あたりの性能。 推論は利用のたびに発生し回数が桁違いに多いため、電力効率が総コストを支配します。データセンターの電力枠が限られる以上、「同じ電力で何トークン出せるか」で候補を比較します。

⑤ソフトウェアエコシステム。 チップの理論性能が高くても、開発ツールやフレームワークの対応が弱ければ性能を引き出せません。NVIDIAのGPUが選ばれ続ける理由の一つはここにあります。ASICを検討する場合は、自社のモデルとワークロードを移植できるかを先に確認します。

投資・産業の観点では何が変わるのか

需要の中身が「学習GPU一択」から多層化します。GPU（NVIDIA）に加え、メモリ（HBM・DRAM）、推論ASIC（とその設計を担うBroadcom・Marvell）、そしてCPUへと、恩恵を受ける領域が広がります。メモリの重要性が増せば「先端パッケージング（OSAT）」の価値も上がります。

投資の観点では、「誰がGPUを買うか」だけでなく「1トークンを誰が一番安く出せるか」という競争軸で全体を見ることが重要です。エージェントの普及は半導体需要を置き換えるのではなく、裾野を広げる方向に働いています。なお本記事は投資助言ではありません。

この記事のまとめ

• 生成AIの開発は学習用GPUが主役だったが、AIエージェントは推論を膨大に繰り返すため効きどころが変わる。
• 推論は2026年に全AI計算の約2/3を占めるとされ、推論特化チップ市場は500億ドル超へ（Deloitte）。
• エージェントは長い文脈のKVキャッシュでメモリが律速になり、HBM・DRAMの重要性が上がる。
• 段取りを回すCPUの比率が上がり、CPU:GPU比は学習時1:8から1:1へ近づくとの分析がある。
• Google TPUなど推論ASICが急成長（2026年+44.6%）。NVIDIAも推論特化のVera Rubinで対抗する。