そりゃAIにはGPUが必要だわ——計算1個ならCPUより遅いのに、“手数”が何千倍もあった

ニュースで「AI向けGPUが品薄」と聞いても、なぜCPUではダメなのかは分かりにくいものです。AIを動かすチップの全体像は「AI半導体とは——AIを動かしているのは、ふつうのチップではなかった」で扱いました。ここでは「なぜGPUなのか」に絞って、その正体を解きほぐします。

結論から言えば、AIの中心となる計算にはGPUが不可欠で、CPUは処理全体の段取りや制御をまわす役です。つまり「CPUとGPUのどちらが必要か」ではなく、両者は役割が違い、AIサーバーは両方を組み合わせて動いています。なぜそうなるのかを、次から順に見ていきます。

順に事実を並べていくと、「そりゃそうなるわ」と納得できるはずです。

CPUとGPUの違いとは

CPUとGPUの違いは、処理の仕方にあります。CPUは少数の高性能なコアで複雑な処理を順番にすばやくこなすのに対し、GPUは数千個の単純なコアを使って同じ計算を一斉に並列でこなします。AIの計算は同じ掛け算・足し算の繰り返しが大半を占めるため、この「手数の多さ」を武器にできるGPUがAIの主役になっています。次の表で両者の違いを詳しく整理します。

CPUとGPUは何が違うのか（一覧表）

まず、CPUとGPUの違いを一枚の表にまとめます。細かい仕組みを知らなくても、この表だけで両者の役割分担がつかめます。

一言でいうと、CPUは「少数精鋭で難しい仕事を順番に片づける頭脳」、GPUは「大人数で単純な計算を一斉に片づける力技」です。つまり優劣の問題ではなく、仕事の種類が根本から違います。AIの計算は「同じ掛け算・足し算の繰り返し」なので、手数で勝負するGPUの型にぴったりはまります。だからAIサーバーでは、GPUが計算の主役を務め、CPUが全体の段取り役にまわるのです。

ここからは、この表の中身を一つずつ掘り下げていきます。

なぜCPUとGPUで得意な仕事が分かれるのか

ひとことで言えば、得意な仕事の種類が違います。

CPU（シーピーユー＝中央演算処理装置）は、少数の高性能なコア（計算する頭脳）を持ち、複雑な処理を順番にすばやくこなすのが得意です。文章を書く、表計算をする、アプリを動かす——こうした「手順が複雑で枝分かれする仕事」に向いています。いわば、少人数の天才が難問を順番に解いていくチームです。

GPU（ジーピーユー＝画像処理装置）は、もともと画面の何百万個もの点（ピクセル）を同時に塗るために生まれました。そのため、小さなコアを数千個も並べ、同じ計算を一斉にこなすのが得意です。1個あたりの賢さや速さはCPUのコアに劣りますが、数で圧倒します。こちらは、大人数で簡単な計算を同時に片づけるチームです。

なぜAIにはGPUの「手数」が効くのか

ここが核心です。AIの中身でおきている計算は、実はとても単純です。大量の数字を「掛けて、足す」——これをひたすら繰り返しているだけなのです（専門的には行列のかけ算といいます）。複雑な判断はほとんどなく、同じ形の計算が天文学的な回数くりかえされます。

この「同じ計算を大量に」という形は、GPUの並列の手数と完全にかみ合います。実際、CPUで順番に処理すれば長い行列になる計算を、GPUは数千コアで一斉に片づけてしまう。だからGPU1個あたりの計算がCPUより遅くても、まとめて処理できるぶん全体では桁違いに速くなります。AIブームでNVIDIAのデータセンター部門の売上が前年比3倍超に跳ね上がったのは、この相性のよさが背景にあります（NVIDIA / U.S. SEC）。——そりゃAIにはGPUが必要だわ、という話です。

AIの「学習」と「推論」はどう違うのか

AIを使う場面は、大きく2つの工程に分かれます。

学習（トレーニング）は、大量のデータからAIの中身（パラメータ＝AIが覚える無数の数字）を作り上げる工程です。何週間も大量のGPUをフル稼働させるため、最も計算が重く、電力も食います。AIを「育てる」段階です。

推論（インファレンス）は、できあがったAIに質問して答えを出させる工程です。あなたがチャットAIに質問するたびに走っているのが推論です。1回あたりは学習よりずっと軽いものの、世界中の利用者の数だけ何度も繰り返されます。AIを「使う」段階です。

学習と推論の違い、そして推論に効くチップについては「AIエージェントが動くほど、効くのはGPUより「メモリと段取り」のチップだった」でくわしく扱っています。

これからはどちらが増えるのか

AIが社会に広がるほど、「使う」回数、つまり推論が増えていきます。事実、Deloitteは、AI計算に占める推論の割合が2023年の約3分の1から、2025年に約半分、2026年には約3分の2に達すると予測しています。学習で一度作ったAIを、世界中で何度も動かす時代に入ったということです（Deloitte）。

推論の比重が増えると、求められるチップも変わります。NVIDIAが2026年後半に投入するVera Rubinは、推論性能を従来比で最大5倍に高めると説明しています。一方で、用途を推論にしぼった専用チップ（ASIC）を自社開発するクラウド大手も増えており、AIチップの主役はGPU一強から多様化に向かっています（Tom's Hardware）。

性能を決めるのは、もはやGPUだけではない

意外なことに、最近のAIで性能の頭打ちをまねくのは計算そのものより「データの通り道」です。GPUがいくら速くても、計算に使う数字を運び込むのが遅ければ、コアは手待ちになってしまいます。

そこでGPUのすぐ隣にHBM（広帯域メモリ）を積み、データの通り道を極端に太くします。これを可能にするのが「AIの性能を決めていたのは、GPUより「メモリ」だった」で扱ったCoWoSという実装技術です。長い文章を扱う生成AIやAIエージェントでは、会話の途中経過を覚えておくためのメモリが容量と帯域を食うため、いまやメモリが性能の律速になっています（Global X ETFs）。

世界的なAIメモリの奪い合いについては「AIが買い占めたのはGPUだけじゃなかった」もあわせてどうぞ。

ここまで見れば、そりゃAIにはGPUが必要だわ、と言うほかありません。

この記事のまとめ

• CPUは少数の賢いコアで複雑な処理を順番に、GPUは小さなコアを数千個並べて同じ計算を同時に大量にこなす。
• AIの計算は「同じ掛け算・足し算の繰り返し」なので、GPUの並列の手数が圧倒的に効く。GPUは1個の計算では遅いが、まとめて処理して全体で勝つ。
• AIには学習（中身を作る・重い・長い）と推論（答えを出す・軽いが回数が多い）の2工程がある。
• 推論の比重は年々増え、Deloitteは2026年にAI計算の約2/3が推論になると予測。
• 近年はGPU単体より、HBMなどメモリの容量・帯域が性能を左右するようになっている。