AI半導体の中では、単純な掛け算と足し算が何兆回も走っているだけだった

ChatGPTが自然な文章を返すたびに、チップの中では何が起きているのか。「AIだから複雑な思考回路が動いているのだろう」と思うと、実態は拍子抜けするほど単純です。この記事はAI半導体の「仕組み」——内部で何が起きているか——だけに絞って、数式なしで解きます。そもそもAI半導体とは何か、という全体像は「AI半導体とは——AIを動かしているのは、ふつうのチップではなかった」を先に読むと理解が早くなります。

なぜAIの計算は特殊なのか

AIの中身で走っている計算の正体は、行列の掛け算です。行列とは、数字を縦横にびっしり並べた表のことです。AIは文章や画像をいったん数字の表に変換し、その表同士を掛け合わせる作業をひたすら繰り返して答えを作ります。

表同士の掛け算といっても、中身を分解すれば「2つの数字を掛けて、結果を足していく」の連続です。これを積和演算（せきわえんざん＝掛けて足す計算）と呼びます。複雑な判断や場合分けはほとんどありません。同じ形の単純計算が、天文学的な回数だけ必要になる——これがAIの計算の特殊さです。

つまりAIの計算は、難問を1問解く仕事ではなく、簡単なドリルを何兆ページ分もこなす仕事です。この性質が、チップの設計を根本から変えました。

なぜ並列にすると速くなるのか

積和演算どうしは、お互いにほぼ独立しています。表のこのマスの計算と隣のマスの計算は、相手の結果を待つ必要がありません。順番を待たなくてよい計算は、手分けができます。

ここで効くのが並列処理（複数の計算を同時に進めるやり方）です。CPUは少数（数個〜数十個）の高性能なコア（計算する頭脳）で複雑な処理を順番に速くこなします。一方、GPUは小さく単純なコアを数千個並べ、同じ計算を一斉に流します。1個あたりの計算ではGPUのコアはCPUより遅いのに、まとめて処理できるぶん、全体では桁違いに速くなります。

AIの「単純×大量」という計算の形は、この並列の手数と完全にかみ合いました。だからAIブームでGPUが奪い合いになり、NVIDIAのデータセンター部門の売上は前年比3倍超に跳ね上がりました（NVIDIA / U.S. SEC）。CPUとGPUの設計思想の違いは「CPUとGPUの違いは“手数”だった——GPUがAIの主役になれた理由」で深掘りしています。

なぜメモリがボトルネックになるのか

意外なことに、いまのAI半導体の足を引っ張るのは計算そのものではありません。計算に使う数字を、コアまで運び込む作業です。

AIの中身はパラメータ（AIが覚えている無数の数字）でできており、その量は膨大です。計算のたびに、この数字をメモリから数千個のコアへ絶え間なく供給し続ける必要があります。コアがいくら速くても、数字が届かなければ手待ちになる。つまり工場のラインは速いのに、部品を運ぶトラックが間に合っていない状態です。

そこでAI半導体は、HBM（広帯域メモリ＝一度に大量のデータを運べる特殊なメモリ)をGPUのすぐ隣に積みます。HBMはDRAMのチップを何段も縦に重ね、GPUと太く短い配線で直結したメモリで、一度に運べるデータ量が桁違いです。この「隣に積む」を可能にする実装技術がCoWoSで、詳しくは「AIの性能を決めていたのは、GPUより「メモリ」だった」で扱っています。近年のAI半導体不足の主因も、GPU本体よりこのHBMとCoWoSの供給能力でした。

学習と推論では何が違うのか

AI半導体の使われ方は、学習と推論という2つの工程で大きく変わります。学習（トレーニング）は、大量のデータからパラメータを作り上げる工程です。大量のGPUを何週間もフル稼働させるため、最も計算が重く、電力も食います。

推論（インファレンス）は、できあがったAIに質問して答えを出させる工程です。あなたがチャットAIに質問するたびに走っているのが推論です。1回あたりは学習よりずっと軽いものの、世界中の利用者の数だけ繰り返されます。

仕組みのうえで重要なのは、効く性能が逆転することです。推論では、答えの断片を1つ生成するたびにパラメータをメモリから読み込むため、演算速度よりメモリの帯域幅（1秒間に運べるデータ量）が速度の上限を決めます。この性能指標の読み方は「AI半導体の「TOPS」より推論速度を決めるのはメモリ帯域幅だった」で詳しく解説しています。

どんな種類のAI半導体があるのか

「積和演算を並列にこなす」という仕組みは共通のまま、割り切り方の違いで種類が分かれます。代表は3つです。

GPUは汎用の並列計算チップで、NVIDIAが代表です。学習にも推論にも使え、ソフトウェア資産も厚い、AI半導体の主役です。ASIC（特定の用途に特化した専用チップ）は、GoogleのTPUのようにAI計算だけに割り切った設計で、その用途では効率を高くできます。NPUは、スマホなどの機器に組み込まれる小型のAI専用回路で、手元の推論を低い電力でこなす役です。

つまり、汎用性のGPU、特定用途の効率を突き詰めたASIC、機器内の省電力推論を担うNPUという役割分担です。どれが優れているかではなく、学習・データセンターの推論・手元の推論という場面ごとに、柔軟性・効率・電力のバランスを変えているにすぎません。設計・製造・メモリ・実装がどう分業されているかは「AI半導体とは——AIを動かしているのは、ふつうのチップではなかった」が全体地図になります。