AIの学習速度を決めるのは、GPUより“つなぎ方”だった

AIの性能というと、GPUの数や速さが注目されます。しかし、本当のボトルネックはしばしば「つなぎ方」にあります。GPUがAIの主役になった理由は「CPUとGPUの違いは“手数”だった——GPUがAIの主役になれた理由」で扱いました。本稿では、そのGPUたちをつなぐネットワークを見ていきます。

なぜAIの学習にネットワークが重要なのか

AIの学習にネットワークが重要なのは、大規模な学習が、何千ものGPUが分担して同時に計算する“総力戦”だからです。

巨大なAIモデルは、1つのGPUでは到底学習できません。そこで、何千ものGPUに計算を分担させます。ただし、各GPUはバラバラに計算するわけにはいきません。学習を正しく進めるには、各GPUが計算した途中結果を、互いに頻繁にやり取りし、足並みをそろえる必要があります。

データセンターの中で、この「やり取り」が遅いと、計算の速いGPUも、仲間からのデータを待つために手が止まります。結果、全体の速度は最も遅い通信に引きずられます。つまり、GPUをいくら増やしても、つなぐネットワークが追いつかなければ、性能は頭打ちになるのです。

スケールアップとスケールアウトとは何か

AIのネットワークには、性格の異なる2つの“つなぎ方”があります。スケールアップとスケールアウトです。

スケールアップとは、1つのまとまり（ノードやラック）の中で、近くのGPU同士を超高速でつなぐことです。少数のGPUを、あたかも1つの巨大なGPUのように密に連携させます。一方、スケールアウトとは、そうしたまとまりを多数つなぎ合わせて、より大きなシステムに広げることです（業界解説）。

近くを“密に”束ねるのがスケールアップ、遠くまで“広く”つなげるのがスケールアウト。AIデータセンターは、この2つを組み合わせて、何千ものGPUを一体的に動かしています。

NVLink・InfiniBand・Ethernetはどう違うのか

これらの“つなぎ方”を実現する技術が、NVLink、InfiniBand、Ethernetです。

NVLinkは、NVIDIAが開発した、GPU同士を直接つなぐ超高速の接続技術です。一般的なネットワークより桁違いに速く、近くのGPUを束ねるスケールアップの中核です。InfiniBandは、低遅延・高速に特化したネットワークで、ノード間をつなぐスケールアウトに使われます。しかもNVIDIAがこの技術も握っており、GPUからネットワークまでを一貫して提供できることが、同社の強みになっています。その囲い込みの構造は「NVIDIAの本当の強さはGPUではなく、CUDAという「逃げられない仕組み」だった」で扱っています。

Ethernetは、インターネットでも使われる汎用的なネットワークで、安価で広く普及しています。従来はAIの最高峰にはInfiniBandが使われてきましたが、近年、AI向けに性能を高めた「Ultra Ethernet」が登場し、InfiniBandの牙城に挑んでいます。ネットワークの基本的な仕組みは「インターネットは、どうやって世界をつないでいるのか」で確認できます。

ネットワークがAIインフラの主戦場になる

こうして見ると、AIインフラの競争は、GPU単体の性能だけでは語れないことが分かります。何千ものGPUをいかに速く・効率よくつなぐかという、ネットワークの戦いになっているのです。

NVIDIAは、GPU・NVLink・InfiniBandを垂直統合し、AIデータセンターを“まるごと”提供する強みを築きました。これに対し、業界各社はUltra Ethernetのような開かれた標準で対抗しようとしています。ネットワークは、AIデータセンターへの巨額投資の中でも、差別化の主戦場になりつつあります。GPUの推論やハイパースケールな運用とともに、つなぎ方の優劣が、AIの実力を左右する時代です。

この記事のまとめ

• 大規模なAI学習は何千ものGPUの総力戦で、GPU間の通信が遅いと全体の速度が出ない。
• GPUの数より、それらをつなぐネットワークの“つなぎ方”が学習速度を左右する。
• **スケールアップ（近くを密に・NVLink）とスケールアウト（遠くを広く・InfiniBand/Ethernet）**がある。
• InfiniBandは低遅延・高速に特化、Ethernetは汎用で安価。AI向けのUltra Ethernetも台頭。
• NVLinkはGPU同士を直接つなぐ超高速技術で、近くのGPUを1つのように束ねる。