AIの長文処理で80GBが溢れる——CXLがサーバーのメモリ制約を外した仕組み

なぜAIの推論でGPUメモリが溢れるのか

大規模言語モデル（LLM）を動かすには、まずモデルの重みをメモリに展開する必要がある。たとえばパラメーター数700億の「70Bモデル」をFP16（16ビット浮動小数点）で動かすと、重みだけで約140GBのメモリを消費する。

ところが現状のGPUに搭載されたHBMの容量には上限がある。NVIDIA H100は80GB、H200でも141GBだ。これに加えて、推論時には「KVキャッシュ」と呼ばれる過去のトークンの計算結果を記録する領域が文脈の長さに比例して膨らむ。長い文脈を扱うモデルではKVキャッシュだけで数十GBを占め、合計で100GBを超えることも珍しくなくなった。

GPUの中にメモリを増やすことができれば解決するが、HBMは製造コストが高く、物理的な積層数にも上限がある。そこで「CPUのメモリバスにつながった大容量のDRAMを、GPUが必要なときだけ使えないか」という発想から生まれたのがCXLである。

CXLとは何か——IntelとGoogle・Meta・Armが設立した業界規格

CXL（Compute Express Link）は、2019年にIntelが中心となり、Google・Meta・Arm・Samsung・Microsoftなど大手テック企業が参加して設立したCXL Consortiumが策定した接続規格だ。信号のやり取りには標準拡張スロットの最新世代であるPCIe Gen 5をそのまま流用しているため、送受信回路を新たに設計する必要がなく、既存のPCIeのエコシステムを活用できる点が特徴である。

CXLが解こうとしている問題は「メモリウォール」——CPUの演算速度の向上に対して、メモリ帯域幅と容量の拡大が追いつかなくなる構造的な限界だ。CPUソケットに直接挿せるメモリスロット数は物理的に制限されているため、どんなにDRAMが安くなっても1サーバーあたりの容量を増やすのに限界があった。CXLはPCIeスロット経由で外付けメモリを追加できる仕組みを提供することで、この制約を外す。

3つのサブプロトコルが担う役割——CXL.io・CXL.cache・CXL.mem

CXL規格には3つのサブプロトコルが定義されており、デバイスの用途に応じて組み合わせて使う。

• CXL.io：デバイスの発見・初期化・設定といった基本のやり取りを担う。すべてのCXLデバイスで必須のプロトコルである。
• CXL.cache：CPUとデバイスが互いの手元に置いたデータを食い違いなく共有するためのプロトコル。CPU側のデータに直接アクセスする必要がある演算デバイスなどで使われる。
• CXL.mem：CPUがデバイス側に搭載されたメモリに直接アクセスするためのプロトコル。CXLメモリ拡張の中心となる機能で、外付けDRAMをサーバーのメモリ空間の一部として扱えるようにする。

CXLメモリ拡張モジュール（CXL DRAMカード）は主にCXL.memを使って動作する。CPUからは「追加のメモリ領域」として見え、OSやアプリケーションが透過的に使用できる設計になっている。

CXL 1.xから3.0への進化——単体増設からメモリプールへ

CXL 1.xは「1台のサーバーに1つのCXLデバイスを足す」使い方に留まっていた。CXL 2.0でスイッチが追加されたことで、複数のサーバーが1つの大容量メモリプールを共有できるようになった。あるサーバーはメモリをたくさん使い、別のサーバーは少ししか使っていないという状況でも、プール全体を効率的に配分できる。CXL 3.0はさらに多段接続をサポートし、データセンター規模でのメモリ管理基盤を整えた。

Intel第4世代Xeon（Sapphire Rapids・2023年1月）とAMD第4世代EPYC（Genoa・2022年11月）が、CXL 1.1に対応した最初の主要サーバーCPUとして量産された。

HBMとCXLはどう棲み分けるのか——速度か容量か

HBMとCXL DRAMの特性は対照的だ。

HBM3は3.35 TB/s、HBM3Eは4.8 TB/sという圧倒的な帯域幅を誇るが、容量はH100で80GB、H200でも141GBが上限だ。DRAMをチップ貫通の電極で縦に積む特殊な工法が必要なため、製造コストが高く供給量も限られる。

対してCXL DRAMの帯域幅は約50〜100 GB/sと1桁以上小さい。しかしサーバーで広く使われる通常のDRAM（DDR5）をベースに製造できるため低コストで大容量化しやすく、1サーバーあたり数TB規模の増設も視野に入る。

棲み分けの原則は「高速な計算とアクティブなデータはHBMで、大量の参照・待機データはCXL DRAMで」だ。KVキャッシュの頻繁にアクセスされる部分はHBM上に置き、古い文脈や参照頻度の低いデータをCXL DRAMに退避させるソフトウェア最適化が開発されている。

誰がCXLメモリを製品化しているか——Samsung・SK hynix・Micron

CXL DRAMモジュールの量産は2023年から本格化し、主要DRAMメーカー3社が参入している。

Samsungは通常のDRAMベースのCMM-DとHBMベースのCMM-Hの2系統を展開する。CMM-Dは容量128GB以上・帯域約50 GB/sを提供し、大容量かつ低コストなメモリ拡張を狙う。SK hynixはHBMの技術知見を活かしたCMM-H（高帯域幅・大容量を両立）を投入している。MicronもDDR5ベースのCXLメモリモジュールを展開し、AIサーバー向けのメモリ多様化を進めている。

この記事のまとめ

• AIの長文脈推論ではモデルの重みとKVキャッシュを合わせると100GBを超えるメモリが必要になり、HBMの容量上限が制約になっている。
• CXLはPCIe Gen 5物理層をベースにした標準規格で、2019年にIntelを中心とするCXL Consortiumが提唱した。
• 3サブプロトコル（CXL.io・CXL.cache・CXL.mem）が役割を分担し、CXL.memがCPUと外付けメモリの直接アクセスを担う。
• CXL 2.0でメモリプール（複数サーバーで容量を共有）、CXL 3.0でマルチホップファブリックが追加された。
• Samsung（CMM-D/CMM-H）・SK hynix・Micronが量産を開始し、2023年発売のSapphire Rapids/Genoaが最初の対応CPUとなった。