AIの記憶をSSDに置いたら、生成速度が5倍になった——NVIDIAが作った新しいメモリ階層「CMX」

CMXとは何か

CMX（Context Memory Storage）とは、AI推論（学習済みのAIモデルが入力に対して答えを生成する処理）のKVキャッシュを保存・共有するために設計された、SSDベースの専用ストレージ階層のことです。NVIDIAがGTC 2026で発表したBlueField-4 STX（ストレージ向けリファレンスアーキテクチャ）の最初の実装で、GPUポッド（複数のGPUサーバーをまとめた単位）ごとに、イーサネット接続のフラッシュストレージをぶら下げる構成をとります。

ポイントは、これが「普通のストレージの高速版」ではないことです。CMXが扱うのは、ファイルでもデータベースでもなく、推論中のAIの頭の中身そのものです。NVIDIAはこれを、GPUのHBM（GPU直結の広帯域メモリ）ともエンタープライズストレージとも違う「G3.5」という新しい階層と位置づけています。

なぜAIの「記憶」はGPUに収まらなくなったのか

「AI半導体とは何か」で解説したとおり、大規模言語モデルは、文章を1トークン（単語のかけら）ずつ生成します。このとき、過去のトークンについて計算した結果を「KVキャッシュ」として保存しておくことで、新しい1語を作るたびに履歴全体を計算し直す無駄を省いています。つまりKVキャッシュは、いま進行中の会話や作業に関するAIの短期記憶です。

問題は、この短期記憶が文脈の長さに比例して膨らむことです。「コンテキストが2倍になればKVキャッシュも約2倍」になり、100万トークン級の長文脈や、何時間も動き続けるAIエージェントでは、KVキャッシュだけで数十GB〜数百GBを占めます。一方、GPU内蔵のHBMの容量には上限があり、しかもAIチップの中で最も高価な部品の一つです。「AIエージェント時代の性能の律速がGPUの演算力からメモリに移った」構図は、当ブログで繰り返し扱ってきたとおりです。

HBMから溢れたKVキャッシュを捨てれば、次の応答で履歴全体を再計算することになり、GPU時間と電力を浪費します。かといって従来のエンタープライズストレージに置くと、呼び戻しがミリ秒級と遅すぎて、トークン生成が止まってしまいます。「捨てるには高くつき、しまうには遅すぎる」——この板挟みが、CMXが生まれた理由です。

つまりCMXは、GPUのメモリ（HBMやDRAM）を置き換える技術ではありません。位置づけは、あくまで「いま使わない記憶を安全に一時保管しておく倉庫」です。頻繁に参照する直近の文脈はこれまで通りHBMに置いたまま、当面使わない長い文脈だけをCMXへ逃がすことで、GPUメモリの容量不足という問題そのものを回避します。

「G3.5」はメモリ階層のどこに入るのか

NVIDIAは推論システムのメモリ・ストレージを、速い順にG1からG4までの階層で説明しています（NAND Research）。

G3.5の新しさは「共有」にあります。サーバー内蔵SSD（G3）に退避したKVキャッシュは、そのサーバーでしか再利用できません。しかし実際の推論クラスタでは、同じユーザーの会話の続きが別のGPUサーバーに割り振られることが日常的に起きます。

CMXはポッド単位の共有階層なので、どのGPUで続きを処理しても、過去の文脈をそのまま呼び戻せます。ペタバイト級の容量で、多数のエージェントの長期セッションを同時に支えられる設計です。

SSDに置いて、なぜ遅くならないのか

鍵は2つあります。第1に、専用チップによる肩代わりです。CMXの中核にはBlueField-4という専用チップが座り、SSDの管理・暗号化・データの検査といった「ストレージの雑務」をGPUやサーバーのCPUから引き受けます。おかげでGPUは計算に専念でき、データはCPUを経由しない直通の経路でSSDとGPUの間を行き来します。

第2に、「先回り」です。NVIDIAの専用ソフト群が推論の進み方を見ながら、もうすぐ必要になる文脈をあらかじめSSD側からGPUへ運んでおくため、GPUが記憶待ちで止まる時間が削れます。この積み重ねの結果としてNVIDIAが掲げる公称値が、長い文脈でのトークン生成速度5倍・電力効率5倍です（NVIDIA開発者ブログ）。

なお、GPUメモリの拡張という意味では「CXL（Compute Express Link）によるDRAM増設」と発想が重なりますが、両者は競合ではなく分担です。CXLはDRAMをマイクロ秒未満で増やす「速いが揮発性で高い」拡張、CMXはNANDフラッシュ（電源を切ってもデータが消えない記録方式で、SSDの中身にあたる）で「遅いが大容量で安い」共有階層を作る拡張です。頻繁に使う文脈は前者、当面使わない文脈は後者に置く補完関係になります。

どの企業が動いているのか——キオクシアのCM9とGPシリーズ

CMX対応の製品化は、すでにサプライチェーン全体で始まっています。SSDでは、キオクシアがGTC 2026に合わせてCMXサポートを発表しました。第1弾のCM9シリーズは、25.6TBの大容量と「1日にドライブ全容量の3倍まで書き込める」耐久性を備え、2026年第3四半期に出荷を開始します。

AIの短期記憶は書き換えが頻繁なので、この書き込み耐久性が推論向けSSDの必須条件になります。さらに、より細かい単位で高速に読み書きできる新シリーズ「GPシリーズ」を開発中で、評価サンプルを2026年末に提供する予定です。NANDを発明した「キオクシアの技術的な強み」が、AI推論という新市場に直結する構図です。

システム側では、DDN・Dell・HPE・IBM・NetApp・VAST Data・WEKAなどのストレージベンダーが対応を表明し、WEKAは長文脈でトークン生成4〜10倍、DDNはKVキャッシュ読み込み27倍といった数字を掲げます。クラウドではCoreWeave・Crusoe・Lambda・Nebius・Oracle Cloud Infrastructureなどが早期採用を明らかにし、STXベースの製品はVera Rubin世代の展開と足並みを揃えて2026年後半に市場に出ます。

メモリ市場には何をもたらすのか

CMXの本質的なインパクトは、NANDフラッシュに「AIの記憶」という新しい構造的需要が生まれることです。これまでAIサーバーのメモリ投資はHBMとDRAMが主役で、SSDは学習データ（AIモデルを訓練するためのデータ）やモデルの置き場という脇役でした。CMXの世界では、推論トラフィックが増えるほど、会話が長くなるほど、ポッドごとにペタバイト級のフラッシュが必要になります。「月間売上が過去最高を更新し続けるメモリ市況」の持続性を占ううえで、「KVキャッシュがNANDを買う」構図が定着するかは重要な観察ポイントです。

留意点も明記しておきます。5倍という性能値はNVIDIAの公称であり、第三者による実測の蓄積はこれからです。またG3.5はNVIDIA主導の垂直統合的な設計であり、業界標準であるCXLとどう役割分担が固まるか、他のAIチップ陣営が同様の階層を採るかは未確定です。それでも、HBM一強だったAIメモリの議論に「フラッシュの階層」が正式に加わったことは、2026年のメモリ業界にとって数少ない確度の高い変化です。