「AIエージェントが動くほど、効くのはGPUより「メモリと段取り」のチップだった」では、推論市場の拡大を解説しました。本記事では、その推論を極限まで高速化するLPU（Language Processing Unit）の設計原理を深掘りします。
テキスト生成AIの応答が遅いのは、GPUが「外付けメモリ（HBM）にデータを取りに行く」たびに時間がかかるからです。Groqが開発したLPUは、モデルの重みをチップ内の高速メモリ（SRAM）に全部収めることで、この転送待ちをほぼゼロにしました。
構造で言うと（投資家向け）も見る
Groq LPUはSRAM中心の決定論的ストリーミングアーキテクチャで、レイテンシ重視の推論市場に差別化ポジションを確立。推論市場は2026年に全AI計算の約2/3（Deloitte）まで拡大し、推論ASIC市場は+44.6%成長（TrendForce）。LPUはGPUとの置き換えでなく棲み分けが進む。
なぜAIのテキスト生成は遅いのか
大規模言語モデルがテキストを生成するとき、GPUは1トークン（単語のかけら）を出力するたびに、モデルの中身である膨大な数値（重み）を外付けのメモリから読み込みます。演算自体は速くても、このメモリ転送がボトルネックになります。
GPUが桁外れの演算能力を持ちながら、データ待ちのせいで実力を出し切れない状態は「メモリウォール」と呼ばれます。重みが数十億〜数千億個に達する現代の大規模言語モデルでは、メモリ帯域が性能を決めます。したがって、毎秒テラバイト級の帯域を持つ（GPUのすぐ外に付く広帯域メモリ）を搭載しても、物理的な転送距離と電力消費の制約は消えません。
調査会社出典Why AI's next phase will likely demand more computational power, not less（2026予測）発行Deloitte（TMT Predictions 2026）公開2026使用箇所推論が全AI計算に占める割合 2023年約1/3→2025年約半分→2026年約2/3。推論特化チップ市場は2025年200億ドル超→2026年500億ドル超LPUとは何か——GPUと根本的に異なる設計
LPU（Language Processing Unit）はGroqが命名した推論特化型の（特定用途向けの専用チップ）です。根本的な違いは、モデルの重みをチップ内のSRAMに収めることです。SRAMは外付けメモリより高速で、チップの外の配線を通らずに読み出せるため、転送の待ち時間がほぼゼロになります。
Groqのチップは、演算の順序とデータの通り道を実行前にすべて決めてしまう独自設計を採用します。一方でGPUは、汎用性のためにキャッシュ（使い回すデータの一時置き場）や、状況に応じて処理順を変える仕組みを持ちますが、Groq LPUはこれらを意図的に省いています。
一次情報出典GroqChip1: Unlocking Latency-Optimized AI Inference発行Groq（公式）公開2024使用箇所Groq LPU（Language Processing Unit）の公式解説ページ。決定論的（deterministic）ストリーミング実行・チップ内SRAMを主記憶として用いる設計思想・HBMを使わない理由（要確認・Groq公式）なぜSRAMで動かすと速いのか——決定論的実行の原理
決定論的実行とは、データの流れが毎回同一のパスをたどり、実行時間にブレが生じない性質です。GPUは、必要なデータが一時置き場にあるかどうかや、メモリの取り合いといった偶然の要素により、同じモデルでも1トークンあたりの生成時間にばらつきが出ます。
これに対しGroq LPUは、プログラムを実行手順に変換する段階（コンパイル）で、すべての演算の順序と移動先を事前に確定させます。実行中に順番を判断する必要がないため、チップが「次に何をすべきか」を考える時間がありません。この仕組みがレイテンシ（応答までの待ち時間）の安定と高速化を同時に実現します。
チャット・リアルタイム翻訳・音声合成のように「毎回確実に速い返答」が要求される用途では、平均値よりも最悪値の安定性が重要です。決定論的設計はまさにこの要件に応えます。
GroqCloudで見えた実力——具体的な速度
Groqは2024年にクラウドAPIサービス「GroqCloud」を一般公開しました。
一次情報出典GroqCloud Developer Console — Speed benchmarks発行Groq（公式）公開2024使用箇所GroqCloudのAPIベンチマーク。Llama 3 70Bモデルで毎秒500トークン超の速度を公称（要確認・Groq公式コンソール）| チップ種別 | 主な用途 | 外部メモリ | 1トークン生成速度の目安 |
|---|---|---|---|
| GPU（H100等） | 学習・多様な推論 | HBM（外付け） | 20〜100トークン/秒 |
| Groq LPU | 特定モデルの低レイテンシ推論 | SRAM（オンチップ） | ― |
| Google TPU v8 | クラウドスケール学習・推論 | HBM3E（外付け） | モデル・バッチ依存 |
ただし制約もあります。SRAMの搭載量はHBMより少ないため、極めて巨大なモデルは複数チップを連結する構成が必要です。
Groqはどんな企業か——元Googleの半導体エンジニアが作った会社
Groq（グロック）は2016年に創業されたアメリカのファブレス半導体スタートアップです。共同創業者には、GoogleでTPU（Tensor Processing Unit）の初代設計を主導したエンジニアが含まれます。「GPU以外のアーキテクチャでAI推論を根本から変える」という思想から独立した会社です。
モデルのため、自社で工場を持たず設計に集中します。
報道出典Groq raises $640 million to expand AI inference chip production発行Reuters公開2024-08-05使用箇所Groqが2024年8月に約6.4億ドル（評価額約28億ドル）の資金調達を完了。AI推論インフラの商業拡大を目的とする（要確認・Reuters報道）2026年時点では、推論市場は全AI計算の約2/3まで拡大し、推論ASIC市場は前年比+44.6%の成長が見込まれます（TrendForce）。この流れの中でGroqは、NVIDIAのGPUや「Googleの独自TPU」とは異なる「超低レイテンシ」のポジションを狙っています。
調査会社出典Custom Silicon Inflection 2026 — Hyperscaler ASICs vs NVIDIA GPU（TrendForce予測の解説）発行Introl / TrendForce（媒体集計）公開2026使用箇所ハイパースケーラのASICは2026年に+44.6%成長(GPUは+16.1%)。ASIC搭載AIサーバーは市場の約27.8%。NVIDIA推論シェアは90%超→2028年20〜30%との予測も(要確認)LPUはGPUを置き換えるのか——課題と限界
LPUはGPUの代替ではなく、補完的な存在です。モデルの学習には大量の行列演算を柔軟に実行できるGPUが必要で、LPUはこの工程に使えません。また新しい構造のモデルに対応するには毎回変換と最適化の作業が必要で、GPUのように出たばかりのモデルをすぐ動かせるわけではありません。
NVIDIAも推論市場を意識しており、2026年後半に投入予定の次世代システム「Vera Rubin NVL72」は、現行世代（Blackwell）比で推論性能5倍・トークン単価10分の1を目標としています（NVIDIA公式）。学習から推論へ重心が移る中で、専用設計のLPUと進化するGPUの競争は続きます。
「GPU・CPUとAIの関係」も参照すると、演算の仕組みをより立体的に理解できます。推論の仕組みをさらに深掘りしたい場合は、「NPUとオンデバイスAI」も参考になります。
この記事のまとめ
- AIテキスト生成の速度を決めるボトルネックは演算力ではなく、外付けメモリ（HBM）への転送遅延だった。
- Groq LPUはモデルの重みをチップ内SRAMに収め、外部メモリへのアクセス待ちを抑える設計を採る。
- コンパイル時にデータの流れを確定させる「決定論的アーキテクチャ」はレイテンシのブレを排除し、チャット・リアルタイム応答に適している。
- Groqは元Google TPUチームが2016年に設立したファブレス企業。
- LPUとGPUは代替でなく補完。学習・汎用計算はGPU、特定モデルの低レイテンシ推論はLPUという棲み分けが進む。
この記事のまとめ
- GPUがテキスト生成で遅い根本原因は演算力ではなく、外付けメモリ（HBM）への転送待ちにある。
- GroqのLPUはモデルの重みをチップ内SRAMに全部収め、外部メモリアクセスをほぼゼロにする設計。
- この設計を「決定論的実行」と呼び、チャット・リアルタイム翻訳のようなレイテンシ重視ユースケースで優位性がある。
- Groqは元Google TPUエンジニアが2016年に創業したファブレス企業。
- LPUはGPUの代替ではなく補完。学習・多様な計算はGPUが担い、特定モデルの高速推論でLPUが棲み分けられる。
よくある質問（FAQ）
Q.LPUとGPUの最大の違いは何ですか？＋
最大の違いはメモリの置き場所です。GPUはHBM（外付けの高帯域メモリ）にデータを格納し、演算のたびに転送します。一方Groqの LPU は、モデルの重みをチップ内のSRAM（チップに内蔵された高速メモリ）に丸ごと収めるため、外部メモリへのアクセス待ちが発生しません。ただし、搭載できるSRAMの容量に上限があるため、巨大モデルの実行には多数のチップを並べる必要があります。
Q.GroqのLPUは誰でも使えますか？＋
はい、GroqCloudというクラウドAPIサービスを通じて利用できます。無料枠でも代表的なオープンソースモデル（Llama・MixtralなどのLLM）を試せます。商業利用にはトークン単価に応じた従量課金プランがあります。
Q.LPUはNVIDIAのGPUの脅威になりますか？＋
推論の低レイテンシ市場では強力な競合ですが、役割が違います。NVIDIAのGPUはモデル学習・ファインチューニング・多様な数値計算で汎用性が高く、エコシステム（CUDAなどの開発環境）が圧倒的に厚い。LPUは決まったモデルを速く・低コストで推論する用途に特化しており、棲み分けが進んでいます。2026年時点で推論市場は全AI計算の約2/3まで拡大しており、この領域での競争は激化しています。
Q.決定論的実行（deterministic execution）とは何ですか？＋
実行時間が毎回ほぼ同じで予測できる性質のことです。GPUはキャッシュのヒット・ミス、メモリ転送の競合、スケジューリングの変動などにより、同じ処理でも時間がばらつきます。Groqの LPU はデータの流れを実行前のコンパイル（プログラムの変換）段階で完全に決定し、毎回同じ経路で処理するため、レイテンシ（応答までの待ち時間）のブレが極めて小さい。チャット・リアルタイム翻訳のように「毎回確実に速い」ことが要求される用途に適しています。
用語集
- ASIC（カスタムチップ）/ Application-Specific Integrated Circuit
- 特定の用途だけに特化して作る専用チップ。汎用品より無駄がなく、決まった処理を安く・省電力でこなせる。
- ファブレス/ fabless
- 自社で工場を持たず、設計だけを行う会社。製造はファウンドリに委託する。
- ファウンドリ/ foundry
- 他社が設計した半導体を、受託して製造する工場。代表はTSMC。
- 推論（インファレンス）/ inference
- 学習済みのAIを実際に使って答えを出す処理。質問に答える・文章を生成するなど、利用時の計算がこれにあたる。
参考資料・引用元
- GroqChip1: Unlocking Latency-Optimized AI Inference一次情報Groq（公式）（2024）— 使用箇所: Groq LPU（Language Processing Unit）の公式解説ページ。決定論的（deterministic）ストリーミング実行・チップ内SRAMを主記憶として用いる設計思想・HBMを使わない理由（要確認・Groq公式）https://groq.com/groqchip/
- GroqCloud Developer Console — Speed benchmarks一次情報Groq（公式）（2024）— 使用箇所: GroqCloudのAPIベンチマーク。Llama 3 70Bモデルで毎秒500トークン超の速度を公称（要確認・Groq公式コンソール）https://console.groq.com/
- Groq raises $640 million to expand AI inference chip production報道Reuters（2024-08-05）— 使用箇所: Groqが2024年8月に約6.4億ドル（評価額約28億ドル）の資金調達を完了。AI推論インフラの商業拡大を目的とする（要確認・Reuters報道）https://www.reuters.com/technology/groq-raises-640-million-funding-round-2024-08-05/
- Why AI's next phase will likely demand more computational power, not less（2026予測）調査会社Deloitte（TMT Predictions 2026）（2026）— 使用箇所: 推論が全AI計算に占める割合 2023年約1/3→2025年約半分→2026年約2/3。推論特化チップ市場は2025年200億ドル超→2026年500億ドル超https://www.deloitte.com/us/en/insights/industry/technology/technology-media-and-telecom-predictions/2026/compute-power-ai.html
- Custom Silicon Inflection 2026 — Hyperscaler ASICs vs NVIDIA GPU（TrendForce予測の解説）調査会社Introl / TrendForce（媒体集計）（2026）— 使用箇所: ハイパースケーラのASICは2026年に+44.6%成長(GPUは+16.1%)。ASIC搭載AIサーバーは市場の約27.8%。NVIDIA推論シェアは90%超→2028年20〜30%との予測も(要確認)https://introl.com/blog/custom-silicon-inflection-2026-hyperscaler-asics-nvidia-gpu
この記事をシェア
次に読む
コメント
GitHub アカウントでログインしてコメントできます。