オプティカルモジュールの電力消費量と帯域幅密度:AIデータセンター相互接続におけるハード限界

AIのデータセンターネットワークは 光学モジュールの最大送信速度に 制限されなくなりました必要な計算スケールをサポートするために十分な光学リンクを維持.

スイッチ容量は51.2Tb/sを超え,光学インターフェースは400Gと800Gから1.6Tやそれ以上の速度に向かって進歩するにつれて,アーキテクチャがスケーラブルかどうかを決定する変数は2つ増えています.

• 光学モジュールの電源消費量

• 光学モジュールの帯域幅密度

これらの変数は密接に関連している.ポートごとに帯域幅が高くなる場合,電気損失,信号処理の複雑性,熱発生,冷却需要が増加する.同じフロントパネルにより多くのポートを追加すると,より小さなスペースに熱を集中します.

結果的な制限は光学モジュールだけでなく,スイッチASIC,SerDes,PCB,電源配送,冷却システム,ファイバールーティング,およびメンテナンスモデルも含む.

光学モジュール の 電力 と 帯域幅 密度 の 限界 は 何 です か

光学モジュールの電源消費は,コンピューティングに利用可能な電力と熱容量量を制限する.帯域幅密度は,固定パネル内にどれだけのデータ容量がインストールできるかを記述します.電気,熱,機械,信頼性の限界を超えない状態で

両方のメトリックは独立して評価されるべきではない.過剰な電力を持つ高帯域幅モジュールは,同じラックで利用可能なコンピューティング容量を減らす可能性がある.小型のモジュールは,シャシーが取り除くことができない熱流を生み出しながら物理密度を向上させることができる.

システム制約としての電力消費

レイクには有限の電源と冷却予算があります.光学リンクによって使用される電力は,GPU,メモリ,スイッチシリコン,ストレージ,およびサポート冷却機器には利用できません.

小さなポート数で,モジュールあたり数ワット余分な電力は管理可能に見えます.しかし,数百のポートと数万のリンクでは,差は主要なインフラストラクチャ変数になります.

完全な比較には,以下を含む必要があるかもしれません.

• オプティカルリンクの両端

• ホスト SerDes と再設定

• DSPとFEC

• レーザー源の電源

• 電力変換損失

• 上部冷却費

公開されたワット/ポート値は,同じシステム境界を使用しない限り,直接比較できない.

帯域幅密度は熱制限として

帯域幅密度は,モジュールあたり帯域幅,フロントパネルの開口,ラックユニット,スイッチ,ワットを指す.これらの測定は関連しているが,互換性はない.

モジュールの帯域幅を倍にするだけでは 自動的にスイッチの使用密度は倍になることはありません システムにはまだ十分な電力を供給し 信号の整合性を維持し 熱を除去し 接続器にスペースを残さなければなりません繊維施設やサービスへのアクセス

高い電源レベルでは,帯域幅密度はパネルの寸法のみではなく,熱除去に依存するようになります.

単行車線 の 速度 スケーリング が 効率 を 失っ て いる 理由

高い光学帯域幅への従来の経路は,より高速な電気および光学レーンに大きく依存しています.

25G → 50G → 100G → 200G PAM4

この経路は重要であり続けますが 移行ごとに より厳しい送信機,受信機,均衡,コーディング,信号完全性制御が必要ですパワーと複雑性は,必ずしも有用なスループットに比例してスケールしない.

なぜ 高速 走行 線 が 強力 で 複雑 に なる の です か

計算とI/Oのスケーリングギャップ

この分析は,Epoch AI モデルデータベース2010年から2024年の間に AIモデルを訓練するために使用されるコンピューティングが年間約4~5倍増加すると推定されています

この割合は,すべてのAIワークロードではなく,フロンティアトレーニングに適用されます.しかし,これは,大規模な加速器クラスターの周りに通信需要がどれほど急速に成長するかを示しています.

I/O帯域幅は普遍的な倍増スケジュールに従わない.その開発は,SerDesロードマップ,スイッチシリコン,光学インターフェース,パッケージング,電源供給,冷却に依存する.

実用的な課題は 相互接続がコンピューティングシステムを制限するのを防ぐのに十分な速さで 通信能力を拡大することです

受信機感度,DSP,FEC 罰

PAM4は4つの振幅レベルを使用してシンボルあたり2ビットを運びますが,これらのレベル間の小さな分離はNRZと比較してノイズマージンを減少させます.

そしてIEEE 802.3 技術貢献NRZと比較してPAM4に対して4.8dBの理想的な光学SNR調節罰を計算した.追加の罰は信号帯域幅と実装条件に依存する.

これは,レーン速度の倍増によって受信機の感度が1定数値低下することを意味するものではありません.実際の性能は,ボード速率,受信機帯域幅,チャネル損失,均衡,ノイズ,FEC実施幅も

DSPとFECは信号の質を回復し,稼働率を拡大できますが,電力を消費し遅延ももたらします単車線での速度増加の利点は,より電気的およびデジタルな補償が必要になるにつれて減少する..

オプティカル モジュールの電力がスイッチ設計を制限する方法

モジュール電力の効果は 完全なスイッチで集計されたときに より明確になります

51.2T の電力予算例

128 × 400G FR4 オプティカルモジュールで満たされた 51.2 Tb/s スイッチを例に挙げましょう.

この計算では,光学モジュールは光学モジュールとスイッチASICの組み合わせた電力の約58.7%を占めています.

この割合は,ファン,レギュレーター,制御エレクトロニクス,変換損失を含まないため,スイッチの総入力電力を表していません.シリコンスイッチと同じ規模で電力を消費できる.

51.2T スイッチ光学電源予算

ネットワーク パワーとコンピューティング 密度

固定電源予算では,ネットワークの電源が低くなり,計算用の電力と熱力を増やすことができます.

2025年にはフォトニクス 切り替えのお知らせNVIDIAは,従来の実装ベースラインと比較して,発表されたアーキテクチャの電力効率が3.5倍高いと報告しました.

これは普遍的なCPO効率因子ではなく,プラットフォーム特有の結果です. GPU密度の実際の影響は,ポート数,トポロジー,加速器のパワー,冷却容量,そしてラック設計.

高光電力の3つのシステム効果

オプティカル モジュール 電力 の 3 つの システム 効果

パワーとコンピューティング密度

ネットワークで消費されるワットは,同じラック内部の他の場所には割り当てられない.

ネットワークの電力が高くなる場合,ラックごとに加速器が少なくなり,同じ作業負荷に合わせてラックが多くなり,追加スイッチが追加され,設備の冷却需要が増加する可能性があります.

光学モジュールの電力は 部品仕様だけでなく 建築上の変数です

電力 と 冷却 の 限界

プラグイン可能なモジュールは800Gを超えると,各フロントパネルの位置からより多くの熱が除去されなければなりません.

についてOSFP MSA 技術文書OSFP1600形式因子は,1600Gデータセンター光学に30W以上の熱容量を提供する.これは参照熱容量であり,すべてのモジュールのための普遍的な電源評価ではありません.

実際の電力は,範囲,DSP実装,波長数,レーザー配置,ホストインターフェース,および動作温度に依存する.

十分な高熱流量では,空気の流れを増やすことが効果が低下する.液体冷却は,高電力部品の近くの冷たいプレートに熱を転送することによって熱経路を短縮する.

ASHRAEガイドライン高性能コンピューティング環境で40~45°Cの範囲で直接温水冷却を文書化している.これは各光学モジュールの必要な冷却液の温度を定義していない.温水冷却が確立されたデータセンターアプローチであることを確認します.

電力,温度,信頼性

大型のAIファブリックでは 部品レベルでの 低故障確率でさえ 重要な作業負担を 引き起こす可能性があります

低温では多くの劣化メカニズムが遅くなるが,温度と寿命の関係は装置と故障モードに依存する.

NISTの信頼性ガイドライン異なる障害モードには異なる加速モデルが必要である可能性があることを説明します.

したがって,可靠性分析では,関連する故障メカニズムを特定し,動作ストレスを定義し,データでモデルを検証する必要があります.低温は一般的に有益です.しかし,それは1つの普遍的な寿命倍数を生成しません.

フロント パネル が 帯域 幅 の 瓶頸 に なっ て いる 理由

AIネットワークは,高radix,低オーバーサブスクリプションのスイッチを必要とします. 十分な帯域幅が1つのスイッチに収まらない場合,追加のSpinまたはSuper-Spineステージが必要かもしれません.

追加の段階が増加する可能性があります.

• 遅延時間

• スイッチと光学リンク数

• 電力消費量

• ケーブルの複雑さ

• 障害点

• 費用

OSFP密度とネットワーク拡張

についてOSFP MSA参照設計1RUスイッチを搭載し,32のOSFP1600ポートを搭載し,51.2Tb/sの総処理量をサポートする.

これは,普遍的な物理的限界ではなく参照構成である.しかしながら,形式因子帯域幅がスイッチ数とネットワークトポロジーにどのように影響するかを示している.

モジュールの帯域幅を増加させることで,必要な物理ポートの数が減少する可能性がありますが,電源,冷却,電気ルーティング,ファイバー管理が実用的なものであればのみです.

帯域幅 の 密度 は 最終 的 に 熱 問題 です

モジュールは小さくできますが,その電力は同じ速度で減少しない可能性があります.その結果,フロントパネル内の熱流量が増加します.

したがって,使用可能な密度は以下の要因によって影響されます.

• 檻とシークの性能

• PCBの電源供給

• 主機電路線

• コネクタとファイバー密度

• 冷却システムの容量

• 部品の最大温度

高帯域幅では,形状要素の実用密度は,完全なシステムがどれだけの熱を除去できるかによって決定されます.

フロントパネルの密度とXPO熱構造

XPO: 液体冷却の組み込みによりより高い密度

XPOは超密度のプラグイン可能な光学.

2026年3月にアリスタがXPOのマルチソース契約を発表発表されたアーキテクチャでは,チャンネルごとに200Gb/sで64チャネルを使用し,モジュールごとに12.8Tb/sを提供し,オープンコンピューティングラックユニットごとに204.8Tb/sのフロントパネル帯域幅をターゲットとしています.

このコンセプトは,ベリーツーベリー2つのPCB構造を使用しています.

• 高功率部品は液体冷却構造に向かって内向きです

• 低電力部品は外向きです

• 冷却装置はモジュール構造に組み込まれています

• 光学装置は取り外せるままです

204.8 Tb/s の値は,前面パネルの帯域幅容量を表し,1 つのラックユニット内の 128 つの物理モジュールではありません.

XPOの主な設計論点は,使用可能性である.並行性を増加させ,熱経路を改善しながら,交換可能なモジュールモデルを維持しようと試みている.

従来のプラグイン可能な光学,LPO,CPO,XPO

従来のプラグイン式 vs LPO vs CPO vs XPO

従来のプラグイン可能な光学

伝統的なプラグイン可能モジュールは高速電気線路でスイッチASICに接続します

ホットスワップ交換, 明確な故障隔離, 独立したモジュールの資格, 成熟した複数のベンダーの供給を提供しています

高速車線では PCBやコネクタの損失により 配線と信号処理が 難しくなります熱は,まだ制限されたフロントパネル構造を通して除去する必要があります.

LPO

線形プラグ可能な光学従来のモジュールDSPを削除し,ホストとモジュールの間のアナログ経路を維持します.

についてLPO MSA 仕様FEC,リタイミング,データ変換などの機能をホストに割り当て,相互運用性をサポートするためのテストポイントを定義する.

モジュール側DSPを削除するとモジュール電源と処理遅延が減少するが,ホストSerDes品質,チャネル損失,送信機線性,受信機ノイズ,リンクマージンにより高い要求をかける.

LPOには,普遍的なパワー,レイテンシー,またはリーチ値が存在しない.これらは完全なホストと光学リンクに依存する.

CPO

コパックされた光学オプティカルエンジンをスイッチASICの近くに置き,高速な電気接続の長さと損失を減らす.

これは,均衡,リタイミング,電気 I/O パワーを減らすことができますが,パッケージング,ファイバーアタッチ,熱設計,故障隔離,フィールド修復の課題を提示します.

2023年にはオプティカル・インターネットネットワーク・フォーラムは,3.2Tコ・パッケージ・モジュール実施協定を発表イーサネットスイッチング用の3.2 Tb/s モジュールを定義し,パケット端帯域幅密度のミリメートルあたり約140 Gb/sを提供します.

2026年5月,NVIDIAはSpectrum-Xイーサネットフォトニクススイッチの生産を開始したと発表した.これは重要な商業的マイルストーンであるが,業界全体のCPO採用を示さない.

XPO

XPOは取り外せるモジュールを保持し,より大きな並行性と統合された液体冷却を使用しています.

CPOとは違うバランスです

• 普通のプラグイン機よりも高い密度

• 直接液体冷却

• フィールド交換

• パッケージレベルの光学統合への依存度が低い

残りの課題は,電気インターフェース設計,冷板統合,ファイバー管理,生産資格,および複数のベンダー間の相互運用性です.

CWDM と DWDM CPO の比較

波長アーキテクチャはレーザー設計,ファイバー数,パッケージ,光学損失,統合の複雑さに影響します

CWDMとDWDMの実装は,同じ測定境界を使用しない限り,孤立したレイテンシーまたはビット単位エネルギー値を使用して比較することはできません.

遅延値には以下の値が含まれたり除外される.

• DSPとFEC

• リタイミング

• バッファリング

• ホストインターフェース

• スイッチ処理

• リンクの片端または両端

ビットあたりのエネルギーは以下のように計算される.

ビットあたりのエネルギー = パワー ÷ 配信されたビットレート

ただし,計算にはモジュール,ホスト SerDes,レーザー,DSP,FEC,スイッチインターフェース,冷却が含まれているかどうかを定義する必要があります.

DWDMは,1つのファイバーにより多くの波長を配置し,密度を増やし,ファイバー数を減らす可能性があります.また,より厳格な波長制御,安定したレーザー出力,より複雑な光学統合.

シングルチップの多波長ソースは評価プログラムに入っているが,その生産価値は出力,波長安定性,効率,出力,寿命に依存している.

DWDMは,すべてのCPOシステムで本質的に低電力または遅延を保証するものではありません.結果は完全なアーキテクチャに依存します.

スケールアップ vs スケールアウト・インターコネクト

スケールアップ vs スケールアウト オプティカル・インターコネクト

拡大

スケールアップネットワークは 緊密に連携したシステムとして 動作しなければならない加速器を繋ぎます

銅は,低コストで電気的に直線性があるため,短距離でも魅力的である.信号速度とチャネル損失が増加するにつれて,使用可能な範囲はより制限される.

公開されたシステム研究では,現在の高速銅リンクは,研究されたデータセンター環境における短いラック内距離に限定されていると記述されています.

400Gでの銅の到達は実装に依存する.ケーブル設計,コネクタ数,均衡,挿入損失予算,利用可能電力によって異なります.

光学I/OとCPOは,銅が帯域幅,ルーティング密度,距離,効率の必要な組み合わせを提供できなくなったときにより魅力的になります.

拡大

スケールアウトネットワークはスイッチでサーバーとラックを接続します

長距離,高スイッチラディックス,大きなポート数,そして実用的なフィールド交換が必要です

伝統的なプラグイン式機器であるLPO,CPO,XPOは この問題の様々な部分に対応しています

• LPOはモジュール側処理を 減らす

• CPOは電路を短くする

• XPOは電源の密度と冷却能力を高めます

移行は,普遍的な採用日よりも 特定の規格と製品マイルストーンを通して理解されるべきです

エンジニアリング 選択枠

アーキテクチャの選択は,最低公開されたモジュール電源値ではなく,システム要件から始めなければならない.

重要な質問には

• どんな範囲に 届く必要があるのか?

• 適用される電源またはエネルギー比ットの制限は?

• フィールド交換は必須ですか?

• どんな冷却システムがありますか?

• 遅延の限界は?

• 複数のベンダー間での相互運用性が必要ですか?

ビット単位でのエネルギーを注意深く比較する

高性能モジュールは,利用可能な帯域幅がはるかに大きい場合,ビットあたりのエネルギーがまだ低い可能性があります.

すべての比較ではビットレート,方向,リンク端の数,DSP/FEC境界,レーザーパワー,ホスト処理,冷却オーバーヘッドを定義する必要があります.

リーチ と リンク マージン を 評価 する

低出力のアーキテクチャは,より狭いチャネルマージンで動作する可能性があります.

選択には,伝送距離,端から端へのリンク予算,ホストの電気チャネル品質,動作温度,部品の変動,老化条件を考慮する必要があります.

冷却 と 維持 能力 を 評価 する

モジュールの名乗電力は,すべてのシャーシが冷却できるということを証明するものではありません.

システムでは,交換可能なユニットも定義する必要があります.伝統的なプラグイン式は,シンプルなモジュール交換を提供します.一方,より大きな統合は,ラインカード,パッケージ,またはスイッチ組成.

生態系 の 成熟 性 を 評価 する

技術的性能と生態系の成熟度とは 異なる問題です

新しいアーキテクチャは,安定した仕様や複数のサプライヤー,共通のテスト方法,実証された相互運用性,または確立された修理手順を持つ前に強い結果を示す可能性があります.

電力密度の制限がAIインフラストラクチャにとって何を意味するのか

将来の帯域幅拡大は ひとつのチャンネルの速度を増やすことだけに 依存することはできません

必要なのは次の組み合わせです.

• 平行チャンネル

• 波長マルチプレックス

• 電気路線を短くする

• より効率的な包装

• 低負荷材料

• 熱設計の改善

熱流が増加するにつれて,より大きな外部熱吸収器は減少する回帰を提供します.冷却は熱源に近づき,光学アーキテクチャの一部になります.

信頼性は,適切な動作温度,故障モード特有の資格,修復可能なシステム境界,ネットワークレベルの冗長性によっても対処されなければならない.

光学モジュール,スイッチASIC,パッケージ,PCB,冷却システム,ネットワークトポロジーは,ますます一つのシステムとして設計されなければなりません.

よく 聞かれる 質問

なぜ光学モジュールはそんなに電力を消費するのか?

高速モジュールはレーザードライバ,受信機,均衡,およびしばしばDSPおよびFECを必要とします.電力チャネル損失とレーン速度増加とともに電力も増加します.

光学モジュールの帯域幅密度を制限するのは?

主な限界は フロントパネルのスペース 電力供給 電気路線 ファイバー管理 冷却能力です

LPOとCPOとXPOの違いは?

LPOはモジュールDSPを削除し,CPOは光学をASICに近い場所に配置し,XPOは高度な並行性と液体冷却を備えた取り外せモジュールを組み合わせます.

CPOは常に電力を少なく使っていますか?

レーザー,ホストインターフェース,DSP/FEC境界,冷却,どのシステムの部品が含まれているかに依存します.

なぜ温度が信頼性に影響するのか?

多くの分解メカニズムは,より高い温度で加速しますが,正確な関係は装置と故障モードに依存します.

どちらのアーキテクチャが Scale-Up と Scale-Out に最適ですか?

スケールアップは,銅,光学I/O,CPOなどの短距離,低遅延ソリューションを好む.スケールアウトは,範囲,スイッチ密度,およびサービス可能性により重点を置く.