技術コンサルタント・技術顧問
技術アドバイザーの「技術継承.com」

HOME >
専門家による技術解説 >
AIデータセンター短距離光インターコネクトの新潮流

AIデータセンター短距離光インターコネクトの新潮流

2024.05.09

AIデータセンター短距離光インターコネクトの新潮流

1. AIデータセンターを切り拓く光インターコネクト技術

別稿の「光電融合技術の研究開発動向とそのインパクト」のタイトルにて、Siフォトニクスの技術プラットフォームの基に光電融合技術が長距離用送受信モジュール（COSA）から始まり、CPO（Co-Packaged Optics）、チップ間伝送およびチップ内光信号処理と、ステップを踏んで進展していくことを述べた。しかし、この技術領域は極めて流動的で、少し目を離すと、流れを見失ってしまう。
その最大の要因は生成AIの急激な進展である。例えば、生成AI用GPUでシェア9割を占めるNVIDIAは、2023年にデータセンター用の売上を一気に3倍超と拡大した。GPUはアクセラレータとの脇役から、主役に躍り出てきている。ハイパースケーラはGPUを争って購入し、他より優れた生成AI用のデータセンターを構築しようとしている。1万基程度GPUを大容量・低遅延のネットワークで接続し、あたかも一つの巨大なGPUとして動作させるのが、AIデータセンターあるいはAIファクトリの姿である。規模が大きいほど学習・推論の精度が上がる、つまり頭の良いAIができるという指導原理がある以上、当分の間、大規模競争の終点は見通せない。
データセンター用光インターコネクトの現在の主流であるプラガブル光トランシーバやその変形であるAOC（Active Optical Cable）は、凡そ2年で2倍に伝送容量を増やしてきており、現在は400Gbpsから800Gbpsの移行期に当たる。これはSiの微細化によるスイッチ容量の拡大と歩調を合わせたものであり、CPU中心のサーバ間を接続するものであった。しかし、AIデータセンサの主役に躍り出たGPUは2年で3倍の勢いで高性能化が進んでおり、インターコネクトの進歩のペースとの間に不整合が生じている。170億パラメータのAIではほとんどの時間は計算で占められているが、1,750億パラメータのGPT-3では全体の1/4の時間が通信に費やされ、5,400億パラメータでは8割近くが通信に費やされ、その間GPUは遊んでいるような状況になっている。まさに通信すなわちインターコネクトがボトルネックになっていることを表している。
インターコネクト高性能化の開発には、これまでとは異なる発想が求められている。しかも当面のボトルネックを解消するだけでなく、10年、20年とGPUに合わせて、あるいはAIの要求に合わせて、継続的に性能向上を図れる技術が必要になる。CPO、IPO-I/O（In-Package Optical I/O）、DWDM、光電融合、空間多重などのキーワードが思い浮かぶ。伝送距離は100mもあればよい。ラック内だけでなくボード内にも使いたい。評価指標として、伝送容量密度（単位幅当たりの伝送容量）、ビット当たりの消費エネルギー、さらに重要なのは伝送容量当たりのコストが挙げられる。こういったことを頭に入れながら、これからのAIデータセンターを切り拓く光インターコネクト技術について俯瞰してみたい。

2. 電気ケーブルと光I/Oへの期待

NVIDIAの最先端GPUであるH100を用いたシステムでは、GPUノード間が800Gbpsのプラガブル光トランシーバで接続されている。もはや電気ケーブルに戻ることはないだろうと思われていたが、次世代のGB200を用いたBlackwellではラック内のインターコネクトに多量の電気ケーブルが使われるとのショッキングな発表が2024年3月にあった。1ラックに72基のGPUと18基のスイッチが搭載され、これを5,184本のTwinaxと呼ばれる2芯同軸線路で接続する。伝送速度は1本（ペア）あたり200Gbpsと高速である。ケーブルコネクタはスイッチやGPUパッケージのすぐ近くに置かれる、いわゆるオンボードコネクタである。高速通信ケーブル大手のSamtecによると、13mm×13mmのフットプリントに64本（ペア）を収納できるという力技である。NVIDIAが光でなく電気ケーブルを採用したのは、コストが1/6で済むからだという。パッシブなケーブルなので消費電力が不要なこともうれしい。ただし、伝送距離は1mが限界で、そのためにGPU等を液体冷却し、1ラック内にコンパクトに集積している。
NVIDIAはGPUやスイッチの入出力（I/O）を光化する研究も行っている。Siフォトニクスを用い、GPUやスイッチASICと同一パッケージにチップレット形式で搭載する。そして光I/Oに対して、期待値と称する要求条件を挙げている。表1の「AIデータセンター用各種インターコネクトの比較」にまとめているように、ビット当たりの消費エネルギーは現状（AOC）の1/10以下の1pJ/bit、幅当たりの伝送容量は上記の電気ケーブルの4倍の２Tbps/mm、伝送距離は電気ケーブルの100倍の100m（ラック内だけでなくラック間の接続にも用いることができる）、さらに、コストは電気ケーブルと同じ0.1$/Gbps（現状AOCの1/10）と厳しい。
表1にはAOCだけでなく、CPOやIPO-I/O（試作レベル）についても比較して記載している。伝送距離以外は期待値との開きが大きい。伸びしろのある技術でないと、この目標に達しないことは歴然である。

表1. AIデータセンター用各種インターコネクトの比較

指標	単位	電気ケーブル	光I/O 期待値	AOC （QSFP）	SiPh CPO	VCSEL CPO	DWDM IPO-I/O
ビット当たりのエネルギー	pJ/bit	0	1	15	6	4	5
幅当たりの伝送容量	Gbps/mm	500	2,000	45	160	60	220
伝送距離	m	1	100	50	2,000	100	＞100
伝送容量当たりのコスト	$/Gbps	0.1	0.1	1	－	－	－

3. CPO（Co-Packaged Optics）

Broadcomは自社の51.2TbpsスイッチASICにSiフォトニクス（光エンジン）をチップレットで集積した光I/Oのスイッチモジュール（パッケージ）を2023年3月に製品化した。着脱可能な独自のコネクタで光ファイバを接続する。波長多重は行わず、ファイバ（チャネル）当たりの伝送容量は100Gbps（PAM4変調）である。64チャネル搭載することで光エンジン当り6.4Tbpsの伝送容量を持たせる。幅当たりの伝送容量は約160Gbps/mmとAOCの3倍以上に高めている。これをスイッチASICの4辺に2個ずつ搭載することで51.2Tbpsの伝送容量を実現する。光源（半導体レーザ）は外付けである。ASICに近接させることで、光エンジン内の電気回路をDSPレスのDriverとTIAだけの簡単な回路にできる。消費エネルギーを従来の半分以下の6pJ/bitにしている。DSPによる余分な遅延も排除できる。光I/OではDSPレスの技術が標準になろう。伝送距離はスパイン/コアスイッチ向けに2kmと中間距離をターゲットにしている。
OIFで標準化が進められているCPOと比べると、光エンジンの当りの伝送容量を倍にするだけでなく、ビット当たりのエネルギーを半分以下にし、また光コネクタによるインターフェース（OIFで電気コネクタインターフェース）といったように、一歩進んだ技術になっている。Broadcomはこれに満足せず、CWDMの8波多重することで、伝送容量および伝送容量密度を8倍にすることを次のターゲットにしている。
米国スタートアップのNubisは、波長多重ではなく空間多重による伝送容量密度の向上を志向している。ファイバを水方向に出力するのはなく、垂直方向に出力させる。ファイバを2次元に並べることができるため、例えば4列に並べると幅当たりの伝送容量密度が4倍になると主張している。2024年のOFCで16×100Gbps（1.6Tbps）の動態展示を行い、注目を集めた。電気回路も線形性を高めたLinear-Drive Opticsを採用して、ビットエラーレート（BER）の改善と低消費電力化（5.4pJ/bit）を実現している。伝送容量密度は230Gbps/mmと試算される。列数を増やす、Driver/TIAチップを小型化する、マルチコアファイバを用いるなどで、伝送容量密度のさらなる向上を図ることができるという。
IBMとCoherentはVCSELを用いたCPOの開発を継続している。外部光源が不要で、低コスト・低消費電力であることが特長である。VCSELが用いられているAOCの延長上の技術との位置付けることができる。56Gbps（NRZ）×16ch（VCSELアレイ）の800Gbpsで、光エンジンとしての伝送容量は高くない。伝送容量密度も60Gbps/mmとAOCと大差がない。ただし、ビット当たりのエネルギーは4pJ/bit未満であり、他の技術と比較して最も小さい。さらに、2波長多重と高速化（112Gbps-PAM4）によって伝送容量を4倍にする開発を進めている。消費エネルギーは2pJ/bit未満をターゲットにしており、NVIDIAの期待（1pJ/bit）に一歩近づく。伝送容量密度は約240Gbps/mmであり、期待に比べて1桁近く小さいままに留まるのが課題である。

4. IPO-I/O（In-Package Optical I/O）

ボード内の光インターコネクトも視野に入れた光I/O：IPO-I/O（In-Package Optical I/O）については、米国のスタートアップAyar Labsが開発を牽引している。APARプロジェクトの基でIntelと連携して開発した技術を発展させ、またNVIDIAとの連携も深めている。
1,310nm帯（Oバンド）における高密度波長多重技術DWDMを採用し、ファイバ当たりの伝送容量を上げる戦略である。そのため、OバンドDWDM光源の業界標準化団体CW-WDMを立上げ、標準化仕様第1版を公表した。一定の波長（周波数）間隔の波長を有するDFB-LDをアレイにした技術での製品化が進んでいる。LDはMACOMとSivers Photonicsが製造・提供し、Ayar Labsで合分波部品と共にモジュール化する。試作に使用しているのは8波長を合波し、多重された光を8チャネル（ファイバ）に分岐させるものである。一つのアレイ光源で実質64chをサポートする。2024年のOFCでは16波長を多重化し16チャネルに分岐するアレイ光源の試作品も動態展示した。
Siマイクロリング変調器（MRM）を用いて32GbpsのNRZ変調光信号を発生させる。MRMは波長選択性があるので、8波長を多重化したSi光導波路にMRMを次々に接続することで、分波することなく変調できる。MRMは10μm径と小型であるのも光I/Oに適している。受信（光検出）器にもSiマイクロリングフィルタを用いる。送信器と同様に光を多重化したSi光導波路に次々にマイクロリングフィルタを取り付け、その先のGe-PDで検出する。変調ドライバや受信アンプ（TIA）の回路をSiフォトニクスと同一チップに搭載する。これをチップレットとして提供し、GPUと同一のパッケージに搭載する。CPOのようにGPUとの間にスペースを開けるものではなく、タイルのように隙間なく詰めることを考えている。Intelが主導するUCIe（Universal Chiplet Interconnect Express）の中で、光I/Oチップも含めたチップレットの標準化が進められている。
現在の試作レベルは32Gbps×8波長×8ファイバ（送受で16ファイバ）の2.0Tbpsである。光源は外部から光ファイバで供給する。ビット当たりのエネルギーは5pJ/bit、伝送密度は220Gbps/mmと、まだまだ改善の余地がある。Ayar Labsはそれぞれ2倍に上げた64Gbps×16波長×16波長の16.4Tbpsを目標にしており、その場合5pJ/bit、1.2Tbps/mmとなる。
IntelとNVIDIAもDWDMを用いた同様なIPO-I/Oの開発を進めている。IntelはSiフォトニクス上にDFB-FDを搭載する技術を保有しており、それを用いた試作を行っている。また、着脱可能な光コネクタの開発も同時に行っている。NVIDIAは光の偏波を用いた多重化により伝送容量の2倍化を計画している。
LDアレイ以外の波長多重光源の検討も複数のスタートアップで開発されている。一つは量子ドットFP-LDとSA（アブソーバ）を組み合わせた波長多重光源である。一つのLDから複数の波長の光を取り出すことができる。波長間隔はFP-LDのキャビティ長で決定される。今一つは、SiN光導波路の非線形を利用した光周波数コムの発生技術である。幅広い帯域で動作するため、100波長多重光源の実現も夢ではない。
DWDMを用いたIPO-I/Oは伸びしろと拡がりのある技術といえる。これからも多くのスタートアップの参戦が期待される。

5. その他の光I/O技術

産総研発のスタートアップアイオーコアも光I/Oの開発を行っている。高温動作可能な量子ドットLD（単波長）の内部光源、ポリマー傾斜型光ピンによるSiフォトニクスとマルチモード光ファイバとの接続といった、ユニークな技術を採用している。
米国のスタートアップAvicenaTechはGaN-μLEDアレイを光源に用い、200コア（30μｍピッチ）のマルチコア光ファイバで伝送するという極めてユニークな技術の開発を進めている。空間多重の粋である。各チャネルの変調速度は10Gbps、トータル伝送容量は2Tbpsである。伝送距離は10m程度に制限されるが、ビット当たりのエネルギーは1pJ/bit未満、伝送容量は2Tbps/mmと光I/Oに対するNVIDIAの期待を満たす。しかもGaN-μLEDを用いているため、235℃の高温でも動作するという。2025年後半には最初のプロトタイプを提供する計画である。ダークホースといえる。

6. 短距離光インターコネクトの開発動向から目が離せない

本格的なAI時代に向かって、GPU，CPUおよびメモリ間を大容量・低遅延に接続する短距離光インターコネクトの開発・実用化が活発している。ユニークな技術で参戦する多くのスタートアップも現れるだろう。また日本では2024年1月に、NTTが中心となってIWON構想の中で進めるボード内やパッケージ内の光インターコネクトの共同研究に経産省が大型支援（452億円）をするとの発表があった。古河電工、新光電工、キオクシア、NECや富士通も参加するという。
国内外でAI時代の盟主を狙った激しい競争が繰り広げられるはずで、その一端を担う短距離光インターコネクトの開発・事業化動向には、しばらく目が離せない。

株式会社英知継承では、本テーマに関して当該専門家による技術コンサルティング（技術支援・技術調査）が可能です。下記よりお気軽にお問い合わせください。