AI大モデル時代のネットワーク機器需要の爆発 未来の革新と投資機会について探る

AI大モデル時代におけるネットワークの重要な役割

大規模モデルの時代において、光モジュールやスイッチなどのネットワーク機器のイテレーションが加速し、需要が爆発しています。本稿では原理から出発し、なぜネットワークがAI時代の重要な要素となるのかを探討し、今後のネットワーク側の革新と投資機会について論じます。

ネットワーク需要の出所

1. モデルのサイズと単一カードの上限の差が大きくなり、多サーバークラスター訓練に移行し、ネットワークの重要性の基盤を構成します。

2. ネットワークは主にGPU間でモデルパラメータを同期するために使用され、密度と容量の要求が高まっています。

3. 訓練にかかる時間 = データ規模 x パラメータ数 / 計算速度。計算速度 = 単一デバイスの速度 x デバイス数 x 並列効率。デバイス数と並列効率の拡大が鍵となる。

4. マルチカードの同期が複雑: 計算後に整合させる必要があり、All-to-All操作が一般的で、転送と交換に対する要求が高い。

5. 障害コストが高い: トレーニングは数ヶ月続き、中断があった場合は中断点に戻って再トレーニングする必要があり、ネットワークの安定性が非常に重要です。

ネットワーク革新の方向

1. 通信媒体: 光、銅、シリコン媒体の更新、LPO、LRO、シリコンフォトニクスなどのコスト削減技術の発展。

2. ネットワークプロトコル：ノード間通信とピア間通信プロトコルの競争。

3. ネットワークアーキテクチャ:葉脊アーキテクチャはDragonfly、rail-onlyなどの新しいアーキテクチャに進化します。

投資アドバイス

通信システムのコアリンク:Zhongji Innolight、Xin Yisheng、Tianfu Communication、Industrial Fortune Union、Invic、Shanghai Electric Co.、Ltd。

通信システムの革新:YOFC、Tetherlight、Yuanjie Technology、Centec Communications-U、Cambrian、Taclink。

リスク警告

1. AIの需要は期待に及ばない
2. スケーリング法則の失効
3. 業界における競争の激化

ネットワークの重要性の認識

AI時代における通信の重要性は次のように表れます:

1. グラフィックカードの数と接続効率がトレーニング時間を決定し、時間は競争の重要なリソースです。

2. トレーニング中は各層の計算後にパラメータを整列させる必要があり、ネットワークに対する要求は非常に高いです。

3. ネットワーク障害のコストが高く、中断はトレーニングの効率とコストに深刻な影響を与えます。

4. クラスター規模は万カードに達し、接続部品は数十万、システムの安定性要件は高い。

ネットワーク革新の方向性の認識

1. コスト削減、オープン化、そして計算力の規模のバランスが主要なテーマです。

2. 通信媒体の革新: 光、銅、シリコンメディアの進歩、LPO、LRO、シリコンフォトニクスなどの新技術。

3. 通信プロトコルの革新: ノード内(のNVLINK)とノード間(のIB対イーサネット)プロトコルの競争。

4. ネットワークアーキテクチャの更新: リーフスパインアーキテクチャは、Dragonfly、Rail-onlyなどの新しいアーキテクチャに進化します。

クラウドコンピューティングからAI時代へ、通信の重要性が高まる

1. AIのネットワーク接続需要の急増により、パラメータの規模が膨張し、単一カードでは対応できなくなっています。

2. 訓練にかかる時間 = データ規模 x パラメータ数 / 計算速度、スタックされた計算能力が重要となる。

3. 計算速度 = 単一デバイスの速度 x デバイス数 x 並列効率、デバイス数と並列効率は同じくらい重要になる。

4. ネットワークはデバイスの数と並行効率を向上させるための鍵となり、NVIDIAがMellanoxを買収したのもその考慮による。

大規模モデル訓練におけるマルチGPU協力

1. データ並列: 各GPUが完全なモデルを保持し、データを分割してトレーニングします。

2. モデル並列: モデルを異なるGPUに分割し、テンソル並列およびパイプライン並列を含む。

3. 多次元混合並行: 様々な並行方式を組み合わせ、複数のステージに分割して訓練を行う。

4. 様々な並行方式はすべてパラメータの同期を行う必要があり、ネットワークに異なる要求を提起します。

マルチカード相互接続のコア: 同期の精度

1. 逆向ブロードキャストによるパラメータの整合性、All-to-All遅延が重要な指標です。

2.同期方法には、同期並列処理、非同期並列処理、およびAll-Reduceが含まれます。

3. Ring All-Reduceなどの最適化アルゴリズムは、帯域幅と遅延を低減することができます。

4. ネットワークハードウェアのサポートが必要です。例えば、NVLink、IBプロトコルなど。

システムエンジニアリング: モニタリング - まとめ - 革新の反復

1. データの流れと運用状況をリアルタイムで監視する必要があります。

2. ソフトウェアとハードウェアのパケットキャプチャは主な監視手段であり、Wiresharkなどがあります。

3. DPI/DFIなどのハードウェアの直列および並列接続技術により、損失のない監視が実現できます。

4. モニタリング結果に基づいてシステムの安定性と効率を継続的に最適化する。

通信プロトコルの競争とイテレーション

1.ノード内通信:PCIe、NVLink、Infinity Fabricなど

2. ノード間通信: InfiniBand vs イーサネットRoCEプロトコル群。

3. RDMAはAIクラスター接続の必需品となる。

4. 英偉達IBプロトコル vs AMD主導の超イーサネット連盟。

ネットワークハードウェアの革新方向

1. 伝送媒体: 光、銅、シリコンの争い、コストパフォーマンスと安定性が鍵。

2. スイッチ: 光スイッチの台頭、電気スイッチチップの革新。

3. ネットワークアーキテクチャ:葉脊アーキテクチャはDragonfly、Rail-onlyなどに進化します。

4. データセンタークラスター: データセンター間の相互接続が新たな焦点となる。

投資アドバイス

1. スイッチ、光モジュールなどの基盤ハードウェアに注目する。

2. LPO、CPO、特殊光ファイバーなどの新技術によってもたらされる機会を追跡する。

3. 国産スイッチの進化を加速する機会に注目する。

リスク警告

1. AIの需要は期待に及ばない
2. スケーリング法則の失効
3. 業界における競争の激化