投資家の多くは、エヌビディアといえばGPUを連想し、GPUがAIクラウドインフラの重要な要素であると認識している。 しかし、それはAIインフラストラクチャーの一部でしかない。投資家はAIのためのネットワーキングの役割も理解する必要がある。 賢明な投資家は、昨日の記事から、より細かいディテールのいくつかに注意を払う必要がある。 エヌビディアの決算説明会。
ネットワークはAIデータセンターのコストの3分の1
エヌビディアは、前四半期比 27% 増、前年同期比 265% 増の $184 億のデータセンター売上を計上し、また、前四半期比 3 倍の $130 億のネットワーク ARR を計上した。 また、ネットワーク ARR は $130 億と、前四半期の $100 億から増加し、前年同期比では 3 倍となった。 ネットワークARRは現在、データセンター総収入の27%を占めている！
なぜAIに新しいネットワークが必要なのか？
ジェンセンは何度か、AIには新しいネットワークが必要だと述べている。 我々は、AIクラウドインフラを構築している無数の顧客から同じことを聞いている。 新しいAIクラウド・サービス・プロバイダー、エンタープライズAIクラウド、ソブリンAIクラウドはすべて、高価なGPUリソースを最大限に活用する新しいネットワークを必要としている。 これは、3つのパフォーマンス要件と、さらにいくつかのフロントエンド要件によるクラウド・ユーザー・エクスペリエンスに帰結する。
AIには新しいネットワークが必要だ。ヘッジホッグはAIネットワークである。
1. 高い有効帯域幅
AIは高い有効帯域幅を必要とする。 400Gまたは800Gのネットワークを導入した場合、95%の時間で400Gまたは800Gの帯域幅が得られると予想されます。 AIのトレーニングやファインチューニングのワークロードは輻輳を生み、輻輳は有効帯域幅を遅くし、遅いネットワークはトレーニングやファインチューニングの時間を長くする。 時は金なり、特に高価なGPUの時間は金なり。
2. パケットロスゼロ
AIは意図した宛先に到達するために100%のパケットを必要とする。 従来のTCP/IPネットワークはパケットロスで輻輳を知らせる。 パケットロスはAIのワークロードを一時停止させたり、失敗させたりする。 最後のチェックポイントでワークロードを再スタートさせるには、もちろんコストがかかる。 時は金なり、特に高価なGPU時間では。
3. 低遅延
トレーニングと微調整の目標は、AIの推論である。 副操縦士と会話するような優れたユーザー体験を提供するために、AIは超低遅延を必要とする。 ほとんどの消費者は、ネットワーク遅延が40ミリ秒以下であれば、ユーザー体験を受け入れられると感じる。
インフィニバンドはプレミアム価格でトレーニングのニーズに応える
エヌビディアの第4四半期の売上高のおよそ50%は、ティア1のクラウドサービス・プロバイダーと消費者向けインターネット企業に計上されている。 これらは実際には、2つの異なる市場で競合する同じアカウントである。 消費者インターネット企業は、次世代のユーザー体験を定義するための軍拡競争の中で、新しい生成AIモデルを訓練するために数十億ドルの予算を持っています。 彼らは、NVIDIAのInfinibandネットワーキング製品に数十億ドルを費やす余裕のあるCSP部門から、AIクラウドインフラを消費している。 Infinibandは、このような顧客層の高い性能ニーズを高いコストで満たしている。
企業や主権者のAIクラウドには無制限の予算はない。 彼ら自身のデータで生成AIモデルを微調整するニーズを満たす新しいネットワークが必要なのだ。 データはAIゴールドラッシュにおける金である。 データのプライバシーと保護は、企業や主権を持つAIクラウドの顧客にとって最重要事項である。 このため、多くの企業や政府は、独自のAIインフラを構築するか、消費者向けインターネット企業として競合しない新しいクラウド・サービス・プロバイダーからレンタルすることになる。 こうした企業は、インフィニバンドの性能とイーサネットの機能を備えた新しいAIネットワークを必要としている。 イーサネットの特徴は、一般的にクラウド・ユーザー・エクスペリエンスとしてまとめることができる。
AIによる推論が主流になりつつある
イーサネットとTCP/IPは、インターネット上、家庭内、職場内のあらゆるものを動かすネットワーク規格である。 イーサネットは、あなたが今このブログ記事を読むために使っているネットワークです。 ChatGPTのような生成AIを使うとき、あなたはイーサネットを使っています。
エヌビディアは、第4四半期のデータセンター収益のうち40%がAI推論によるものであったと推定している。 これは、次のような賢いアナリストを驚かせた。 モルガン・スタンレーのジョー・ムーア と、この見積もりについて意見を求めた。 その意味するところは、AIのワークロードがトレーニングから微調整や推論に移行するにつれて、市場はより多くのイーサネットを必要とし、インフィニバンドを必要としなくなるということだ。 そして、これは多くの投資家が予想していたよりも早く起こっている。
AIの微調整と推論には高性能イーサネットが必要
NVIDIAは、Spectrum XがAIイーサネットのリファレンス・アーキテクチャであることを発表した。 Spectrum Xは、NVIDIA Bluefield 3 DPU SmartNIC、NVIDIA Spectrum Switchesおよびソフトウェアを組み合わせて、高性能イーサネット・ネットワークを実現するものである。 賢明な投資家は、Spectrum Xが将来のエヌビディア・ネットワーキングのARRでより大きなシェアを占めることを期待すべきです。
エンタープライズAIとソブリンAIはクラウド・ユーザー・エクスペリエンスを必要としている
AIにはクラウド・ユーザー・エクスペリエンスを備えたネットワークが必要だ。 ほとんどの企業や主権を持つAIプロジェクトには、複数のテナントが存在する。 これらのテナントは、GPUクラウド・インフラストラクチャの異なる開発チームやアプリケーション、ユーザー・グループである。 新興のAIクラウド・ネットワークは、ビッグ3で誰もが享受しているのと同じクラウド・ユーザー・エクスペリエンスを提供する必要がある。 複数のテナントが必要とするもの 仮想プライベートクラウド プライバシーとセキュリティのためのサービス テナントやロケーションをまたいだVPC通信のためのゲートウェイ・サービスと、ロードバランシングやセキュリティ・サービスを組み合わせる必要がある。
ヘッジホッグはAIネットワーク
ヘッジホッグは、AIワークロードを提供するクラウド構築者のためのAIネットワークです。 NVIDIA Spectrum Xリファレンス・アーキテクチャと連携し、高い有効帯域幅、パケットロスゼロ、低レイテンシーを実現する高性能ネットワーク・ソフトウェアを提供します。 Hedgehogは、AIクラウドネットワークの運用と利用を容易にするクラウドユーザーエクスペリエンスを提供します。 当社のソフトウェアは オープンで自動化された そのため、お客様は設備投資を抑えて機器を購入し、運用コストを抑えて運用することができます。 ヘッジホッグ オープンソースソフトウェア は、ハードウェア・ベンダーを自由に選択し、ソフトウェアの運命をコントロールすることができます。 当社の顧客はNVIDIAのハードウェアを選択することができますが、AIネットワーク用にAMD、Intel、Marvell、Supermicro、Celestica、Dell、Edgecoreの機器を選択することもできます。 完全に自動化されたネットワーク運用により、当社のお客様は、低運用コストとダイナミックなクラウド容量で、ハイパースケーラのようなネットワークを構築することができます。
マーク・オースチンは、ヘッジホッグの最高経営責任者であり、創業者です。 マークは、多くのことを知っている狐であり、一つの大きなことを知っているハリネズミでもあります。 ヘッジホッグとしては、何百万ものクラウドネイティブ開発チームがヘッジホッグのオープンネットワークファブリックを使用して分散型クラウドインフラにアプリケーションをデプロイすることを理解しています。 Ciscoでの大規模自動化戦略、JasperでのInternet of Thingsネットワーク、Amazonでのデジタルメディア配信、Canvas設立時のモバイルアプリケーション開発、AT&Tでのスマートフォン誕生、Mobiquity設立時の初期モバイルライドシェア、Infoseekでのインターネット検索、Internet Shopping Networkでのeコマース、米国軍での逆境を切り抜けるリーダーとしての経験などから多くのことを知り尽くしているキツネである。