私の"AIには新しいネットワークが必要だ「先週、私は次のように書いた。 NVIDIA、ネットワークARRで$130億ドルを計上 $184億の年間データセンター収益に基づく。 今週は、GPUの単位経済性、ヘッジホッグAIネットワーク、ヘッジホッグの顧客が提供するLLMについて、もう少し深く掘り下げます。
330万GPUを販売
モルガン・スタンレーは、エヌビディアが1月28日に終了した四半期に販売したGPUは60万8000個であったと推定している。これにより、2021年以降の販売台数は330万台を超えた。 控えめに見積もって、330万台すべてのGPUが現場でアクティブに使用されていると仮定しています（Total Active GPUs）。
$3,900 AIネットワークFMV
総アクティブGPU数を単純に$130億ネットワークARRで割ると、1GPUあたりのネットワークARRは$3,900となる。 このネットワーキングARRはほとんど インフィニバンド サブスクリプションは、バックエンドのトレーニングネットワークでGPUをピアツーピアで接続します。
簡単なROIの決定
ヘッジホッグAIネットワークが高価なGPU投資から価値を収穫
GPUのコストと価値を考えるまでは、年間$3,900という数字は高く聞こえる。 Morgan Stanleyは、H100 GPUの平均販売価格を$30,000と見積もっており、前四半期に販売されたすべてのGPUの混合ASPは$21,700でした。 GPUにいくら費やしているかを考えれば、GPUの最大利用率を確保するためにさらに18～20%を支払うのは当然のことです。
イーサネットはすぐに勝利する
デローログループは次のように述べている。2025年までに、AIバックエンドネットワークの大半のポートが800Gbps[イーサネット]で構成されると予想される." これは、NVIDIA Infiniband ARRの$130億がイーサネットに移行することを意味する。 ヘッジホッグの顧客が当社の高性能AIネットワークを導入することで、市場シフトが起こるでしょう。
ヘッジホッグは単独でこれを行うわけではない。 私たちは、以下のようなパートナーのハードウェアと連携するAIネットワーク・ソフトウェアを構築しています。 ブロードコムのラム・ヴェラガ そして NVIDIAのSpectrum Xチーム. 私たちは、AIワークロードに対して、従来のイーサネットよりも優れたパフォーマンスを、インフィニバンドよりもはるかに低いTCOで提供することができます。 実際、私たちは、インフィニバンドよりも優れたパフォーマンスも実現できると予測しています。
Dell'Oro氏のような業界オブザーバーは、「イーサネット（のハードウェア）は、InfiniBandより1世代速度が進んでいると言えるかもしれない」と認めている。しかし、ネットワーク速度だけが要因ではない。輻輳制御と適応ルーティング・メカニズムも重要だ。 これらの輻輳制御と適応ルーティング・メカニズムには、完全なAIネットワーク・ソリューションを提供するヘッジホッグ社のソフトウェアが必要である。
ヘッジホッグAIネットワーク、有効帯域幅95%を実現
エヌビディアは、これが必然であることを知っている。だからこそ、NVIDIAは今四半期にSpectrum Xを発表する計画を発表したのだ。 その目標は、イーサネットの有効帯域幅を広く35%向上させることだ。 NVIDIAによると、AIのワークロードは混雑を引き起こすため、従来のイーサネット・ネットワークの有効帯域幅は60%に制限されていた。 逆にSpectrum Xは、実効帯域幅を95%まで引き上げることを設計目標としている。Hedgehogはこの性能目標を、Spectrum Xハードウェアを使用する輻輳制御および適応ルーティングソフトウェアと共有することで、Hedgehogに95%の有効帯域幅を提供する。
AIイーサネット。 つまり、800Gbpsイーサネット・ポートを備えたNVIDIA、ブロードコム、AMDのハードウェアに投資すれば、実質的に以下のものが手に入ることになる。 ヘッジホッグAIネットワークで760Gbps。 これは、AIワークロードを実行する場合、従来のイーサネット・ネットワークの480Gbpsと比較した場合である。
ヘッジホッグAIネットワークの最小ROIは$5万ドル
では、95%の有効帯域幅はどの程度の価値があるのでしょうか？ この質問に答えるには、GPU時間の市場価格を調べ、有効なAIネットワーク帯域幅とジョブ完了時間を相関させればよい。 (以下は LLM推論モデルの市場価格.) この記事を書いている時点で、DeepInfraはmixtral-8x7bで1分あたり$0.27で価格リーダーであり、OpenAIはGPT4で1分あたり$30である。 完全に利用した場合、DeepInfra GPU 1個の理論上の年間市場価値は$142,000となります。 ジョブ完了時間はAIネットワークの有効帯域幅によって制約されるため、これは不可能です。 従来のイーサネットの有効帯域幅60%では、DeepInfra GPUの年間市場価値は$85,000に過ぎません。 ヘッジホッグAIネットワークでは、$5万ドルのROIで$135,000ドルを生み出します。
llama2-70b-chatの価格は1分あたり$0.90（3倍または$150,000）である。 ヘッジホッグの顧客がインフィニバンドの価格$3900を支払う場合、ROIはDeepInfraで13倍、Together.AIで38倍になります。 より良い価格で同等のパフォーマンスを提供できると前述しましたが、そのためROIのパーセンテージは実際には次のようになります。 もっと高い ヘッジホッグのお客様へ
マーク・オースチンは、ヘッジホッグの最高経営責任者であり、創業者です。 マークは、多くのことを知っている狐であり、一つの大きなことを知っているハリネズミでもあります。 ヘッジホッグとしては、何百万ものクラウドネイティブ開発チームがヘッジホッグのオープンネットワークファブリックを使用して分散型クラウドインフラにアプリケーションをデプロイすることを理解しています。 Ciscoでの大規模自動化戦略、JasperでのInternet of Thingsネットワーク、Amazonでのデジタルメディア配信、Canvas設立時のモバイルアプリケーション開発、AT&Tでのスマートフォン誕生、Mobiquity設立時の初期モバイルライドシェア、Infoseekでのインターネット検索、Internet Shopping Networkでのeコマース、米国軍での逆境を切り抜けるリーダーとしての経験などから多くのことを知り尽くしているキツネである。