In meinem "KI braucht ein neues Netz"In meinem Beitrag von letzter Woche habe ich festgestellt, dass NVIDIA meldete $13 Milliarden ARR im Netzwerkbereich auf $18,4 Milliarden Jahresumsatz von Rechenzentren. Diese Woche befassen wir uns etwas eingehender mit der Wirtschaftlichkeit von GPUs, dem Hedgehog AI Network und den von Hedgehog-Kunden angebotenen LLMs.
3,3 Millionen verkaufte GPUs
Morgan Stanley schätzt, dass NVIDIA in dem am 28. Januar abgeschlossenen Quartal 608.000 Grafikprozessoren verkauft hat.womit sich die Gesamtzahl der seit 2021 verkauften Geräte auf mehr als 3,3 Millionen erhöht. Wir gehen konservativ davon aus, dass alle 3,3 Millionen GPUs aktiv in der Praxis eingesetzt werden (Total Active GPUs).
$3,900 AI-Netzwerk FMV
Wenn man die Gesamtzahl der aktiven Grafikprozessoren durch $13 Milliarden Netzwerk-ARR teilt, erhält man einen Quotienten von $3.900 Netzwerk-ARR pro GPU. Diese Netzwerk-ARR ist hauptsächlich für Infiniband Abonnements, die GPUs in Back-End-Trainingsnetzen gleichberechtigt miteinander verbinden.
Einfache ROI-Entscheidung
Hedgehog AI-Netzwerk nutzt den Wert Ihrer teuren GPU-Investition
Die Zahl von $3.900 pro Jahr klingt teuer - bis man die Kosten und den Wert eines Grafikprozessors betrachtet. Morgan Stanley schätzt den durchschnittlichen Verkaufspreis eines H100-Grafikprozessors auf $30.000, und der gemischte ASP für alle im letzten Quartal verkauften Grafikprozessoren betrug $21.700. Wenn man bedenkt, wie viel man für einen Grafikprozessor ausgibt, ist es ein Leichtes, weitere 18 bis 20% zu zahlen, um eine maximale Auslastung des Grafikprozessors zu gewährleisten, vor allem, wenn die Berechnung (siehe unten) eine unglaubliche Kapitalrendite (ROI) ergibt.
Ethernet wird schnell gewinnen
Die Dell'Oro-Gruppe stellt fest, dass "800 Gbit/s [Ethernet] werden bis 2025 voraussichtlich den Großteil der Ports in KI-Backend-Netzwerken ausmachen." Das bedeutet, dass $13 Milliarden der NVIDIA Infiniband ARR zu Ethernet migrieren werden. Die Marktverschiebung wird stattfinden, wenn Hedgehog-Kunden unser Hochleistungs-KI-Netzwerk einsetzen.
Hedgehog macht das nicht allein. Wir entwickeln KI-Netzwerksoftware, die mit Hardware von Partnern zusammenarbeitet wie Ram Velaga bei Broadcom und die Spectrum X-Team bei NVIDIA. Wir können für KI-Workloads eine bessere Leistung als herkömmliches Ethernet liefern, und das bei viel niedrigeren TCO als Infiniband. Wir gehen sogar davon aus, dass wir dies auch mit einer besseren Leistung als Infiniband erreichen können.
Branchenbeobachter wie Dell'Oro räumen ein, dass "man argumentieren könnte, dass Ethernet [Hardware] eine Geschwindigkeitsgeneration vor InfiniBand liegt. Die Netzwerkgeschwindigkeit ist jedoch nicht der einzige Faktor. Staukontrolle und adaptive Routing-Mechanismen sind ebenfalls wichtig". Diese Staukontroll- und adaptiven Routing-Mechanismen erfordern Software von Hedgehog, um eine vollständige KI-Netzwerklösung zu liefern.
Hedgehog AI Network liefert 95% effektive Bandbreite
NVIDIA weiß, dass dies unvermeidlich ist. Deshalb hat der Tech-Gigant angekündigt, dass er in diesem Quartal Spectrum X auf den Markt bringen will. Ziel ist es, die effektive Ethernet-Bandbreite im Großen und Ganzen um 35% zu verbessern. NVIDIA sagt, dass KI-Workloads zu Überlastungen führen, die herkömmliche Ethernet-Netzwerke auf 60% effektive Bandbreite begrenzen. Spectrum X hingegen hat sich zum Ziel gesetzt, die Leistung auf 95% effektive Bandbreite zu erhöhen. Hedgehog teilt dieses Leistungsziel mit der Staukontrolle und der adaptiven Routing-Software, die Spectrum X-Hardware verwendet, um eine effektive Bandbreite von 95% für Hedgehog zu erreichen.
AI-Ethernet. Wenn Sie also in NVIDIA-, Broadcom- oder AMD-Hardware mit 800-Gbit/s-Ethernet-Anschlüssen investieren, erhalten Sie effektiv 760Gbps mit einem Hedgehog AI Network. Das ist im Vergleich zu 480 Gbps mit einem herkömmlichen Ethernet-Netzwerk, wenn Sie KI-Workloads ausführen.
$50.000 Mindest-ROI für Hedgehog AI Network
Was ist also 95% effektive Bandbreite wert? Um diese Frage zu beantworten, schauen Sie sich einfach die Marktpreise für GPU-Zeit an und setzen Sie dann die effektive KI-Netzwerkbandbreite mit der Auftragsabwicklungszeit in Beziehung. (Hier ist eine Quelle für Daten über Marktpreise für LLM-Inferenzmodelle.) Während ich diesen Beitrag schreibe, ist DeepInfra mit $0,27 pro Minute für mixtral-8x7b der Preisführer, während OpenAI $30/min für GPT4 verlangt. Bei voller Auslastung hat eine einzelne DeepInfra-GPU einen theoretischen jährlichen Marktwert von $142.000. Dies ist nicht möglich, da die Job Completion Time durch die effektive Bandbreite des KI-Netzwerks begrenzt ist. Bei 60% effektiver Bandbreite von herkömmlichem Ethernet generiert eine DeepInfra-GPU nur $85.000 pro Jahr. Mit einem Hedgehog-KI-Netzwerk generiert sie $135K für einen ROI von $50K.
Für einen Kunden wie Together.AI, der den Preis für den Lama2-70b-Chat mit $0,90 pro Minute angibt (3x oder $150.000), werden diese Zahlen natürlich viel größer. Wenn ein Hedgehog-Kunde den Infiniband-Preis von $3900 zahlt, beträgt der ROI das 13-fache für DeepInfra oder das 38-fache für Together.AI. Ich habe bereits erwähnt, dass wir eine vergleichbare Leistung zu einem günstigeren Preis anbieten können, so dass der prozentuale ROI tatsächlich bei viel höher für Hedgehog-Kunden.
Marc Austin ist der Vorstandsvorsitzende und Gründer von Hedgehog. Marc ist ein Fuchs, der viele Dinge weiß und ein Igel, der eine große Sache weiß. Als Hedgehog weiß er, dass Millionen von Cloud Native-Entwicklungsteams Hedgehog Open Network Fabrics nutzen werden, um ihre Anwendungen auf einer verteilten Cloud-Infrastruktur bereitzustellen. Als Fuchs weiß er viele Dinge aus seiner Erfahrung als Leiter der Automatisierungsstrategie bei Cisco, der Vernetzung des Internets der Dinge bei Jasper, der Bereitstellung digitaler Medien bei Amazon, der Entwicklung mobiler Anwendungen bei der Gründung von Canvas, der Geburt der Smartphones bei AT&T, der Gründung von Mobiquity, der Internetsuche bei Infoseek, dem E-Commerce bei Internet Shopping Network und der Führung von Menschen durch Widrigkeiten in der US-Armee.