En mi "La IA necesita una nueva red"de la semana pasada, señalé que NVIDIA ingresa 1.400 millones de euros en redes en $18.400 millones de ingresos anuales de centros de datos. Esta semana profundizamos un poco más en la economía unitaria de las GPU, la red de IA Hedgehog y los LLM ofrecidos por los clientes de Hedgehog.
3,3 millones de GPU vendidas
Morgan Stanley estima que NVIDIA vendió 608.000 GPU en el trimestre finalizado el 28 de enerocon lo que el número total de unidades vendidas desde 2021 supera los 3,3 millones. Suponemos de forma conservadora que las 3,3 millones de GPU se utilizan activamente en el campo (GPU activas totales).
$3,900 Red AI FMV
Si divides el total de GPU activas por $13.000 millones de ARR de red, obtienes un cociente de $3.900 en ARR de red por GPU. Este ARR de red se destina principalmente a Infiniband que conectan las GPU de igual a igual en redes de entrenamiento de back-end.
Fácil decisión de retorno de la inversión
La red de inteligencia artificial Hedgehog saca partido de tu costosa inversión en GPU
La cifra de $3.900 al año suena cara, hasta que se tiene en cuenta el coste y el valor de una GPU. Morgan Stanley calcula que el precio medio de venta de una GPU H100 es de $30.000, y el ASP combinado de todas las GPU vendidas el pasado trimestre fue de $21.700. Si tenemos en cuenta lo que nos estamos gastando en una GPU, pagar entre 18 y 20% más para garantizar la máxima utilización de la GPU es una obviedad, sobre todo cuando los cálculos (véase más abajo) muestran un increíble retorno de la inversión (ROI).
Ethernet ganará rápidamente
El Grupo Dell'Oro señala que "Se prevé que 800 Gbps [Ethernet] constituyan la mayoría de los puertos de las redes de back-end de IA en 2025." Esto significa que $13 mil millones de ARR de NVIDIA Infiniband migrarán a Ethernet. El cambio de mercado se producirá a medida que los clientes de Hedgehog desplieguen nuestra red de IA de alto rendimiento.
Hedgehog no lo hace solo. Creamos software de red de IA que funciona junto con hardware de socios como Ram Velaga en Broadcom y el Equipo Spectrum X en NVIDIA. Podemos ofrecer mejor rendimiento que Ethernet tradicional para cargas de trabajo de IA con un coste total de propiedad mucho menor que Infiniband. De hecho, predecimos que también podemos ofrecer un rendimiento superior al de Infiniband.
Observadores del sector como Dell'Oro reconocen que "se podría argumentar que Ethernet [hardware] está una generación por delante en velocidad de InfiniBand. Sin embargo, la velocidad de la red no es el único factor. El control de la congestión y los mecanismos de enrutamiento adaptativo también son importantes". Estos mecanismos de control de la congestión y enrutamiento adaptativo requieren el software de Hedgehog para ofrecer una solución de red de IA completa.
La red Hedgehog AI ofrece 95% de ancho de banda efectivo
NVIDIA sabe que esto es inevitable. Por eso, el gigante tecnológico ha anunciado sus planes de lanzar Spectrum X este trimestre. El objetivo es mejorar el ancho de banda efectivo de Ethernet en 35% en términos generales. NVIDIA afirma que las cargas de trabajo de IA crean una congestión que limita las redes Ethernet tradicionales a un ancho de banda efectivo de 60%. Por el contrario, Spectrum X tiene como objetivo de diseño aumentar el rendimiento hasta 95% de ancho de banda efectivo. Hedgehog comparte este objetivo de rendimiento con el software de control de la congestión y enrutamiento adaptativo que utiliza el hardware Spectrum X para ofrecer un ancho de banda efectivo de 95% para Hedgehog.
AI Ethernet. Esto significa que si invierte en hardware de NVIDIA, Broadcom o AMD con puertos Ethernet de 800 Gbps, obtendrá efectivamente 760 Gbps con una red de IA Hedgehog. Esto se compara con los 480 Gbps de una red Ethernet tradicional cuando se ejecutan cargas de trabajo de IA.
$50.000 ROI mínimo para la red de IA Hedgehog
Entonces, ¿cuánto valen 95% de ancho de banda efectivo? Para responder a esta pregunta, basta con mirar los precios de mercado del tiempo de GPU y, a continuación, correlacionar el ancho de banda efectivo de la red de IA con el tiempo de finalización del trabajo. (He aquí una fuente de datos sobre precios de mercado de los modelos de inferencia LLM.) En el momento de escribir este post, DeepInfra es el líder de precios con $0,27 por minuto para mixtral-8x7b, mientras que OpenAI cobra $30/min para GPT4. Totalmente utilizada, una sola GPU de DeepInfra tiene un valor de mercado teórico anual de $142.000. Esto no es posible ya que el tiempo de finalización del trabajo está limitado por el ancho de banda efectivo de la red de IA. Con un ancho de banda efectivo de 60% de Ethernet tradicional, una GPU DeepInfra sólo genera $85.000 anuales. Con una red de IA Hedgehog, generará $135K para un ROI de $50K.
Estas cifras, por supuesto, son mucho mayores para un cliente como Together.AI, que fija el precio de llama2-70b-chat en $0,90 por minuto (3x o $150.000). Si un cliente de Hedgehog paga el precio Infiniband de $3900, el ROI es 13X para DeepInfra o 38X para Together.AI. He mencionado antes que podemos ofrecer un rendimiento comparable a un precio mejor, por lo que el porcentaje de ROI es en realidad mucho más alto para los clientes de Hedgehog.
Marc Austin es el Consejero Delegado y fundador de Hedgehog. Marc es un zorro que sabe muchas cosas y un erizo que sabe una gran cosa. Como erizo sabe que millones de equipos de desarrollo nativos de la nube utilizarán los tejidos de red abiertos de Hedgehog para desplegar sus aplicaciones en la infraestructura distribuida de la nube. Como zorro sabe muchas cosas gracias a su experiencia liderando la estrategia de automatización a gran escala en Cisco, las redes de Internet de las Cosas en Jasper, la distribución de medios digitales en Amazon, el desarrollo de aplicaciones móviles fundando Canvas, el nacimiento de los smartphones en AT&T, los primeros viajes compartidos móviles fundando Mobiquity, la búsqueda en Internet en Infoseek, el comercio electrónico en Internet Shopping Network y liderar a la gente a través de la adversidad en el Ejército de los Estados Unidos.