Como ya sabrás, para el entrenamiento de IA se utilizan tarjetas gráficas muy potentes, como la GPU H100… Y parece ser que por cada GPU aceleradora H100 vendida, Nvidia parece estar obteniendo notables beneficios, con márgenes que alcanzan el 1.000% de los costes de producción.
De hecho, Nvidia gasta alrededor de 3.320 dólares en fabricar una sola unidad H100, que luego se vende a los clientes finales por un precio que oscila entre los 25.000 y los 30.000 dólares. Estas estimaciones proceden de la consultora Raymond James y, al parecer, también incluyen los costes relacionados con los chips de memoria HBM integrados.
Si dichas estimaciones son exactas, Nvidia puede estar disfrutando una época dorada. Según Kim, la demanda de GPU H100 es tan alta que prácticamente se han agotado hasta 2024. Mientras tanto, las empresas de IA se afanan por conseguir suficientes aceleradores de GPU para alimentar sus modelos generativos y servicios basados en IA. Foxconn predice que el mercado de servidores de IA alcanzará un valor de 150.000 millones de dólares en 2027, y estos modernos servidores de IA dependen en gran medida de las sólidas capacidades de cálculo del último hardware de Nvidia.
La GPU H100 se basa en la microarquitectura Hopper, diseñada como la contrapartida para centros de datos de la arquitectura Ada Lovelace que potencia la última generación de GPU GeForce RTX para juegos. Sin embargo, el principal objetivo de Hopper no son los juegos, como indican las pruebas de rendimiento. El acelerador H100 está equipado con una GPU GH100 modificada que incluye 14.592 núcleos CUDA, además de 80 GB de RAM HBM3 con un bus de memoria de 5.120 bits.
No cabe duda de que Nvidia está en la cresta de la ola del actual auge de la IA, aunque el coste estimado de 3.320 dólares por GPU H100 propuesto por Kim requiere más aclaraciones… Por ejemplo, desarrollar una nueva GPU es una tarea costosa y que requiere mucho tiempo, en la que intervienen numerosos ingenieros de hardware y trabajadores especializados. Estos trabajadores requieren una remuneración y, según estimaciones recientes, el salario medio de un ingeniero de hardware de Nvidia ronda los 202.000 dólares anuales.
Por un lado, la producción y venta de las GPU H100 podría ser mucho más costosa que el gasto de 3.320 dólares comunicado. Por otro lado, Kim lleva 30 años siguiendo a Nvidia y ahora incluso está escribiendo un libro como “historia definitiva” de la compañía. Por tanto, cuando se trata del funcionamiento interno de Nvidia y sus niveles de coste, es probable que sepa de lo que habla.
