Comienzan los Días Naranjas en PcComponentes. Hay un montón de artículos con descuentos impresionantes!!!
Ver mejores ofertasMosaicML es una startup de IA adquirida recientemente por Databricks por 1.300 millones de dólares. Ambas empresas abogan por un enfoque DIY (hágalo usted mismo) de los sistemas de IA y las plataformas de formación LLM, lo que permite a las empresas mantener el control sobre sus aplicaciones de IA. En cuanto al hardware, MosaicML afirma que los chips AMD pueden ofrecer un rendimiento casi equivalente al de los chips Nvidia.
Como demuestra claramente el reciente aumento de la capitalización bursátil de Nvidia, la industria de la IA necesita desesperadamente nuevo hardware para entrenar grandes modelos de lenguaje (LLM) y otros algoritmos basados en IA. Aunque las GPU de servidor y HPC pueden carecer de valor para los juegos, sirven de base para los centros de datos y los superordenadores que realizan los cálculos altamente paralelizados necesarios para estos sistemas.
En lo que respecta al entrenamiento de IA, las GPU de Nvidia han sido las más deseadas hasta la fecha. En las últimas semanas, la compañía alcanzó brevemente una capitalización bursátil sin precedentes de un billón (europeo) de dólares por esta misma razón. Sin embargo, MosaicML subraya ahora que Nvidia es sólo una opción en un mercado y sugiere a las empresas que invierten en IA que no gasten ciegamente una fortuna en los codiciados chips de Team Green.
Para leer más tarde...
La startup de IA probó las tarjetas AMD MI250 y Nvidia A100, ambas una generación por detrás de las actuales GPU HPC insignia de cada compañía. Para las pruebas utilizaron sus propias herramientas de software, junto con el software de código abierto PyTorch, respaldado por Meta, y el software propietario de AMD.
MosaicML entrenó un algoritmo LLM sin realizar ningún cambio en el código del software subyacente y descubrió que los chips de AMD funcionaban casi tan bien como los de Nvidia.
En pruebas basadas en cargas de trabajo reales, MosaicML informa de que la pila de entrenamiento de LLM se mantuvo estable y funcionó bien sin ninguna configuración adicional. Las GPU AMD MI250 resultaron “competitivas”, según la compañía, ya que proporcionaron un 80 por ciento del rendimiento de datos por GPU ofrecido por el modelo A100 de 40 GB de Nvidia y un 73 por ciento en comparación con el modelo A100 de 800 GB.
Hanlin Tang, director de tecnología de MosaicML, afirma que el principal punto débil de la mayoría de las empresas que fabrican chips para la aceleración de algoritmos de ML reside en su software. AMD ha destacado en esta área y la compañía espera un rendimiento aún mayor en las nuevas GPU HPC a medida que las herramientas de software sigan mejorando.
No obstante, cabe mencionar que CUDA, el marco de programación de bajo nivel para chips de Nvidia, se ha convertido en una especie de estándar en el sector, al menos por ahora. CUDA no es perfecto, ni elegante, ni especialmente sencillo, pero resulta familiar y es exclusivo de Nvidia.
Es comprensible que AMD esté satisfecha con los resultados de MosaicML, que parecen validar la estrategia de la compañía de apoyar un “ecosistema de software abierto y fácil de implementar” para el entrenamiento y la inferencia de IA en sus chips. Nvidia, por su parte, no ha querido hacer comentarios.