¿Cuál es la infraestructura ideal para ambientes de machine learning & deep learning?
A medida que las capacidades de inteligencia artificial (IA) evolucionan rápidamente, es vital escalar de la experimentación hacia la implementación. Las empresas que consiguen aplicar con éxito la IA a escala obtienen un rendimiento financiero muy superior. ¿Cómo lo consiguen? Al hacer frente a los problemas de datos, elegir la infraestructura de TI correcta y superar la deficiencia de habilidades en IA.
Este blog profundizará en uno de dichos puntos, la selección de la infraestructura de TI correcta que cumpla con los requisitos de carga de trabajo y de datos de IA.
Servidores IBM Power Systems
Los servidores Power AC922 e IC922 tienen un diseño único en el mercado, orientados a acelerar los procesos de entrenamiento e inferencia de los modelos de inteligencia artificial.
Arquitectura
Los Servidores POWER AC922 utilizan el BUS NVLINK 2.0 de alta velocidad que a diferencia de X86, enlaza tanto a los CPUs como a los GPUs entre sí. Ello permite lograr entrenamientos hasta 4 veces más rápidos que soluciones con X86.
POWERAI
POWERAI permite a las empresas un rápido despliegue del ambiente necesario para realizar la evaluación y entrenamiento de los modelos de IA. Incluye las herramientas para instalar, configurar, ingerir datos, preparación, construcción, optimización del modelo y puesta en producción de este.
Coherencia en la memoria (LMS)
En los servidores Power AC922 tanto los GPUs como los CPUs aprovechan la memoria del servidor de forma orquestada. Ello permite que los modelos de Inteligencia Artificial puedan aprovechar hasta 2TBs de memoria durante el entrenamiento logrando más precisión y exactitud en las predicciones. Ello vs. X86 en donde los modelos se ven limitados a la memoria del propio GPU (hasta 30 veces menor).
Escalabilidad (DDL)
Tener la tranquilidad de saber que la fase de entrenamiento se puede acelerar al disponer de “Distributed Deep Learning”. Por ejemplo usando TENSORFLOW y la extensión DDL es posible entrenar el modelo de Inteligencia Artificial usando varios servidores Power AC922 en paralelo. Ello sin necesidad de re-escribir el modelo de entrenamiento original.
Inferencia inmediata
Para esta fase, los servidores Power IC922 están diseñados para acelerar la inferencia una vez los modelos de IA han sido desplegados. El servidor Power IC922 puede contar con hasta 8 GPUs y gracias a su excelente ancho de banda (340GB/s) garantiza veloces tiempos de respuesta.