Infraestructura para IA: ¿Por qué el almacenamiento es importante?

Tal vez su organización decidió recientemente adquirir nodos de cómputo y empezar con Inteligencia Artificial (IA). Hay muchos aspectos del panorama de su infraestructura y tecnología de TI que debe pensar cuando se prepara para cargas de trabajo de IA, incluyendo, tal vez especialmente, sus sistemas de almacenamiento. La IA es impulsada por datos y la forma en que sus datos están almacenados puede afectar de forma significativa el resultado de su proyecto de IA. No solo eso, cada una de las cuatro etapas de la IA (ingesta, preparación, entrenamiento e inferencia) tienen diferentes necesidades y requisitos de almacenamiento.

Desafortunadamente, algunas organizaciones se enfocan en el aspecto computacional de la IA y subestiman el aspecto almacenamiento. Este foco único puede llevar, y a veces lo hace, a la interrupción o al fracaso total del proyecto de IA. Se necesitan enormes cantidades de datos para facilitar la etapa de entrenamiento de la IA. Estos datos deben ser ingeridos, almacenados y preparados para que puedan “alimentar” la etapa de entrenamiento. Sin la capacidad de ingerir, almacenar y consumir los datos necesarios para el entrenamiento, el proyecto estará en riesgo de fracasar.

Los proyectos de IA exigen una infraestructura de almacenamiento con un desempeño, escalabilidad y flexibilidad excelentes. La buena noticia es que los sistemas de almacenamiento actuales pueden construirse a medida para suplir las necesidades de los proyectos de IA. Dos grandes ejemplos de esto son algunas de las supercomputadoras más potentes del mundo, Sierra y Summit.

Veamos ahora algunos de los requisitos.

Especificidades de las cargas de trabajo y el movimiento de datos

Los requisitos de cada etapa del canal de IA deben ser reevaluados para la carga de trabajo esperada de su aplicación de IA. Las cargas de trabajo varían, pero algunas empresas que usan grandes conjuntos de datos pueden entrenar durante largos períodos. Finalizado el entrenamiento, generalmente, los datos son retirados de las plataformas de almacenamiento crítico a fin de prepararlos para una nueva carga de trabajo. La gestión manual de datos puede ser un desafío, por lo tanto, una medida inteligente es anticiparse considerando cómo se ubican los datos en el almacenamiento y adónde irán una vez que el entrenamiento esté finalizado. Encontrar una plataforma que pueda mover los datos automáticamente por usted le coloca un paso más cerca de una gestión eficiente y hábil de almacenamiento para IA.

Más información sobre datos, entrenamiento e inferencia con el IBMista Rodrigo Ceron

Tras revisar las implicancias de las necesidades de sus propias cargas de trabajo, usted puede determinar las tecnologías de almacenamiento que mejor funcionen para su infraestructura y proyecto de computación de IA.

Necesidades de almacenamiento para diferentes etapas de IA

Ingesta de datos. Los datos crudos para cargas de trabajo de IA pueden provenir de una variedad de fuentes de datos estructuradas y no estructuradas y usted necesita un lugar muy confiable donde almacenar sus datos. El medio de almacenamiento puede ser un lago de datos de alta capacidad o un nivel rápido, como el almacenamiento flash, especialmente para analítica en tiempo real.

Preparación de los datos. Una vez almacenados, los datos deben ser preparados, ya que están en formato “crudo”. Los datos tienen que procesarse y formatearse para el consumo durante las fases restantes. El desempeño de E/S de archivos es una consideración muy importante en esta etapa, ya que ahora usted cuenta con una mezcla de escrituras y lecturas aleatorias. Tómese el tiempo para descubrir cuáles son las necesidades de desempeño de su canal de IA. Una vez formateados los datos, se introducirán en las redes neurales para entrenamiento.

Entrenamiento e inferencia. Estas etapas conllevan computación intensa y por lo general requieren un flujo de datos hacia los modelos de entrenamiento. En entrenamiento es un proceso iterativo que requiere configuraciones y reconfiguraciones, lo cual se usa para crear los modelos. Puede pensarse la inferencia como la suma de los datos y el entrenamiento. Las GPU en los servidores y su infraestructura de almacenamiento se vuelven muy importantes aquí por la necesidad de baja latencia, alto rendimiento y rápido tiempo de respuesta. Sus redes de almacenamiento deben diseñarse para manejar estos requisitos, así como la ingesta y preparación de los datos. A escala, esto recarga muchos sistemas de almacenamiento, especialmente aquellos que no están preparados para cargas de trabajo de IA, por lo tanto, es importante considerar específicamente si su plataforma de almacenamiento puede manejar las necesidades de carga de trabajo alineadas con sus objetivos comerciales.

No se olvide de la capacidad y la flexibilidad

Considere también: ¿Su infraestructura de almacenamiento escala con facilidad? ¿Puede usted expandir el sistema de almacenamiento a medida que crece su necesidad de datos? Estas son preguntas muy importantes que tienen efectos directos sobre sus requisitos de infraestructura de IA.

Más información sobre servicios de almacenamiento de IBM Systems Lab Services

Asegúrese de que puede escalar su infraestructura de almacenamiento con una mínima o sin ninguna interrupción de sus operaciones de producción, manteniendo el ritmo del crecimiento de los datos en su negocio. Sea lo suficientemente flexible como para considerar diferentes configuraciones de almacenamiento para las diferentes necesidades de la infraestructura de IA.

Pídales consejo a los expertos

Una panificación cuidadosa, de acuerdo con los requerimientos de su servidor y modelado de IA para la infraestructura de almacenamiento le ayudará a aprovechar mejor sus inversiones y llevar al éxito sus proyectos de IA.

Estas recomendaciones son solo un punto departida. Recuerde siempre que, si no cuenta con experiencia en su organización para diseñar e implementar la infraestructura de IA adecuada, debería trabajar con su proveedor para que le ayude a preparar sus sistemas para IA.

Y si tiene alguna pregunta o necesita soporte para planificar y preparase para un proyecto de IA con IBM Storage, no dude en entrar en contacto con nuestros especialistas aquí.