Por que o armazenamento é importante para inteligência artificial?
Talvez sua organização tenha decidido recentemente começar a usar a inteligência artificial (IA). Existem vários aspectos de sua infraestrutura de TI e de seu cenário de tecnologia a serem examinados à medida que você prepara as aplicações de IA, inclusive, e talvez especialmente, seus sistemas de armazenamento. A IA é orientada por dados, e a maneira como seus dados são armazenados pode afetar significativamente o resultado de seu projeto. Não apenas isso, mas cada um dos quatro diferentes estágios de sua composição (ingestão, preparação, treinamento e inferência) tem necessidades e requisitos de armazenamento diferentes.
Infelizmente, algumas organizações focam no lado da computação da IA e negligenciam o lado do armazenamento. Esse foco singular pode levar, e algumas vezes leva, à interrupção ou à falha completa desse tipo de projeto. São necessárias quantidades massivas de dados para facilitar o estágio de treinamento da IA. Esses dados precisam ser ingeridos, armazenados e preparados para que eles possam ser “alimentados” no estágio de treinamento. Sem a capacidade de ingerir, armazenar e consumir os dados necessários para treinamento, o projeto corre o risco de falhar.
Os projetos de IA demandam uma infraestrutura de armazenamento com excelente desempenho, escalabilidade e flexibilidade. A boa notícia é que os sistemas de armazenamento atuais podem ser criados especialmente para atender às necessidades desses projetos. Dois ótimos exemplos disso são alguns dos supercomputadores mais poderosos do mundo, o Sierra e o Summit.
Agora, vamos analisar alguns requisitos.
As especificidades de cargas de trabalho e a movimentação dos dados
Os requisitos para cada estágio do pipeline de IA precisam ser revisados com relação à carga de trabalho esperada de sua aplicação de IA. As cargas de trabalho variam, mas algumas empresas que usam grandes conjuntos de dados podem treinar por longos períodos de tempo. Quando o treinamento é concluído, esses dados geralmente são retirados das plataformas de armazenamento críticas para preparar uma nova carga de trabalho. Gerenciar dados manualmente pode ser um desafio, portanto, é prudente refletir com antecedência ao considerar como os dados serão colocados no armazenamento e para onde eles irão quando o treinamento for concluído. Encontrar uma plataforma que possa mover os dados automaticamente deixa você a um passo do gerenciamento de armazenamento eficiente e capacitado para a Inteligência artificial.
Saiba mais sobre dados, treinamento e inferência com o consultor Rodrigo Ceron –>
Após revisar as implicações de suas próprias necessidades de carga de trabalho, é possível decidir sobre as tecnologias de armazenamento que funcionam melhor para a sua infraestrutura e seu projeto de de IA.
Necessidades de armazenamento para diferentes estágios de inteligência artificial
1- Ingestão de dados. Os dados brutos para cargas de trabalho de IA podem vir de uma variedade de origens de dados estruturados e não estruturados e é necessário um local muito confiável para armazená-los. O meio de armazenamento pode ser um data lake de alta capacidade ou uma camada rápida, como armazenamento flash, especialmente para análise em tempo real.
2- Preparação de dados. Uma vez armazenados, os dados devem ser preparados pois eles estão em um formato “bruto”. Os dados precisam ser processados e formatados para o consumo das fases restantes. O desempenho de I/O (entrada e saída) do arquivo é uma questão muito importante nesse estágio, pois agora você tem uma combinação de leituras e gravações aleatórias. Reserve um tempo para descobrir quais são as necessidades de desempenho do seu pipeline de IA. Assim que os dados forem formatados, eles serão alimentados nas redes neurais para treinamento.
3- Treinamento e inferência. Esses estágios fazem uso intensivo de computação e geralmente requerem que eles sejam transmitidos para os modelos de treinamento. O treinamento é um processo iterativo, que requer configuração e reconfiguração, que é usado para criar os modelos. A inferência pode ser considerada a soma dos dados e do treinamento. As GPUs nos servidores, e sua infraestrutura de armazenamento se tornam muito importantes aqui devido à necessidade de baixa latência, alto rendimento e tempos de resposta rápidos. Suas redes de armazenamento precisam ser concebidas para abordar esses requisitos, bem como a ingestão e a preparação de dados. Em escala, isso gera tensão em muitos sistemas de armazenamento, especialmente naqueles que não são preparados para cargas de trabalho de IA, então é importante considerar especificamente se sua plataforma de armazenamento pode lidar com as necessidades alinhada aos seus objetivos de negócios.
Não se esqueça da capacidade e da flexibilidade
Sua infraestrutura de armazenamento é escalada facilmente? Você consegue expandir o sistema de armazenamento à medida que suas necessidades de dados crescem? Essas são questões muito importantes que têm um efeito direto em seus requisitos de infraestrutura de inteligência artificial.
Certifique-se de que você possa aumentar e diminuir a capacidade de sua infraestrutura de armazenamento com o mínimo ou nenhuma interrupção em suas operações de produção, acompanhando o crescimento dos dados em seus negócios. Seja flexível o suficiente para considerar diferentes configurações de armazenamento para as diferentes necessidades da infraestrutura de IA.
Fale com especialistas para recomendações
Um planejamento cuidadoso, que atenda aos seus requisitos de servidor de IA e modelagem para a infraestrutura de armazenamento, ajudará você a obter o máximo de seus investimentos e ser bem-sucedido em seus projetos.
Essas recomendações são apenas um ponto de partida. Sempre tenha em mente que, caso você não tenha um conhecimento especializado na sua organização para projetar e implementar a infraestrutura de armazenamento de IA correta, deve trabalhar com seu provedor para obter auxílio na preparação de seus sistemas de armazenamento para IA.
E, se você tiver dúvidas ou estiver procurando suporte para o planejamento e a preparação de um projeto de IA com o IBM Storage, envie uma mensagem para o especialista que logo ele entrará em contato.