IBM Storage

エキスパートが語る①：AI&データ活用を牽引するIBM StorageとNVIDIAの取り組み

2022-10-20

カテゴリー IBM Storage | Software Defined Storage

記事をシェアする:

DXを支えるAI&データ活用に必要不可欠なインフラ基盤とは？

近年は市場の変化が激しく、予測困難な事態に対応しながらもビジネスを拡大していくことが求められています。「世界のAI導入状況 2022年（IBM Global AI Adoption Index 2022, PDF）」によると、ビジネスにAIを活用していると回答した企業は35％で、2021年から4ポイント増加していました。しかし、AIやデータ活用の重要性を感じつつも、どこから着手したら良いか悩みを抱えており、日本で成果を出している企業はほんの一握りです。

なぜ思うように進まないのか。NVIDIAとIBMの対談記事をぜひご覧いただきたいのですが、システムの複雑さが一つの原因と考えられています。バラバラになっているデータに必要な時にどうアクセスするのか、データの前処理、モデル開発、運用などどう高速化して容易にするのか、ここを紐解くことで、一歩前に進めることができます。

IBM StorageはNVIDIAと協力し、ハイパフォーマンス・コンピューティング、AI、分析ワークロードの厳しい環境に必要な、ユニークで拡張性の高いデータ・ソリューションを提供してきました。またIBMは、NVIDIA NGC™パートナー企業でもあります。NVIDIAは計算する技術、IBMはデータを最適に蓄積する技術、それぞれの利点があります。そして、両社で協力して最適な製品・ソリューションの組み合わせを展開することで、安心してお客様がAIやデータ活用を進めることができると確信しています。当記事では、NVIDIAとIBMが取り組んでいる、リファレンス・アーキテクチャーや事例についてご紹介します。

NVIDIA x IBM リファレンス・アーキテクチャー

まずは、NVIDIA (GPUサーバー)と IBM(ストレージ) が共同で公開している、事前検証済みで安心なリファレンス・アーキテクチャーをご紹介します。「リファレンス・アーキテクチャー」は、IT ソリューションの全体デザインや実装におけるベスト・プラクティスなどをまとめたドキュメントです。AI やビッグデータの基盤を検討中の方はもちろん、すでに運用されている方には将来の増強・移行計画のヒントにもなるものです。

ストレージはなんでも同じ？

リファレンス・アーキテクチャーでは、 GPU サーバーとストレージを統合、組み合わせる際のベストプラクティスを示しています。「GPU サーバーの内蔵ディスクがあるので、わざわざストレージが必要なの？」「ストレージは何でも同じでは？」と思っていらっしゃる方もいらっしゃるかもしれません。

いえいえ、そんなことはありません。複数の GPU サーバーの能力を用いた並列処理では共有ストレージは必要です。要件やユースケースにマッチしたストレージを選択することで、最適な AI 基盤を実現することができます。選択するストレージ次第では、コスト・パフォーマンスや拡張性が大きく違ってくることもあります。

NVIDIA x IBM コラボのリファレンス・アーキテクチャー、ここに着目！

リファレンス・アーキテクチャーは、NVIDIA と IBM が共同で作成している実証済みソリューションです。お互いの機器をラボに持ち込み、NVIDIA GPU サーバーと IBM ストレージを接続し、お互いに評価した上でベストプラクティスを整理しています。このリファレンス・アーキテクチャーをヒントにすることで、最適な AI 基盤を計画することができます。具体的にはサイジングの指標になります。

サイジングって悩ましいですよね。もちろん高性能なサーバーやストレージが、数多くあればあるほど頼もしいのですが、、、一方で予算は限られているし。。。と、どこで決断するかの材料が必要ですよね。

例えば、GPU サーバー (NVIDIA DGX) 4台に対して、ストレージ (IBM Elastic Storage System (ESS)) 1台の組み合わせで、このくらいの処理能力（スループット）が見込めますよ。サーバーからストレージへのパスは何本で検証した結果です。といった、指標をヒントにしていただけます。

ベンチマーク結果が登場しますが、AI ワークロードで計測したベンチマーク結果もあるため、実用的な裏付けとして安心材料になります。NVIDIA GPU サーバーにおける、高帯域かつ低レイテンシーなデータ処理を実現する「Magnum IO GPUDirect Storage (GDS) 」の結果もあります。

AI 基盤に適したストレージとは？

ところで、どんなストレージが AI 基盤に適しているのでしょうか？様々な案件に携わってきた経験から、私は以下のポイントが多くのケースで共通であると考えます。

大量のデータを繰り返し学習する必要があるため、大容量かつ高性能であることが第一のキーポイントです。
最初は小さく始めて、後から柔軟に拡張できると良いですよね。初期投資を抑えつつも、ニーズに応じて成長できると助かりますよね。
また、データにアクセスする形態はファイル・アクセス(NFS/SMB) だけでなく、アプリケーションによってはオブジェクト・アクセス(S3)もありますよね。マルチ・プロトコル環境においても、アクセス形態を気にすることなく、同じデータを利活用可能だと便利ですよね。

そういった AI 基盤に求められる要件を兼ね備えているのが IBM ESS です。NVIDIA x IBM のリファレンス・アーキテクチャーには、高帯域・低レイテンシーを追求したIBM ESS が取り込まれています。

IBM ESS は上記に挙げた要件に応える機能だけではなく、最先端のデータ・ソリューションが備わっています。

頻繁にアクセスされないコールド・データを自動的に低コストな保管先に移動（ティアリング）
クラウドや他の NAS など IBM ESS 以外のデータ・ソースと連携し、1つのストレージ・イメージとして仮想的に統合（グローバル・データ・プラットフォーム）
ドライブ障害時の高速リビルドやランサムウェアなどの脅威に備える対策（データ保護）

IBM ESS はこれらの特徴を有し、ご満足いただける AI 基盤ストレージです。

150年分のイノベーション: NVIDIA x IBM

最後に NVIDIA GPU サーバーと IBM ESS による、コンチネンタル社の革新的な事例をご紹介します。

コンチネンタル社は、自動運転のソフトウェアを開発している企業であり、自動車部品やタイヤを扱うサプライヤーです。ここ数年で自動運転の分野で急成長をとげておりまして、世界トップの自動車メーカーからも引き合いがあります。そのコンチネンタル社の研究開発基盤を支えているのが、「NVIDIA と IBM のテクノロジー」です。自動運転の開発というと、他の車や歩行者を正しく認識し、瞬時に必要な判断をする AI を開発されているのは、ご想像頂けると思います。優れた AI を作るためには、莫大な数の走行動画やセンサーデータを読み込ませ、繰り返し学習することの可能な基盤が必要となります。

天候や道路状況など、いろいろな環境でテスト走行をすることで、毎日100テラバイトを超える学習用データを貯め続けられています。それらのデータを活用して、更に高度な AI へ進化させ続けています。

コンチネンタル社は NVIDIA の GPU と IBM ESS (NVMe Flash モデル) を採用されました。GPU が AI 基盤で威力を発揮するのは周知のことと思いますが、もう一つのカギを握るのは実はストレージです。IBM ESS は NVIDIA の GPU の処理性能に負けないスループットとレスポンスで、膨大な数と種類の学習を支えることができます。また、カメラやセンサーの進化によって、データ量は急激に大きくなります。そういったデータ量の変化にも柔軟に対応できる点が、IBM ESS のもう一つの強みです。

コンチネンタル社からは NVIDIA と IBM のテクノロジーを非常に高く評価いただき、自動運転のイノベーションの限界を 150年分押し上げた。といった、お言葉をいただいています。

「新しいインフラストラクチャーを導入したことで、20、40、80のGPUを同時に実行できるようになり、トレーニングが大幅にスピードアップしました。いくつかの課題を解決できたことを誇りに思います」by Balazs Lorand, PhD, Head of AI Competence Centre, ADAS@Budapest, at Continental

この新しいインフラストラクチャーにより、コンチネンタル社は 1 か月あたり 14 倍の深層学習実験を達成し、トレーニング時間を数週間から数日に短縮しました。より多くの実験を実施し、Kubernetes 環境をシームレスに接続できるようになったため、開発ライフサイクルの効率が劇的に向上しました。また、そのソリューションは、コンテナー化されたハイブリッドクラウド環境、オンプレミス、複数のデータセンターなど、あらゆる方向の成長をサポートするのに十分な柔軟性を備えています。開発チームのトップの方に出演いただいている動画も用意しておりますので、ぜひご覧ください。