生成AIをビジネス向けに仕立てるIBMの手法

記事をシェアする:

IBMでは、信頼性の高い、省エネルギーでポータブルな企業向けの生成AI基盤モデルを開発しています。これにより、企業はパブリッククラウドとプライベートクラウドの間でAIワークロードをスムーズに移動させることができます。

ChatGPTは、生成AIの有望性とリスクを露呈しました。OpenAIのチャットボットは、一部の専門家を欺くほど上手に法的見解や大学入試のエッセイを書くことができます。しかし、同時に憎悪に満ちたコメントやでっち上げの情報を生成するように誘導することも可能です。多くの企業にとっては、この強力な技術を活用するリスクがメリットを上回るように見えるかもしれません。

しかし、現在のAI活用の最前線においても、企業向けの有用なアプリケーションを構築することは可能です。IBMは、企業が顧客に価値を提供するために、AIパイプラインの各ステップでの革新を図っています。それは、ユーザーエクスペリエンスの向上や従業員の生産性と創造性の向上など、さまざまな形で表れます。

信頼性は私たちが最も大切にしていることの一つです。企業がこれらのモデルが生成する予測やコンテンツに自信を持てなければ、他の多くの利点は重要とは言えません。現在の、ChatGPTを駆動する大規模言語モデルを含むほとんどの大規模基盤モデルは、インターネットから収集されたサンプルを用いてトレーニングされています。これにより、ChatGPTだけでなく、以前のチャットボットにも予測可能な問題が生じています。顧客に対してAIが侮辱的な言葉を発する可能性を減らし、事実かのように幻覚させること（ハルシネーション）を防ぐために、私たちはドメイン固有のデータセットを厳選してモデルをトレーニングしています。

私たちはまた、コストを削減し、AIの巨大な炭素排出量を低減するために、エネルギー効率の高い方法を開発することにも焦点を当てています。ある試算によれば、大規模なモデルのトレーニングには、その寿命全体を通じて5台の車を運転するのと同じくらいの炭素を排出することがあります。大規模なモデルのカスタマイズや運用には、さらなる計算コスト（費用と炭素排出量）が発生します。モデルをより小さくし、スタック全体で計算リソースを効率的に使用することにより、より良い結果を得ることができます。

私たちの3つ目の重点領域はポータビリティーです。企業がパブリッククラウドとプライベートクラウドの間でAIワークフローをシームレスかつ安全に移動できるようにしたいと考えています。企業が所有またはリースしたサーバーでデータを安全に処理・保存できるようにすることで、AIの導入障壁を低くすることを目指しています。

Transformer（トランスフォーマー）の台頭により、膨大な量の未加工の非ラベル付けデータで事前学習されたディープラーニング（深層学習）モデルは、AIのパラダイムシフトをもたらしました。タスク固有のラベル付けデータを用いて多くのモデルをトレーニングする代わりに、Transformerに基づいた大規模なモデルを事前に学習し、追加の微調整を行って繰り返し展開することができます。これらの多目的モデルは、基盤モデルとして広く知られています。これらは、分類やエンティティー抽出などの従来の機械学習タスクだけでなく、翻訳、要約、専門家が作成したかのようなリアルなコンテンツの生成などの生成AIタスクにも広く使用されています。

しかし、Transformerには特に生成タスクにおいてリスクも存在します。これらの技術が企業の環境で成功するためには、現在よりも信頼性が高く、エネルギー効率が良くなる必要があります。また、企業は特に現代のソフトウェアやハードウェアシステムを横断して、AIのワークロードを簡単かつ安全に移動できる必要があります。以下に、IBMがこれらの課題にいかに取り組んでいるか説明します。

信頼性のある生成モデル

BLOOMやPaLMなどの数千億のパラメータを持つ生成モデルは、開放的なタスクには優れています。しかし、企業はランダムなRedditのスレッドではなく、企業に関連するデータに基づいて意思決定を行いたい場合もあります。データのキュレーションは、信頼性のあるモデルを構築するための第一歩です。

モデルに初めから高品質のデータ、できれば企業データを与えることで、後の問題を予防することができます。これにはデータのクレンジングも含まれます。IBMでは、トレーニング前にヘイトスピーチ、卑猥な表現、バイアスのかかった言語などのデータをフィルタリングする技術の開発を行っています。

実データが不足している場合、合成データは貴重な代替手段となります。自動的にラベルが付けられ、モデルの精度と信頼性を向上させるために実データを補完または置き換えることができます。それは医療記録や金融データなど、プライバシーや著作権法で保護されたコンテンツの代わりとして機能することができます。敵対的な例として展開されると、AIモデルがどこで間違いや不公平な決定をする可能性があるかを示すこともできます。

信頼性のあるモデルを構築するための次のステップはトレーニングです。人間のフィードバックを組み込んだ強化学習（RLHF）は、モデルを人間の価値観に合わせてより安全にする方法の一つです。RLHFは、ChatGPTを駆動する言語モデルの微調整において重要な役割を果たし、会話能力を持たせるのに役立ちました。RLHFはまた、空想や反社会的な行動を減らすために設計されています。

人間はモデルの応答の品質を評価し、このフィードバックはモデルに取り込まれ、より人間らしい回答を反復的に生成するために使用されます。RLHFは対話の品質を向上させるだけでなく、モデルが爆弾の作り方を教えたり、事実をでっち上げたりしないようにするためのガードレールを構築することもできます。

信頼性のあるモデルを構築するための最後のステップはチューニングです。IBMでは、これらのモデルをエンタープライズ・タスクに適用する前に、AIのバイアスを検出して修正するためのいくつかの使いやすい手法を開発しています。一つは「FairIJ」と呼ばれる方法で、トレーニング・データ内のバイアスのあるデータ・ポイントを特定し、編集することができます。もう一つは「FairReprogram」と呼ばれる方法で、バイアスのある分類器を見つけて修正することができます。

また、プロセスをより透明にする方法にも取り組んでいます。真に信頼性のあるモデルは、正確で信頼性のある意思決定を行うだけでなく、その過程を人間に説明することができる必要があります。

効率的にAIモデルをトレーニング、調整、提供する

長年にわたり、モデルの大きさと性能の高さの相関は強く予測されてきました。より多くのデータでトレーニングされた大きなモデルの方が、要約やテキストの翻訳などのタスクでより良い結果を出してきました。しかし、その優位性には莫大な財政的および環境的なコストが伴いました。OpenAIは、オリジナルのChatGPTのエンジンとなったGPT-3のトレーニングに数百万ドルを費やしたと報じられています。

AIが進化するにつれて、IBMや他のテック企業は、AIの炭素排出量を減らすために、より効率的にコンピューティング・リソースを活用する方法を開発しています。持続可能性を重要な焦点として、トレーニングや検証から調整や推論まで、AIパイプラインの各ステップを効率化しています。

光明となる成果の一つは、効果的なAIモデルは現在よりもずっと小さくすることができるということです。DeepMindの最近の研究では、より多くのデータでトレーニングされた小さなモデルが、より少ないデータでトレーニングされた4倍の大きさのモデルを凌駕することがわかりました。彼らが見つけた秘訣は、パラメータとデータを比例させることです。モデルのサイズを倍にすると、最適なパフォーマンスを得るためにトレーニングデータのサイズも倍にします。モデルのサイズが縮小し、調整や推論のスピードが向上することを期待しています。

もう一つのエネルギー節約策は、ゼロからではなく、反復的にモデルを拡張することにあります。MIT-IBM Watson AI Labの研究者は、小さなモデルのパラメータを再利用するだけで、モデルのトレーニングを4倍速く行うことができることを発見しました。「LiGO」アルゴリズムは、小さなモデルの重みを解析して、それを拡大する方法を学習し、それらの学習済みの重みを大きなモデルに転送します。

また、新しいタスクに合わせてファンデーションモデルを素早くカスタマイズする技術も開発しています。新しいアプリケーションごとに最適なプロンプトを見つけるために1つのアルゴリズムを何度も実行するのではなく、すべてのタスクに対して普遍的なプロンプトを見つけるための自動化された方法を考案しています。私たちのマルチ・プロンプト・チューニング技術は、ユーザーが迅速に実験し、モデルを再展開するための経済的な方法です。

AIモデルのトレーニングにおけるエネルギー・コストは十分に注目されていますが、他の懸念事項もあります。これらの巨大なモデルの検証と実行は高コストで時間がかかり、その遅さはユーザーにとってはストレスの溜まる体験となります。推論速度を改善するために、私たちは量子化という深い専門知識を活用して、モデルを32ビット浮動小数点演算からはるかに小さいビット形式に縮小しています。

AIモデルの精度を低下させることで、トレーニングと推論の利点を大きく得ることができます。私たちは4ビット整数演算でモデルをトレーニングし、提供するための方法を考案しました。これにより、計算およびストレージのコストを大幅に削減することができます。私たちはまもなく、これらの圧縮モデルをIBMのAI最適化チップ「IBM AIU」で実行することを目指しています。

AIワークフローをクラウド間でシームレスに移動する

AIワークロードの実行は計算負荷が高いです。そのため、この作業の多くはクラウド上の分散サーバーで処理されます。データ・ストレージとコンピューティング・インフラストラクチャーを所有するのではなく、レンタルすることで、企業は迅速にスケーリングし、AIアプリケーションを実験する柔軟性を持つことができます。

クラウド上でのAIコンピューティングの利点の一つは速度です。現代のクラウドはワークロードをより容易に分割して並列実行するためのモジュールに組織されています。しかし、すべての企業がこのモジュール化されたクラウドネイティブのセットアップを活用することはできません。特に機密データを保護する必要がある場合、多くの企業は依然としてプライベート・システム上でワークロードを実行しています。

IBMはこのほど、当社初のクラウド型AIスーパーコンピューター「Vela」で、AIトレーニングの新たな道筋を示しました。Velaは、AI研究開発の生産性を可能な限り高めるために設計されています。世界中のIBM研究者は、Velaの搭載されたOpenShift上で動作するクラウドネイティブ・スタックを使用して、高度なモデルのトレーニングを行っています。この作業はパブリッククラウドで行われましたが、このアーキテクチャーはオンプレミスのAIシステムの設計にも採用することができます。企業がクラウドにデータを置いている場合は、私たちのスタックを提供することができます。また、データがオンプレミスにある場合は、そこでモデルの訓練や調整を行うことができ、同じクラウドネイティブでユーザーフレンドリーな体験をすることができます。

スタック全体の再設計には1年以上かかり、いくつかのイノベーションが必要でした。IBMの研究者は、オープンソースのRayやPyTorchコミュニティーと協力して、AIパイプラインの各段階（トレーニング、チューニング、テスト、サービス）におけるワークフローを自動化・簡素化しました。

機械学習アプリケーションのためのオープンソースの分散コンピューティングフレームワークであるRayには、データの重複や有害なコンテンツの削除などの前処理タスクを含む、トレーニングとテストを容易にするための新しい技術が追加されました。また、PyTorchプラットフォームとの連携により、標準的なイーサネット機器のような手頃なクラウド・ネットワーキング・ハードウェアでAIモデルをトレーニングできるようになりました。

RedHat社との協業により、システム内の各Vela GPUが最大限の効率で動作するよう、OpenShiftプラットフォーム自体に機能を組み込んでいます。また、OpenShiftのKubernetesコンテナにもさらなる改良を加え、コンテナ内でのコードやデータの共有がより簡単になりました。

生成タスクを含むこの新しい時代の基盤モデルは、企業にとって大きな可能性を秘めています。私たちは、その価値を最大限に引き出すために、企業とともに適切なガイドやインフラを整備していきたいと考えています。

この記事は英語版IBM Researchブログ「How IBM is tailoring generative AI for enterprises」（2023年4月28日公開）を翻訳し一部更新したものです。

関連情報

• 生成AI（ジェネレーティブAI）とは
• ビジネスのための生成AI – IBM Research シニア・バイスプレジデント兼ディレクターによる解説動画
• 有益で信頼できるAI導入に向けたIBMコンサルティングのアプローチ
• AI倫理とは何か？今、企業が取り組むべき課題〜信頼できるAIの実現に向けて〜
• watsonxのご紹介： ビジネスのためのAIの未来

IBMのサービスとソリューション

• ビジネスのための生成AIおよびデータ・プラットフォーム「watsonx」
• AIソリューション
• AIコンサルティング・サービス