watsonx Assistantの変革・新しいアーキテクチャーを徹底紹介

〜watsonx Assistantの対話型AIに最適化された新しい基盤モデルは、わずかなトレーニングで優れた結果をもたらします〜

Haode Qi著 2023年8月15日 (読了時間4分)

バーチャル・アシスタントを構築したことがある人なら、適切なトレーニング例を収集するための調査が重要な最初のステップであることを知っているでしょう。これは、顧客に対する正確な応答を保証するために必要なトレーニング例を決定することと、顧客が望むものを求める方法のすべてのバリエーションを考慮するために会話AIが十分に堅牢であることを確認するために必要な数を決定することを含む、時間のかかるプロセスです。

最近まで、正しい判断を下すためには、会話ログやアナリティクス、そして組織全体の何十ものリソースを組み合わせる必要がありました。幸いなことに、watsonx Assistantの新しい基盤モデルとトランスフォーマー・アーキテクチャーは、顧客の期待に見合う顧客体験を提供するために必要だった数時間、数日、数週間を節約することができます。

トレーニングのスタートは、最初のアクション作成時

全く新しいアーキテクチャーの導入

IBMの最新ベータ版アルゴリズムは、業界をリードするランタイム・レイテンシーを維持しながら、旧バージョン比較でわずかな学習データで、平均して同レベルの卓越した精度を実現します。

これは、様々な業界ドメインから500の英語ワークスペースを使用し社内テストした結果からも、以前は約50のトレーニング例を必要とした精度のレベルが、現在では1アクションあたり平均わずか5トレーニング例で達成できるようになったことからも明らかです。

「複数業界、ユースケースに焦点を当てた数百のワークスペースのベンチマーク測定値グラフ」

これらの改善の鍵は、トランスフォーマー・アーキテクチャーに基づく新しい基盤モデルにあります。watsonx Assistantアルゴリズムは、この新しいモデルと他の背景リソースを組み合わせ、言語モデルの最新の進歩を活用しています。

「フライトのキャンセルをしたいのですが」と 「フライトのキャンセルをする」は肯定的な正のペアとして扱われ、同じフレーズはトレーニング中に 「搭乗手続きをする」と否定的な負のペアとして扱われる

より少ないデータで精度を向上させることは説得力がありましたが、一方で、新しい基盤モデルでは実行速度に課題がありました。もちろん、顧客のリクエストがあってからアシスタントが応答するまでの経過時間は、顧客体験の基本的な要素です。

私たちは、顧客から高い信頼を得ている短いランタイム・レイテンシーを維持する必要がありました。そこでモデルの階層数を減らしながら、同レベルの精度性能を維持するモデル抽出を実施しました。

下図に示す通り、モデル抽出は教師モデルから生徒モデルへ知識を伝達するプロセスを表します。生徒モデルは、同じ入力文が与えられたときに教師モデルの出力を模倣する目的で学習されるため、実行時のパフォーマンスが向上します。これで、精度と実行効率のバランスをとることができるわけです。

生徒モデルは、トレーニング中に「フライトをキャンセルしたい」という同じ入力を与えられたときに、教師モデルと同じようなベクトルを生成するように学習する

さらに、バーチャル・アシスタントと対話する顧客は、さまざまな長さの入力をすることが多いことも認識していました。トランスフォーマー・モデルは、入力の長さに対して2次関数的なランタイム・スケーリングを持っており、2倍の長さの入力は4倍のランタイム・レイテンシーをもたらす可能性があることを意味します。