AIの顧客対応力を決めるのは「インテント（意図）」の検出能力。Watson Assistantが最新版でライバルを凌駕する精度を達成

記事をシェアする:

問題解決のためにチャットボットを使ったことはありますか？ 利用経験のある方は、「すみません、わかりません」「別の表現で質問してください」といった返答にすっかり慣れてしまっているかもしれません。このようないら立たしい返答をすることから、現在も多くの企業がチャットボットはカスタマー・サービスのツールとしては未熟だと考えています。顧客とチャットボットとの対話を自動化する上での最大の課題は、顧客のニーズを正しく理解することです。

IBM Watson Assistantは、機械学習とディープ・ラーニングの手法を用いて、比較的小さな学習データ・セットでユーザーからの問いに正確に答えることができます。なぜなら、Watson Assistantの中核を成すAIは、現実世界の対話における無数のインテント（意図）の配列を正しく識別するように設計されているからです。つまり、Watson Assistantは簡単にトレーニングでき、顧客が何を求めているのかを正確に認識できるように作られているのです。

しかし、これが完成形だとは考えていません。私たちが目指す将来像は、Watson Assistantをあらゆる企業の顧客サービス業務の中心にすることです。そのために、精度を高め、学習データ量を減らし、製品化までの期間を短縮するべく、AIを継続的に改善しています。最新のWatson Assistantには、新たに改良されたインテント検出アルゴリズムが備わっており、最近公表されたベンチマーク・テストで他の商用およびオープンソースのソリューションよりも高い精度を達成しました（下表参照。テスト方法と結果については後述）。

この改良により、Watson Assistantの最新バージョンの精度は、前バージョンの76.3%から79%に向上しています。この結果、Watson Assistantによる仮想エージェントは、顧客からの問い合わせに人（オペレーター）を介さず単独で対応する頻度（カスタマー・サービス業界では「コンテインメント」と呼ばれています）がはるかに高まり、コストを節約しながら顧客満足度を高めることが可能となりました。

AIの精度向上で顧客の要求をより良く理解

Watson Assistantの最新版のパフォーマンスを詳しく見る前に、インテント分類の課題についてご説明します。

顧客が、自身が直面している問題を表現する言葉は、次のようにさまざまです。

• 「ログインできません」
• 「パスワードが機能しません」
• 「パスワードを忘れました」

AIテクノロジーは、これらの文（言い回しやスペリングミスも含めると、バリエーションは無数にあります）の背後にあるインテントがパスワードのリセットに関する支援だということを理解する必要があります。このような基本的なインテントであっても、正しく理解するためには複雑な自然言語処理（NLP）と分類手法が必要です。例えば、住宅ローンの申請を支援するシステムを構築しようとすれば、どれほど複雑になるか想像してみてください。

改善の余地は常にあり、その方法は何通りもあります。

Watson Assistantの最新版では、AutoMLが追加されました。これは、人が介在することなくデータ・セットに最適な組み合わせを見つけるために、AIがさまざまなアルゴリズムと機能、パラメーターの組み合わせを試行するというものです。

ただし、AutoMLはより多くのコンピューティング能力と時間を必要とします。そこで、私たちはインテント検出を劇的に高速化し、向上させるメタ学習手法を追加しました。これにより、人が苦労して調整していた機能やアルゴリズムの選択が、自動化されたデータ駆動型のプロセスに置き換わります。Watson Assistantは、メタ学習を用いてさまざまな機械学習アルゴリズムが各データ・セットでどのように機能するのかを観察し、新たなデータ・セットにアルゴリズムを適応させる方法を学習します。

また最後に、転移学習機能を強化しました。この機能により、システムは1つの領域またはタスク（例えば、クレジットカードを申し込むユーザーのリクエストを理解する）で学んだことを、類似の領域またはタスク（例えば、住宅ローンの申し込み）に転用することが可能となります。

ライバルAIよりも高い精度を達成

以上の取り組みにより、モデルの訓練に必要なデータがより少なくなる一方、精度はより高くなっています。

2020年11月、対話型AIソフトウェアを開発するJio Haptik Technologiesは、自社製品のパフォーマンスをGoogle、Microsoft、RASA、およびGoogleが後援するオープンソース・プロジェクトであるBERTの同様のソフトウェアと比較した技術文書を公開しました。Haptikによる比較対象にWatson Assistantは含まれていませんが、私たちは同社が一般公開しているのと同じデータ・セットとテスト設定を使ってWatson Assistantのパフォーマンスを評価し、その結果を比較してみました。それが前掲の表です。

ベンチマークの結果によると、Watson AssistantはGoogle Dialogflowよりも平均で5.6%精度が高く、Microsoft LUISよりも14.7%高い精度を発揮しました。

調査結果の全文は、IBMが最近発行した技術文書としてご覧いただけます。同文書には、私たちが行った改良やテスト方法の詳細も記しています。

インテント検出精度の向上が、より良いビジネス成果につながる

これらの機能強化により、Watson Assistantはコンテインメント率（人の介入なしにAIが顧客からの問い合わせを解決する頻度）とファースト・コンタクト解決率（AIまたは人が介入してシステムが初回の試行で問題を解決する頻度）を向上させることができます。

さらに、インテント認識により、価値実現までの時間を短縮することも可能となります。AIを搭載したカスタマー・サービス・システムの設定と構成、パフォーマンスの調整には従来、数カ月とは言わないまでも数週間は必要でした。しかし、この新機能により、Watson Assistantを本番稼働させるために必要な時間とデータが削減されます。

もっと詳しくお知りになりたいですか？ ぜひ、IBM Watson Assistantに搭載されている最新のNLP機能についてお読みください。(英語)

この投稿は2021年9月7日に米国 IBM Blogに掲載された記事 (英語) の抄訳です。