記事をシェアする:

チャットボットのトピックの理解を向上させるのは困難でしたが、簡単な方法があります！

写真出典: Vek Labs (Unsplash)

 

仮想アシスタントやチャットボットの提供を開始することは、わくわくすると同時に骨の折れる作業です。インテントの構築、ダイアログの作成、アシスタントの人格決定などを完了して、顧客のニーズを、顧客が使い慣れた方法で満たすという目標に向けて大きく前進したと思っても、起動した後にはすぐに、「次にどうするか」という質問が浮かび上がります。お客様を十分に満足させることができているかどうかは、どのようにして知ることができるでしょうか。顧客の変化し続けるニーズに遅れずに進化することができているでしょうか。両方とも、ごく当たり前な (かつ正しい) 質問です。

おそらく、アシスタントについて改良が必要な部分がすぐにいくつか見つかるでしょう。しかし、どの問題を一番に優先すべきかを、どうすればわかるでしょうか。まずは、起こり得る問題のタイプを分類することから始めましょう。最初に以下の質問について考える必要があります。

「品質の問題であるか、カバレッジの問題であるか」

・・・

品質とは、アシスタントの応答の品質のことです。アシスタントが質問に対して適切な情報を返すようにする必要があります。品質の問題の例としては、以下のようなものが挙げられます。

「外はどのような様子ですか？」という質問に対し、アシスタントから「青空です！」という答えが返ってくる。

「未払い残高はいくらですか？」という質問に対し、アシスタントが「ゴールド・カードの実質年利は 22% です」という答えが返ってくる。

上記の問題の原因は、アシスタントがユーザーの発言を理解していないことにあります。これは、品質の問題が発生する主な原因の 1 つです (そして今回の投稿ではこのことに焦点を当てていきます)。品質を低下させる原因はこの他にも、以下のようなものがあります。

• 複数のインテントが競合している。
• ダイアログ/応答フローが正しくない。
• 応答の言い回しが適切でない。

これらについては、今後の投稿で取り上げます。

・・・

カバレッジとは、アシスタントが「カバー」する (処理する) ようトレーニングされたメッセージのことです。アシスタントを使いやすいものにするためには、当然、アシスタントが大部分の質問をカバーできるようにする必要があります。カバレッジの問題の例としては、以下のようなものが挙げられます。

「外はどのような様子ですか？」という質問に対し、アシスタントから「言い換えてください」という答えが返ってくる。

「未払い残高はいくらですか？」という質問に対し、アシスタントが「すみません。残高に関する質問を処理するようトレーニングされていません」という答えが返ってくる。

・・・

ユーザーにとって、誤解や品質の問題は、カバレッジの問題よりもはるかに不満を感じるものであることがわかっています。この理由から、一般的に、カバレッジの拡大に注力する前に、品質に重点を置くことを推奨しています。

また、品質とカバレッジのベンチマークは、多くの場合に個々のアシスタントのセットアップやビジネスの目標に特有なものです。カバレッジの問題であるか、品質の問題であるかがはっきりとわからない場合には、ベスト・プラクティス・ガイドを確認することをお勧めします。極めて優れた仮想アシスタントの改良プロセスを構築するのに役立つ、素晴らしいガイドラインを提供しています。

・・・

1 回であらゆるものに正しく応答できるアシスタントを作成することはできません。少なくとも、初回の起動では不可能です。最初にトレーニングするインテントは、おそらくユーザーが求めているものとは完全に合致しないというのが現実です。しかし、それでも問題ありません。

このような理由から、アシスタントには以下が必要です。

• 可能な限り迅速に起動できること (そうすることで早期に問題に気付くことができます)
• ユーザーの曖昧な要求を明確化する方法
• 問題が起きた場合の修正戦略
• アシスタントが回答できない場合のフォールバック戦略
• 自動で学習する能力

(Watson Assistant には、これらすべてが備わっています)

・・・

品質の向上

品質が問題である場合、顧客が求めている答えにたどり着くために、時間や労力がかかりすぎている可能性があります。先に挙げた例を思い出してください。

「外はどのような様子ですか？」という質問に対し、アシスタントから「青空です」という答えが返ってくる。

「未払い残高はいくらですか？」という質問に対し、アシスタントが「ゴールド・カードの実質年利は 22% です」という答えが返ってくる。

この場合、アシスタントが質問に対して返す答えは理想的とは言えません。Watson Assistant をご利用いただいているお客様は、顧客にステートメントの言い換えを要求したり、「青空です」などという求められていない応答を返したりするのではなく、明確化機能と、新しい自動学習機能を組み合わせて使用できます。

明確化は、複数のダイアログ・ノードが顧客の入力に応答できる時に、顧客に明確化を求めます。処理するノードを推測するのではなく、アシスタントによって、トップ・オプションのリストがユーザーに提示され、適切なものを選択するようユーザーに求められます。この例では、「青空です」と答えるのではなく、アシスタントによって以下のリストが提示され、ユーザーはその中から選択できます。

• 空の色
• 気温
• 降水確率
• 湿度
• 風向・風速

この場合、レインジャケットを着る必要があるかどうかを知りたいとしましょう。リストから降水確率を選択するだけで、アシスタントから適切なダイアログの応答が返ってきます。

自動学習は、明確化と連携して動作し、顧客との対話をさらに最適化します。自動学習によって顧客の行動を監視して学習を重ねるにつれて、質問に対する最も正確な応答を提供できるようになります。先ほどの例を使って説明すると、100 人の顧客が「外の様子はどうですか？」と質問し、90 人が「降水確率」ノードを選択した場合、自動学習はそのフローを最適化します。ご安心ください。自動学習が勝手に新しい応答を作成することはありません。そうではなく、ランクを付け直し、最終的に応答を明確化する必要性をなくすのです。

この機能を使用するためには、まず明確化を有効にします。

次に、実動アシスタントを監視のソースとして選択します。

最後に、自動学習を有効にします。

後は何もしなくても、アシスタントが自動的に自己改良していきます。自動学習の影響を追跡するには、ノートブックを使用できます。このページへのリンクは構成ページにあります (上図参照)。補足: 現在、製品内で直接追跡できる、組み込みのメトリックの構築に精力的に取り組んでいます。

・・・

カバレッジの改善

カバレッジが問題であると判断した場合には、おそらく、新規インテントを作成するか、または既存のインテントに対するトレーニングを改善するかのいずれかが必要になります。私のような人間には、気が遠くなるような仕事です。どうすればお客様が聞くかもしれない質問すべてを知り、どれが最初に着手すべき最も重要な質問なのかを判断できるというのでしょうか？Watson Assistant では、インテント推奨ツールを活用してこのような問題を容易に解決できます。このツールは、ユーザーからのよくある質問をクラスター化し、作成すべき新規インテントや、既存のインテントに追加すべき例の詳細なリストを提供します。

インテント推奨の実際の操作

まず、使用したいデータ・ソースを選択します。

データ・ソースには、現行のアシスタントのログまたはライブ・エージェントの会話の書き起こしデータを含めることができます。どちらも、ユーザーからこれまでに出ている質問を迅速に特定できます。CSV をアップロードする場合には、正しい形式であることを確認してください。

次に、Watson によってこれらのソースからの発話が自動的にグループ化され、推奨インテント、これらのインテントが発生する頻度、およびこれらインテントと関連する発話の例のリストが作成されます。

推奨インテントの中から作成したいものと、インテントのトレーニングに使用したいステートメントの例を選択するだけです。あとは「新規インテントの作成 (Create new intent)」をクリックします。このようにとても簡単です。

最後に、既存のインテントに類似する推奨が見つかった場合には、「既存のインテントに追加 (Add to existing intent)」をクリックしてそれらの推奨を新しいユーザー例として追加できます。

・・・

インテント推奨と自動学習の両方が、Watson Assistant のプラスおよびプレミアム・プランで提供されるようになりました。どちらもインテントの改善にかかる手間を大幅に削減してくれます。

このチャットボット改良シリーズの続編も近日公開予定ですので、ぜひご覧ください。

・・・

仮想アシスタントは初めてですか？Watson Assistant を使用して今すぐ構築を始めてみてください。