AIチャットボット導入の疑問を解決！導入後の運用課題と「学習データのメンテナンス」のコツとは？

AIチャットボットの導入に失敗してしまう理由のひとつは、「導入後」の運用が適切に実施されていないことです。なかでも、「AIの学習データのメンテナンス不足」は導入失敗につながる大きな要因です。当記事では木村情報技術の知見から、AIチャットボット運用における「学習メンテナンスのコツ」についてお伝えします。

AIチャットボット導入後の運用課題とは？

以前の記事『失敗するのはナゼ？失敗事例とAIチャットボット導入を成功に導くコツ』でもお伝えしましたが、AIチャットボットの用途は、社内の総務・経理関係に関する問合せの対応、社内ヘルプデスク、新商品情報の問合せ対応など、企業によってさまざまです。また、それらの導入目的も「問合せ業務の削減」「業務効率化」「情報資産化」とそれぞれ異なります。

しかし、AIチャットボットを導入したものの運用がうまくいかず、その活用をやめてしまうケースは少なくありません。こうした失敗の大きな要因は、導入後の運用が適切になされていないことです。では、AIチャットボットを導入した企業が抱える運用課題には、どういったものがあるのでしょうか？良く聞かれるのが次のようなものです。

QAを追加登録や修正する際に、何が適切かを判断しにくい
どういう質問を追加すればよいのか分からない
QAの精査の方法が分からない
OAメンテナンスがうまくいかない
フィードバックを残してもらえな
正答率が上がらない
利用率が低下している

どの課題も「学習データのメンテナンス」に関する内容となっており、これらを解決せずに放置すると、下記の図のように、AIチャットボットが使われなくなってしまう悪循環に陥ってしまいます。

しかし、「AIの学習データのメンテナンス」と一口に言っても、やるべきことはたくさんあります。次の項では、その具体的な内容について触れたいと思います。

AIチャットボット運用に欠かせない「学習データのメンテナンス」とは？

学習データのメンテナンスとは、「AIが幅広い質問に回答できるように、運用者（管理者）がAIに適切なQA（質問と回答）を教え、AIの学習を促すための作業」を指します。

「AIの「苦手なこと」と「得意なこと」」でお伝えした通り、AIは、人が教えたQAをもとに、AI自らが学習をして利用者の質問に回答します。

適切に精査された学習データが多いほど、AIは幅広い質問に的確な答えを用意できるようになるため、「AIが回答できる質問の多さ」や「回答の精度」は、人が学習メンテナンスを適切に実施しているか否かに深く関係しています。一般的に、学習データのメンテナンスは、質問の追加登録や回答の修正、FAQ（頻繁に尋ねられる質問とその回答を集めたもの）のデータベースの整理などが作業の中心となりますが、具体的には、次の内容が挙げられます。

学習データのメンテナンスに必要な作業

QAの追加登録

AIに登録されていないQAを、随時追加していく作業です。AIに新しい知識を継続的にインプットしていきます。

QAに「言い回し」を追加

答えは同じでも利用者の質問の仕方によって、AIが回答できる場合とそうでない場合があります。例えば以下のように、質問の言い回しは人によって異なります。

（例）

出張の申請方法は？
出張申請のやり方を教えてほしい

このような異なる言い回しの質問にもAIが回答できるように、複数の質問のパターンをAIに教えていくことを「QAの言い回しの追加」と言います。こうした作業は「QA育成」の一環であり、AIの回答精度向上の点でも欠かせません。

利用者ログの確認とQAデータの整理

利用者のログ（利用記録）を確認し、AIの回答状況、利用者からのフィードバックや評価をもとにデータの整理を行います。AIが回答できなかったものや、利用者からの評価が低い回答は、追加学習の対象となります。

追加学習

利用者からのフィードバックをもとにQAを修正する作業です。利用者のログ（利用記録）から回答率の低いQAや、利用者からの評価が低いQAを抽出。正しいQAに修正したり、利用者のフィードバックに基づいて適切なQAを追加したりします。

知っておきたい「学習データのメンテナンス」のコツ

QAメンテナンスのモデルフロー

しかし、学習データのメンテナンスの内容を理解していても、実際の運用場面ではどういった基準で学習データを精査すればよいのか分からないという人もいるのではないでしょうか？

以下は木村情報技術が推奨するQAモデルフローの一例です。
このモデルフローは、AIの「正答」「誤答」と「確信度（AIの自信を表す指標）」を参考として、QAメンテナンス対応の指標を示したものです。

しかし、上記のモデルフローに全てのケースが当てはまるわけではありません。

QAメンテナンスの進め方は複数の要因によって大きく変動するため、モデルフローから外れてしまう場合には、別の観点からログデータの分析を行い、メンテナンスを実行していく必要があります。 学習データのメンテナンスには正解がなく、自社の状況や目的によってやり方が異なるという点を覚えておきましょう。

AIチャットボットのメンテナンスを円滑に進める6つのポイント

ここまで学習データのメンテナンスにおける細かなコツをお伝えしてきましたが、ここからはメンテナンスを円滑に進める方法をお伝えしたいと思います。メンテナンス業務をスムーズに進めるポイントは6点あります。

（1）学習データのメンテナンスがしやすい管理画面のシステムを選ぶ

まず、学習データのメンテナンスがしやすいように、管理画面が分かりやすく、操作しやすいシステムを選ぶことがポイントです。できれば、トライアル版で管理画面の特徴や操作性を確認しましょう。]

（2）利用者にフィードバックや評価の協力を依頼する

利用者のフィードバックや評価は、学習データのメンテナンスに欠かすことのできない要素です。なるべく多くの利用者にAIチャットボットの利用とフィードバックをお願いしましょう。その際、AIチャットボットの特性（フィードバックがもとになって回答精度が向上する等）ということも丁寧に説明しておくと、より協力が得やすくなります。