RAGで実現！生成AIと社内データが連携し質問に回答

※この記事は、2024年4月開催の当社オンラインセミナーの内容を元に再構成したものです。

人工知能（AI）や生成AIの開発を手掛ける木村情報技術では、生成AIに関するさまざまなお客様の支援を行っていますが、多くの企業が「社内に存在する膨大なデータを活用して、生成AIに質問に答えさせるにはどうすれば良いか？」という課題に直面しています。
しかし現実的には、自社専用のLLM（Large language Models／大規模言語モデル）の構築や、社内の情報やデータを直接生成AIに学習させることは困難です。

そこでこの記事では、そうした課題解決に向け注目されている「RAG（Retrieval Augmented Generation）」について、その仕組みと具体例をご紹介します。

1.RAGの概要と仕組み

RAGは日本語で「検索拡張生成」とも呼ばれ、その仕組みを一言で言うと「カンニングさせる」ことです。

RAGの概要

例えば「東京スカイツリーの高さは何メートルですか？」と質問したいとします。
この場合、データベース（DB）にあらかじめ「東京スカイツリーの高さは634メートルです」という情報を入れておくと、さきほどの図の流れで回答が得られます。

質問する。
質問に関する情報が知識ベース（DB）から取得される。
取得した情報を挿入した質問が、生成AIに投げかけられる。
（この場合「東京スカイツリーの高さは634メートルですが、東京スカイツリーの高さは何メートルですか？」となります。答えを挿入した質問が投げかけられており、いわゆるカンニング状態です。）
生成AIが回答する

社内の様々なマニュアルや規程集といった情報・文書ファイルを取り込むと、それをGPTが使いやすい形に整えます。こうすることで、質問すると検索が実行され、ピックアップされた情報がLLMに渡され、最終的な回答が生成されます。

2.RAGを使った社内データ検索の実例

当社で活用しているRAGを用いて、社内データを検索した実例をご紹介します。下図のように、システムの枠内にPowerPointやWord、PDFなどのファイルを直接ドラッグ＆ドロップするだけで、簡単にデータが取り込めます。

データをアップロードすると、内部では生成AIが自動的にデータベースを作成します。当社が取り組んでいるデータの構造化のポイントは、「FAQ形式にすること」です。
FAQ形式は構造化の1つの方法であり、これだけが唯一の方法ではありません。
しかし、さまざまな検証結果と、これまでAIチャットボットの研究・開発を行ってきた経験から、回答精度の向上と安定した品質の実現のためには、現時点ではこの方法が最適と判断しました。

（1）社内の情報について質問してみる

それでは実際に、事前に当社の社内規程を取り込んだ生成AIに質問してみます。
例えば「パートの有休日数を知りたい」と質問すると、生成AIは回答とその根拠となる資料を提示してくれます。加えて、どの資料の何ページにその情報が書かれているかまで教えてくれて、ビューワーには該当箇所が黄色でハイライト表示されます。

（2）RAGの便利さと課題

このようにRAGは非常に便利ですが、生成AIそのものが抱える課題には注意が必要です。特にハルシネーションと呼ばれる、生成AIが誤った回答をする現象には気を付ける必要があります。

例えば下図のように「半休の取り方は？」と質問した場合、「午後休は午後1時から午後6時までです」と回答がかえってきていますが、最初は「午後1時から午後5時までです」とかえってきていました。
これは、LLMが持っている情報では終業時間が午後5時までの会社が多かったため、誤った回答が出力されたものです。データ自体がFAQ形式で構造化されていても、その情報が誤っている場合があります。