自動化RAGによるLLMハルシネーションの解消へ
英語によるオリジナルはこちらでご覧いただけます。
AIは、ビジネスのあり方を急速に変えつつあり、かつては未来的だったものが日常的な現実になりつつあります。しかし、AIはまだ初期段階であり、AIにはまだいくつかの重要な限界があり、組織はAIが安全かつ生産的に活用されるよう、その点を認識しておく必要があります。
今日、大規模言語モデル（LLM）を悩ませている最も一般的な課題の1つは、「ハルシネーション（幻覚）」、つまりLLMが自信を持って不正確な回答を返す傾向です。これは、多くのLLMが静的なデータセットで訓練されていることに起因します。つまり、LLMが事前訓練済みのデータセットの範囲外の情報に関するプロンプトを受け取った場合、正確な応答を行うために必要な関連文脈が得られないということです。
このような状況では、LLMは文脈的に関連する情報に基づかない「最善の推測」を提供することが多く、これが「ハルシネーション（幻覚）」と呼ばれる現象につながります。
Retrieval-Augmented Generation (RAG) によるハルシネーション対応
LLMによる幻覚を軽減するために、多くの組織が採用している一般的なアプローチが、検索強化型生成（RAG）です。これは、エンドユーザーにより正確な応答を行うために必要なドメイン固有のデータにLLMが直接アクセスできるようにする技術です。
RAGがどのように幻覚に役立つかをより理解するために、現実世界の類似例を挙げてみましょう。化学を専攻する大学生がいるとします。この学生は化学という科目に情熱を傾け、学期中ずっと教科書を最初から最後まで勉強しています。このシナリオでは、学生がLLMであり、化学のコース内容を暗記するプロセスは、特定のデータセットでLLMを一定期間トレーニングすることと同等です。
この学生（LLM）が化学の授業で優秀な成績を収め、テストで毎回素晴らしい成績を収めるのは、1年を通して当然のことです。しかし、問題があります。学生は化学の勉強にすべての時間を費やしたため、他の科目の勉強をまったく怠っていました。
その結果、この学生が歴史や微積分の授業で当てられた（質問された）場合、何か答えなければならなかったため、不正確な答えを口走るという悪い評判がすぐに広まりました。AIの世界では、このような当てずっぽうの回答は、LLMでは幻覚と呼ばれるものです。自信を持って回答しますが、関連する文脈に基づかないため、最終的には不正解となります。
ここで、RAGを考えてみましょう。
期末試験の週になり、学生が驚いたことに、教授陣はすべての期末試験で参考資料の持ち込みを許可すると発表しました。つまり、学生が事前に勉強していなかったトピックについても、試験中に教科書を自由に参照して必要な答えを得ることができるようになります。これは、LLMがRAGプロセスを通じて専門分野のデータを取得する際にできることと同じです。
この例えで言えば、RAGはLLMのアウトプットを最大限に高めるのに役立ちます。LLMは、これまでよく知らなかったトピックについては推測で解答していた成績の悪い学生から、必要なときに適切な資料を参照して最終試験を満点でクリアできる優秀な学生へと変貌を遂げます。
AIの実験段階を終え、実用可能なAIシステムに移行する方法についてもっと詳しく知りたいですか？ 最新ウェビナーで、最先端のAIインフラストラクチャで真のAI価値を創出する方法をご覧ください。
業界を跨いだRAGのユースケース
2025 MIT Technology Review Insights Report によると、調査対象の3社中2社は、AIシステムを強化するために、すでに検索強化型生成（RAG）を使用しているか、またはその導入を検討しています。このアプローチは、正確な情報が不可欠な業界において、ミッションクリティカルになりつつあります。
医療分野では、RAGにより最新の臨床ガイドラインや患者記録を迅速に検索することが可能となり、最新の患者情報に基づいて治療方針を決定する必要がある場合には特に重要となります。法律分野では、RAGにより弁護士が相談の最中にクライアントの案件の判例やコンプライアンス文書を即座に検索することが可能となります。 そして最後に、刻々と変化する市場が存在する金融分野では、RAGは時代遅れのデータではなく最新データに基づくより優れた財務洞察力を提供するモデルを構築することができます。
これらの各ケースにおいて、LLMを現実世界における特定の分野の文脈に根付かせる能力こそが、LLMを真に有用で信頼性の高いものに変えるのです。
RAGの一般的な価値を理解したところで、さらに深く掘り下げて、その仕組みを詳しく見ていきましょう。
RAGの仕組み：データの準備
RAGは基本的に2つの主要なフェーズから構成されています。1）データ準備、2）検索と生成。
データ準備フェーズはRAGの基盤となります。このフェーズでは、PDF、ウェブサイト、電子メール、社内文書などの非構造化データをロードし、処理することで、後で効率的に検索できるようにします。このプロセスは、さまざまなソースからコンテンツを取り込むドキュメントローダーから始まります。非構造化データはあらかじめ定義されたフォーマットに従っていないため、まずチャンキングと呼ばれるプロセスで分解する必要があります。チャンキングでは、ドキュメントをより小さく管理しやすいサイズに分割し、検索やモデルへの受け渡しを容易にします。
次に、各チャンクはベクトル埋め込みに変換されます。ベクトル埋め込みは、意味論的な意味を数値で表現したものです。この埋め込みにより、システムは意味検索を実行できるようになります。つまり、キーワードだけでなく、その背後にある意図や意味に基づいてコンテンツを見つけることができるのです。埋め込みはベクトルデータベースに保存され、高速で類似性に基づく検索が可能になるため、システムはユーザーの質問に最も意味が近い情報をすばやく見つけることができます。
このプロセスを視覚的に説明するために、膨大なライブラリを初めて構築すると仮定してみましょう。本棚に本をただ放り込んで終わり、というわけにはいきません。本を整理する必要があります。まず、書籍を章や節ごとに分類する必要があります。これが私たちがチャンキングと呼んでいるものです。次に、埋め込み機能を使用して、各セクションに詳細な要約をラベル付けします。最後に、これらの要約をすべて検索可能なカタログ（ベクトルDB）に記録します。
RAGの仕組み：データの取得と生成
データが準備され、インデックスが作成されると、RAGは第2段階に入ります。検索と生成（リアルタイムでのデータの照会）です。ユーザーがクエリを送信すると、システムはデータ準備段階で使用されたのと同じモデルを使用して、そのクエリを埋め込みに変換します。次に、ベクトルデータベースに対して意味的な類似性検索を行い、クエリに一致する最も関連性の高いコンテンツの断片を見つけます。
関連するチャンクが取得されると、それらはカスタムプロンプトに組み込まれます。このプロンプトには、ユーザーの質問とベクトルDBからの文脈情報が含まれます。このプロンプトはLLMに渡され、LLMは取得した知識と事前に訓練された能力の両方を使用して、文脈的に正確な最終的な応答を生成します。
この段階で、先に述べたオープンブック試験の例えが当てはまります。記憶を頼りに推測するのではなく、RAGパイプラインと組み合わせたLLMは、必要な情報をリアルタイムで検索する能力を備えるため、AIの出力の精度が劇的に向上し、誤認が大幅に減少します。
以下にRAGの2つの段階を明確に示しています。
RAG導入における課題
従来のRAG、agentic RAG、またはその他のバリエーションを使用しているかどうかに関わらず、RAGを実装するには共通の課題があります。これまで説明してきたように、RAGプロセスには2つのコアフェーズがあります。非構造化データの取り込みと埋め込みを行うデータ準備と、ベクトルデータベースにクエリを発行して関連データを取得し、プロンプトに関連付けることです。この2番目のステップ（クエリ時にコンテキストを取得して追加する）が、チーム間の摩擦を生む原因となることがよくあります。
通常、開発者はベクターDBにクエリを発行し、関連データを取得し、LLMに渡すためのロジックを手動で構築する必要があります。この作業は時間がかかり、エラーが発生しやすく、標準化が難しいものです。これは手動プロセスであり、Kong AI Gatewayは現在、このプロセスを自動化できるようになっています。
Kong AI GatewayでRAGの導入を効率化する
Kong AI Gatewayは、RAG実装プロセスの負担を軽減します。受信したプロンプトの埋め込みを自動的に生成し、関連するすべてのデータを取得してリクエストに追加することで、Kongは開発者がRAGの実装ごとにこの関連付けを構築する必要性を排除します。
さらに、Kong によりRAG をプラットフォーム機能として運用することが可能になります。これにより、RAG の実装に関する責任の多くを個々の開発者から移行し、プラットフォームのオーナーが RAG に対してグローバルなガードレールを適用できるようになります。これにより、時間の節約とエラーのリスク低減が実現するだけでなく、一貫した変更や更新を長期間にわたって展開することが格段に容易になります。ガバナンスの観点では、プラットフォームのオーナーがデータの取得と使用を完全に制御できるようになり、より優れた監視と標準化が実現します。
最後に、セキュリティに関して、Kong AI Gatewayはベクターデータベースへのアクセスを制限し、開発チームやAIエージェントに公開する必要性を排除します。これにより、高品質なRAGを組織に導入するための、より安全でシンプルかつ拡張性の高い方法が提供されます。
自動化されたRAGを導入し、LLMの幻覚を減らし、より質の高い回答を確保する。
結局のところ、Kong AI Gatewayの自動RAGは、LLMの幻覚をより効果的に減らし、エンドユーザーに高品質なAI応答を提供するという能力を組織に提供します。
Kong AI RAG Injectorの詳細については、こちらをご覧ください。
今すぐKong AI Gateway 3.10を始めるには？
AIで勝利を収めるには、スピードだけでなく、如何に統率を取るかが重要となります。AI戦略を今日から運用化する方法について、当社のチームまでお問い合わせください。