Kong AI Gateway 3.10によるAIガバナンス強化
英語によるオリジナルはこちらでご覧いただけます。
Kong AI Gateway 3.10: 自動化RAGと個人情報保護プラグインによるAIガバナンス強化
本日、私たちは「Kong AI Gateway 3.10」を発表できることを嬉しく思います！
このリリースでは、AIガバナンスの強化、LLMハルシネーションの低減、AIを使用する際の開発者の生産性向上を実現する新機能が導入されています。 続きをお読みください。
自動化RAGによるハルシネーション対応
Kong AI Gateway 3.10には、RAG（Retrieval-Augmented Generation）プロセスの一部を自動化し、LLMの誤答を減らし、AIが提供する回答の精度を向上させる新しいAI RAG Injectorプラグインが搭載されています。このアップデートの価値をより深く理解するためには、まずLLMの誤答とは何か、なぜ発生するのか、そしてRAGが現在どのようにしてこの問題の解決に役立っているのかを理解する必要があります
ここでいう誤答（ハルシネーション）とは、LLMが自信を持って不正確な回答を行うことを指します。 関連性の高い回答を行うためにドメイン固有のデータが必要とされる場合、LLMが静的で事前学習済みのデータに制限されているために、このような状況がしばしば発生します。 これに対処するために、多くの組織が幻覚を減らすためにRAGに注目しています。RAGは、検証済みのデータソースへの直接アクセスをLLMに提供し、LLMがより正確な応答を行うために必要な関連情報を取得できるようにします。
RAGは効果的な手法ですが、従来のRAGの実装プロセスは、開発者にとってかなり手作業が多く、時間のかかるものでした。データの前処理、埋め込みの生成、ベクトルデータベースへのクエリ発行を行い、各AIモデルとデータを関連付ける必要がありました
3.10では、Kong AI Gatewayがこのプロセスを合理化し、受信したプロンプトに対して埋め込みを自動的に生成し、関連するすべてのデータを取得し、それをリクエストに追加することで、開発者がこの関連付けを構築する必要性を排除します。
自動化されたRAGを導入し、LLMの幻覚を減らし、より質の高い回答を確保する。
今回のアップデートにより、RAGをプラットフォーム機能として運用することが可能になりました。これにより、RAGの実装責任の多くを個々の開発者から移行し、プラットフォームの所有者がRAGのグローバルなガードレールを強制的に適用できるようになります
最終的には、Kong AI Gatewayの自動化されたRAGによって、LLMの幻覚をより効果的に減らし、エンドユーザーに対してより高品質なAI応答を提供できるようになります。
RAGの詳細と仕組みについては、こちらをご覧ください。
PII Sanitizationによる機微情報の自動保護
LLMやAIエージェントを使用したプロジェクトを安全に展開するには、PII（個人識別情報）のサニタイズが不可欠です。これにより、組織全体でのAIコンプライアンスを確保し、AIを使用する際のPIIリスクを排除することができます。現在、多くの開発チームは、正規表現ベースの削除ライブラリフィルタのようなその場しのぎのソリューションや、単純なハードコーディングフィルタを使用してPIIリスクの管理を試みているかもしれませんが、これらのアプローチは信頼性が低く、ヒューマンエラーが発生しやすい傾向があります。そのため、AIの利用が拡大するにつれて、一貫したセキュリティとコンプライアンスを確保することが難しくなります。
Kong AI Gatewayは、3.10でこの問題の解決に役立ちます。PIIのサニタイズをすぐに使える状態でサポートすることで、12の異なる言語とほとんどの主要なAIプロバイダーにわたって、個人データ、パスワード、および20以上のPIIカテゴリーを簡単にサニタイズし、保護する機能を提供します。この機能は、完全に自己ホストでき、Kong AI Gatewayデータプレーンの隣にデプロイ可能なプライベートDockerコンテナを介して提供されます。これにより、パフォーマンスに優れ、水平方向にも拡張可能なセキュアなソリューションを実現できます。
他のサニタイズ製品では、PII データをトークンに置き換えたり、完全に削除したりすることに限定される場合がありますが、Kong AI Gateway では、エンドユーザーに到達する前に、サニタイズされた元のデータをレスポンスに再挿入するオプションが提供されています（プラットフォームオーナーが定義した構成設定に基づく）。これにより、サニタイズ処理によってエンドユーザーの体験が損なわれることがなく、また、LLM が機密データを取得しないことが保証されます。
最後に、今回のアップデートにより、プラットフォームチームはグローバルプラットフォームレベルでサニタイズを強制的に適用できるようになり、開発者が構築するすべてのアプリケーションにサニタイズをコード化する作業を手動で行う必要がなくなります。これにより、開発者はアプリケーションの主要機能に集中できるようになります。また、このアプローチにより、プラットフォームオーナーはサニタイズポリシーを一元的に設定および管理できるようになり、サニタイズが常に一貫して適用されるようになります。
12の異なる言語と主要なAIプロバイダーのほとんどで、PIIを無害化し、保護する。
PII Sanitizationについてさらに詳しく知りたい方、またそれがビジネスにどのような影響をもたらすかについて知りたい方は、こちらの続きをお読みください。
ネイティブSDKのサポートで、モデル利用が簡素化
Kong AI Gatewayを使用すると、OpenAI形式に基づくユニバーサルAPIでAIモデルを利用でき、Kongが実行時レイヤーで変換して、すべての一般的なAIプロバイダーでシームレスに動作します。これにより、複数のモデルを使用するチームの開発者の生産性が向上し、作業に最適なモデルを効率的に切り替えることができます。3.10では、ネイティブSDKサポートによるAIモデルの追加利用方法が導入されました。
これは、AWSやGoogleなどの人気プロバイダーのSDKを使用してアプリケーションを構築済みの顧客にとっては、コードを書き直したり、現在のワークフローを中断したりすることなく、既存のクライアントライブラリをそのまま使用できることを意味します。この下位互換性により、Kongへの移行が簡素化され、組織全体でAIの使用を一元的に管理するより迅速なパスが提供されるはずです。また、Kong AI Gatewayは、LangChain、LLamaIndex、AutoGenなどの既存の開発者フレームワークとも互換性があります。
トークン利用量やコストによるロードバランス
ai-proxy-advanced プラグインに、コストベースのロードバランシングの機能を導入しました。この機能により、Kong AI Gateway はトークンの使用状況とコストに基づいて、異なるモデルにリクエストをインテリジェントにルーティングできるようになります。これにより、過剰なコストをかけずに、そのタスクに最適なモデルを使用できるようになります。これは、セマンティックルーティング、最も低いレイテンシ、最も低い使用率、重み付けロードバランシングなど、Kong が標準でサポートする他の多くのロードバランシングアルゴリズムに加えて提供されるものです。
トークンが少ない単純なクエリは、よりコスト効率の高いモデルにルーティングし、より複雑なプロンプトはより高度なモデルにルーティングすることができます。これにより、特に複数のユースケースにわたって複数のモデルを使用するチームにとっては、顧客がAIの作業負荷とコストをより効率的に管理できるようになります。
pgvectorによる利用シーンの拡大
Kong AI GatewayがサポートするベクトルDBにpgvectorを追加しました。これにより、Semantic Routing、Semantic Cache、AI Prompt Guardなど、Kongのすべてのセマンティックプラグインが、RedisだけでなくPostgresにも埋め込みを保存できるようになりました。
pgvectorはPostgresの拡張機能であるため、AWS RDS、Azure Cosmos DBなどのクラウドホストオプションと併用することができます。今回のアップデートにより、お客様にはより柔軟性がもたらされ、既存のクラウドネイティブなワークフローにセマンティックAI機能を導入しやすくなります。
今後、新しいリリースが発表されるごとに、Kongはさらに多くのベクトルデータベースのサポートを追加していく予定です。
今すぐKong AI Gateway 3.10を始めるには？
これらのアップデートや、プロンプトガードプラグインの強化、新しい埋め込みモデルのサポートなど、その他多くの機能が本日より一般公開されます。アップデートと修正の全リストについては、変更履歴（こちら）をご覧ください
この Kong AI Gateway 3.10 の新リリースについて詳しく知りたい方は、公式製品ページをご覧ください。
AI の実験段階を終え、実稼働可能な AI システムに移行する方法について、さらに詳しく知りたい方は、近日開催予定のウェビナーをチェックしてください。最先端の AI インフラストラクチャで真の AI 価値を引き出す方法について