業務システムへAIエージェントを組み込む構成では、不適切な回答や処理の遅延が起きた際に「プロンプトやモデルに起因するのか」「社内文書の検索処理に問題があるのか」「連携している既存APIやデータベースの不調なのか」を切り分ける難しさが生じます。こうしたなか、AWSは2026年9月23日付でAmazon CloudWatch Omniの一般提供開始を発表しました。
発表時点での一般提供地域は、米国東部（バージニア北部）、米国西部（オレゴン）、欧州（アイルランド）の3リージョンです。利用開始手順としては、CloudWatchコンソール上でOmni spaceを作成し、シングルサインオン（SSO）を設定したうえで、独立したWebインターフェースからサインインする形式が案内されています。また、開発者が手元で計測やデバッグを行えるよう、VS Code、Cursor、Kiro向けの拡張機能も無償提供されています。現時点で東京リージョンなど他の地域への展開予定は資料に明記されていませんが、AWS環境を中心としたAIワークロードの観測基盤として注目される発表です。
評価スコアと実行トレース、下流インフラを一体で扱う仕組み
公式製品資料であるCloudWatch Omniの製品説明で、AWSは従来のシステム監視とAIの品質管理が別々のツールに分断されてきた課題を挙げ、AIエージェントの品質スコアをトレースやメトリクスと並ぶ第一級の観測シグナルとして同列に扱う構成を示しています。
計測面では、OTLP経由での計測に加えて、既存のCloudWatchテレメトリーを再設定なしで持ち込む形態が用意されています。評価手法としては、本番トラフィックに対して継続的に品質を測るオンライン評価と、例外的なケースを含む版管理されたデータセットを用いて検証するオフライン評価の双方がサポートされています。評価器にはAmazon Bedrock AgentCoreの組み込み評価器のほか、利用者が独自の評価器を持ち込むことも可能です。
この構成の大きな特徴は、回答の正確性や根拠の有無といった評価スコアの低下を起点に、エージェントの推論ステップ、文書検索の呼び出し、接続先API、さらには下流の計算基盤へと実行経路をたどれる点にあります。これによって、AI固有の推論不全と、接続先システムの障害や遅延を単一の経路情報の上で照合しやすくなります。
自社業務への適用と設計上の検討点
例えば、国内企業の社内問い合わせAIが社内規程文書を検索し、基幹システムの申請状況APIを参照して回答を組み立てる構成を仮定してみます。回答に誤りが生じた際、規程の該当箇所を取得できなかったのか、申請状況APIの戻り値が想定外だったのか、あるいはモデルが数値を読み違えたのかを切り分ける必要があります。
CloudWatch Omniのような仕組みを業務システムへ取り入れる場合、製品を有効化するだけで自社の障害原因が自動的に判明するわけではありません。どのような情報を計測し、どの基準で良し悪しを判定するかという設計が前提となります。
具体的には、まずAIが呼び出す検索処理や既存APIの入出力を既存のログでどこまで追跡できるかを整理します。次に、業務として「正しい回答」と判断するための評価基準を定め、運用中に見つかった不具合ケースをオフライン評価用のテストセットへ蓄積する体制を検討します。また、プロンプトやAPIパラメータに社内の機密情報や個人情報が含まれる場合、ログへの記録時にどこをマスキングし、どのようなアクセス権限で保持するかといったデータ管理方針をあらかじめ決めておく必要があります。
業務整理から接続・運用設計を進める
AIエージェントを既存の社内システムと接続して安定運用するためには、AIモデルの選定だけでなく、既存APIの改修範囲の明確化や、トラブル発生時に追跡できる監視設計が欠かせません。
Webシステム開発やAI活用支援を手がけるデノフのサービス案内では、業務の整理からAIを活用する業務の選定、ツール選定、導入後の定着支援に加え、業務システムの設計・開発・運用保守や原因特定が難しい障害の調査までを一貫して提供しています。
「自社の業務APIとAIをどうつなぎ、どこまでログや品質を記録すべきか」「回答精度の低下やシステム連携の不調を追える体制を整えたい」といった設計段階の課題がある場合は、要件が固まりきる前の段階からデノフへの相談窓口で具体的な進め方を相談できます。
