再設計されたトレース画面とMLflow 3.16の変更点

AWSは2026年10月27日、Amazon SageMaker AI MLflow AppsがMLflow 3.16に対応したことを発表しました。今回の更新では、生成AIアプリやエージェントのデバッグ・分析を支援するトレース確認画面のTrace Explorerが刷新され、標準の表示画面として提供されます。詳細はSageMaker MLflow Apps now support MLflow 3.16 - AWSで公表されています。

新しい画面では、行の高さの変更や列の並べ替えに加え、トレースに付与された任意のタグやメタデータ項目を独自の列として一覧に配置できるようになりました。新規に作成するMLflow Appsは既定でバージョン3.16が適用されます。すでに稼働している既存のAppsについても、今後のメンテナンス枠で自動的に更新される予定となっており、利用者の手動操作は不要と案内されています。ただし、既存環境の具体的な更新日時や、利用中の外部連携との詳細な互換性については個別環境での確認が必要です。

処理内容を追跡するトレースとAPI操作を記録するCloudTrailの違い

各工程の入力・出力・メタデータを追跡するMLflowと、本文を含まずAPI操作経路を記録するAWS CloudTrailの役割の違いを上下に分けて整理した概念図

生成AIを組み込んだ業務システムで「不適切な回答が出た」という問題が発生した際、どのログから原因を追究すべきかは設計上の重要な論点になります。Accelerate generative AI development using managed MLflow on Amazon SageMaker AIによると、フルマネージドMLflowのトレース機能は、生成AIアプリの各工程における入力・出力・メタデータを記録し、不具合の発生箇所を特定するために活用されます。モデルやアプリの版を記録しておくことで、AIの応答を元のコードやデータ、パラメータに結び付けて追跡できる仕組みです。

一方で、システムの運用監視で広く使われるAWS CloudTrailの記録とは役割が異なります。MLflow Appsにおけるデータプレーンの操作はCloudTrailのデータイベントとして扱われますが、管理イベントとは異なり既定では記録されません。記録を有効にするには、対象リソースに一致する高度なイベントセレクタの設定が必要です。さらに、記録された場合でも、識別されるのはリクエストパラメータに含まれるリソースパス（resourcePath）やHTTPメソッド（httpMethod）といったAPIの操作経路であり、リクエスト本文やレスポンス内容は含まれません。そのため、CloudTrailの監査ログだけではAIが実際に生成した回答内容や参照文章の妥当性までは確認できず、既存の処理履歴で必要な情報が不足している場合に、アプリ側の工程を記録するトレースの設計や追加を検討することになります。

業務の識別情報と参照データの版を結び付ける考え方

トレース画面で独自列を表示できるようになっても、アプリ側で業務に関連するメタデータを付与していなければ、比較の手掛かりにはなりません。例えば、社内規程を参照して回答案を作成する業務AIのケースを考えます。この処理では、資料を検索・取得する工程と回答を生成する工程それぞれに、問い合わせの業務分類、参照した社内資料の改定版番号、アプリ自体のバージョン情報をメタデータとして記録する設計をとります。

このような情報を残しておけば、確認担当者が不適切と判断した回答と適切だった回答を並べて比較しやすくなるためです。参照資料の版が古かったのか、それとも資料取得後の生成指示やパラメータに起因するのかを切り分ける手掛かりになります。ただし、こうした業務固有の項目が自動的に収集されるかや、個別実装が必要になるかは、利用中のSDKやフレームワークの仕様、既存の記録機能によって異なります。どの処理段階でどの識別子をタグやメタデータとして記録できるかを確認したうえで、改修範囲の決定が必要です。また、検証環境で事前にテストを行い、不要な個人情報や機密性の高い本文が意図せず記録対象に含まれていないか確認しておくことも重要です。

既存システムの改修範囲とデノフへのご相談

既存のMLflow Appsの更新に合わせて、まずは過去に調査で手戻りが発生した問い合わせ例を取り上げ、原因特定に必要だった情報が現行のログに含まれているかを点検してみるのが現実的な進め方です。画面や環境の設定で対応できる範囲と、記録処理の追加や機密情報の除外など追加の開発が必要になる範囲を、既存の構成や利用中の仕様に照らして切り分けて整理することで、無駄のない改修計画を立てられます。

株式会社デノフでは、デノフのサービス案内に記載のとおり、Webサイトや社内業務システムの設計・開発・運用保守から、AIを活用する業務の整理、ツールの選定、導入後の定着支援までを一貫して提供しています。AI処理の各工程の記録設計や、既存システムと外部基盤との連携、運用担当者がログを確認しやすい手順の整備について、実装範囲の切り分けから検討を進めたい場合は、デノフへの相談窓口よりお気軽にお問い合わせください。現在の構成と業務要件に応じた現実的な進め方を一緒に具体化します。