InvokeModel対応とルールによるフォールバックの仕組み

AWSは2026年10月22日、Amazon Bedrock AgentCore Gatewayの推論エンドポイントにおいて、BedrockのInvokeModelおよびInvokeModelWithResponseStream APIと、推論トラフィック向けのモデルフォールバックに対応したことを発表しました。詳細はAWSの公式発表「AgentCore Gateway now supports Bedrock InvokeModel APIs and model fallback」で公開されています。

この機能により、呼び出し側のクライアントコードをプロバイダごとに書き換えることなく、Gatewayのエンドポイントを介してモデルへのアクセスが可能です。フォールバックの設定では、Gatewayルールの中で代替となる接続先の順序と、切り替えを発動させるトリガー条件を定義します。発表資料では、スロットリング、サーバーエラー、応答タイムアウトなどが切り替え条件として挙げられています。

また、サーキットブレーカー機能が既定で有効になっており、障害が発生している接続先を自動的にスキップして健全な接続先へリクエストを送る仕組みです。これにより、障害中の接続先に毎回アクセスして無駄な待機時間が発生する事態を防ぎやすくなります。

ストリーミング応答の制約と障害時の挙動

運用の設計で特に確認しておきたいのが、応答が開始された後の挙動です。公式ガイドのAmazon Bedrock AgentCore開発者ガイド「Model routing and fallback」によると、各接続先に対してサーキットブレーカーを確認したうえで試行が行われ、トリガー条件に合致した場合は次の接続先へ進みます。設定されたすべての候補が失敗した場合は、呼び出し側に最後のエラーが返される仕様です。

注意が必要な点として、ストリーミング形式で一度クライアントへ応答の送信が始まった後は、Gateway側で別の接続先へ自動フォールバックすることができません。この場合、呼び出し側アプリケーションには途中までの部分応答とエラーが届くため、アプリケーション側での再試行処理が必要です。

さらに、Gatewayから返される応答そのものには、実際にどの接続先が使われたかを示す情報は付加されません。実際にどのモデルや接続先が処理を担当したか、あるいはサーキットブレーカーによってスキップされたかを確認するには、Gatewayが出力するルーティングログを参照する構成を整えておく必要があります。

問い合わせ回答下書きにおける画面表示と再試行の設計

途中で線が止まった紙を手で脇へ避け、新しい白紙と再試行の矢印を配置した様子を描いた図

この仕組みを国内企業の業務システムに組み込む場面として、顧客からの問い合わせに対してAIが回答下書きを自動生成する管理画面を仮定してみます。

応答が始まる前の障害やタイムアウトであれば、Gatewayが定義されたルールに沿って代替モデルへ自動的に切り替える仕様です。一方、生成AIの回答を体感速度向上のためにストリーミングで表示している場合、途中で推論が途切れると画面には中途半端な文章とエラーが残ることになります。

このような事態に備えるには、Gatewayによる切り替えに頼る部分と、画面側で制御する部分を切り分けておくことが現実的です。例えば、生成処理が途中で途切れた下書きには「未完了」のステータスを明示し、担当者がワンクリックで再試行できる操作ボタンを設けます。再試行によって取得できた新しい回答を確認したうえで、正式な回答文として保存や送信へ進めるワークフローにしておけば、不完全なテキストが誤って顧客へ送信される事故を防ぐための対策として検討できます。

また、代替先として別系統のモデルを指定する場合、同じプロンプトであっても回答のトーンや出力フォーマットが変わる可能性があります。自社の業務で維持したい必須の回答項目や表現ルールを事前に整理し、代替候補のモデルでも許容できる品質が得られるかの検証が不可欠です。

業務に合わせたAI連携と運用基盤の整理

推論基盤のフォールバック機能はインフラ側の耐障害性を高める強力な手段ですが、業務を止めずに運用するためには、既存システム側の画面制御やデータ保存、エラー時の担当者への通知といった周辺設計がセットで求められます。

自社で導入を進める際は、まず現在利用しているAPI接続がストリーミング方式かどうかを確かめ、エラー発生時に既存の画面や保存処理がどのような挙動を示すかを点検することから始めると安全です。そのうえで、応答前の障害、応答途中の中断、すべてのモデルが応答しなかった場合の3つのケースに分け、検証環境で実際の動きを確認していく手順が適しています。

デノフのサービス案内でもご紹介している通り、株式会社デノフではWebサイトや業務システムの設計・開発から、業務に合わせたAIツールの選定や連携の構築までを一貫して支援しています。既存の業務システムにAIの自動処理を組み込む際の接続設計や、途中中断時のリカバリー手順、画面改修の範囲でお悩みの際は、デノフへの相談窓口よりお気軽にお問い合わせください。