業務マニュアルや社内規定、ソースコードなどの固定的な文書を参照しながらAIへ質問を投げる処理では、毎回同じ長文をAPIに送信することで入力トークン費用や応答遅延が膨らみやすいという課題があります。こうした背景のなか、2026年9月18日にAWSからKimi K3がAmazon Bedrockで一般提供された告知が公開されました。

AWSの説明によると、Kimi K3はAmazon Bedrock上で明示的プロンプトキャッシュに対応する最初のオープンウェイトモデルとなります。呼び出し間でコンテキストを再利用する業務において、入力費用と遅延を低減する選択肢として位置付けられています。

キャッシュ境界の指定と課金・保持の条件

上下2段の入力で共通の先頭部分と質問が破線のキャッシュ境界で区切られ、中央のキャッシュ箱への書き込みと再利用の流れを示す概念図

具体的な設定方法や運用の仕組みについては、AWS Machine Learning Blogの実装解説で詳細が案内されています。開発やナレッジワークにおいて安定したコンテキストを再送する処理を想定し、再利用可能なプロンプトの先頭部分を指定する明示的キャッシュの仕様が説明されています。

この明示モードでは、入力コンテンツ内に prompt_cache_breakpoint を追加することで、キャッシュの終端を指定します。ただし、再利用するプロンプトの先頭部分は少なくとも1,024トークン以上である必要があります。短すぎる指示文では境界として機能しないため、対象となる共通文書の規模をあらかじめ把握しておくことが求められます。

また、費用の観点でも特有の設計が必要です。解説によると、明示モードでキャッシュへ書き込むトークンには通常の入力よりも高い料金が適用され、書き込まれた内容は少なくとも30分保持されます。その後、後続の一致するリクエストがキャッシュにヒットした場合には、該当する入力トークンに割引料金が適用され、毎分の入力トークンクォータにも算入されません。したがって、単にヒット時の割引単価を見るだけでなく、文書の更新頻度や呼び出し間隔を踏まえ、一定時間内に十分な再利用が発生する処理かどうかを見極めることが重要です。

推論プロファイルによる処理地域と接続インターフェース

既存の業務システムから呼び出すにあたっては、処理地域とAPI接続の確認も欠かせません。Kimi K3はクロスリージョン推論プロファイルを通じて呼び出す構成となっており、地域制約のないワークロード向けには各リクエストを世界の対応商用AWSリージョンへ振り分けるGlobalプロファイルが推奨されています。また、データの保管・処理要件に対応する選択肢として米国内に処理をとどめるUS地理プロファイルが用意されています。現時点の資料では日本国内で処理が完結する構成は示されていないため、社内のセキュリティ規定やデータ保管ルールに照らした確認が必要です。

プログラムからの呼び出しには bedrock-runtime エンドポイントを使用し、Amazon Bedrock標準のInvokeやConverse APIに加えて、OpenAI互換のResponses APIやChat Completions APIにも対応しています。実装解説ではOpenAI Python SDKのResponses APIを用いたキャッシュ指定とヒット確認の例が示されていますが、利用する他のAPIや接続ライブラリでどのようにキャッシュを設定し観測できるかは個別に確認していく必要があります。

社内文書を参照する処理の整理と既存システムへの組み込み

たとえば、社内の問い合わせ画面で特定の製品マニュアルを参照しながら回答案を作成する仮定のケースを考えると、毎回送信しているマニュアル部分を共通の先頭コンテキストとし、利用者の質問や個別パラメータをその後に配置する入力設計が考えられます。マニュアルの改訂時にどのタイミングでキャッシュが切り替わるか、また利用頻度が落ちる時間帯に書き込み費用が先行しないかといった運用面の検証が必要です。

導入を検討する際は、まず現在繰り返し送信している文書や指示の長さ、更新頻度、呼び出し間隔を洗い出すことから始められます。あわせて、社内のデータ処理地域の要件を確認し、利用中のライブラリでキャッシュ制御とヒット状況のログ取得が行えるかを確かめていくことが現実的な進め方となります。

業務整理と連携実装のご相談

共通文書を活用したAI処理の導入では、モデルの選定だけでなく、業務データの持ち方や更新フロー、既存システムとの連携境界の設計が運用の安定性を左右します。

デノフのサービス案内では、Web・システム開発からAI活用支援まで、業務に必要な設計と技術支援を提供しています。AIに渡す業務情報の整理や、共通文書と個別入力を分ける処理設計、既存の業務画面やデータベースとの連携範囲の検討など、要件定義の段階からご相談いただけます。具体的な進め方や技術的な構成でお悩みの際は、デノフへの相談窓口よりお気軽にお問い合わせください。