TAG

アーキテクチャ

14 記事

一本化したはずの旧プロンプトがまだ毎日呼ばれている——そんな見えない稼働経路を炙り出す退役台帳の設計です。静的参照、フラグ既定値、観測窓、モデル停止日、キャッシュ実効率の5つを突き合わせる判定基準と、実運用で得た設計の勘所を実行結果とともにまとめました。

Gemini API を複数テナントに提供する SaaS の本番アーキテクチャを Python コードつきでまとめました。テナント分離モデルの選択、テナント別レート制限、リクエスト単位の課金計測、月予算ガードとサーキットブレーカーによる暴走防止まで扱います。

Managed Agents のサンドボックスは再生成されます。40分走った処理が振り出しに戻る前に、進捗を外部へ逃がすチェックポイントと、副作用を二度実行しない冪等リジュームを設計します。SQLite で動く実装つき。

レート制限は秒あたりを守りますが、月末の請求は守ってくれません。広告収益から一人あたりのトークン予算を逆算し、呼び出しラッパー一か所で台帳を作り、ソフトキャップで段階的に降格させ、上位1%の消費比率で濫用を検知するまでを、動くコードとともにまとめます。

Managed Agents の自律実行中に File Search ストアが更新されると、同じ実行の中で古い根拠と新しい根拠が混ざります。MVCCに倣った実行エポックの固定で、エージェント1回分の根拠を一貫させる設計と実装をまとめました。

画像生成モデルの停止通知が届いた朝、依存が散らばっていると差し替えは半日仕事になります。Gemini 依存を一枚のポート層に閉じ込め、フォールバックと廃止期限のCI監視まで含めた個人アプリ設計を、動くコードとともに残します。

夜間バッチが朝の対話機能に 429 を連れてくる、同一プロジェクト内の Gemini クォータ競合を解消した記録です。機能タグつき計測で原因を特定し、優先度つきトークンバケットで RPM と TPM を制御。429 率 3.2%→0.03% の実測を含みます。

Project Spend Caps はプロジェクト全体を一度に止めます。無料ユーザーの暴走が有料ユーザーを巻き込まないよう、上限の影響範囲をティア別プロジェクトで分離し、約10分の遅延を埋めるソフト予算ゲートを実装する設計メモです。

数万件をGemini APIに流すバルク処理で、固定並行度はほぼ必ず429と取りこぼしを生みます。429のフィードバックで並行度を自動調整するAIMD方式を、有界ワーカープールとデッドレター、再開可能なチェックポイントのコード付きで本番設計します。

埋め込みモデルを新しくすると、過去に作った全ベクトルが使えなくなります。サービスを止めずに数十万件のベクトルを作り直す二重インデックス方式を、再開可能な再生成ジョブとクエリ側の抽象化層のコード付きで設計します。

個人開発で運用しているプッシュ通知後の同時アクセスを Cloudflare Durable Objects でリクエスト coalescing と SSE fan-out に分離し、API コストを 92% 削減した実測ログと設計判断の記録。

SwiftData で Gemini API レスポンスを永続化し、機内モードや低速回線でも前回の結果を再利用できる iOS アプリ向けのキャッシュ層を設計します。@Model 設計、無効化戦略、サイズ管理、移行手順までを実装ベースで整理しました。