Gemini API のアプリで、無料ユーザーのコストが粗利を食う前に — ティア設計とコスト上限の実装メモ

# 100万トークンあたりの単価（USD）。★必ず公式の最新値に更新すること。
# モデルごとに入力/出力で異なる。ここは「差し替えるための1点」。
PRICE = {
    "gemini-3.1-flash-lite": {"in": 0.10, "out": 0.40},
    "gemini-3.5-flash":      {"in": 0.30, "out": 2.50},
    "gemini-3.1-pro":        {"in": 1.25, "out": 10.00},
}
 
def estimate_cost_usd(model: str, in_tok: int, out_tok: int) -> float:
    p = PRICE[model]
    return (in_tok * p["in"] + out_tok * p["out"]) / 1_000_000

interface Budget {
  spentUsd: number;   // 当月の累積コスト
  resetAt: number;    // 翌月リセットの Unix(ms)
}
interface Env { BUDGET_KV: KVNamespace; }
 
// ティア別の月次コスト天井（USD）。価格×想定利用から逆算する。
const COST_CEILING: Record<string, number> = {
  free: 0.15,   // 無料層は赤字幅を直接コントロールできる
  pro: 3.00,    // 月額の範囲で粗利が残る上限
  premium: 12.00,
};
 
async function withinBudget(
  env: Env, userId: string, tier: string
): Promise<{ ok: boolean; spent: number; ceiling: number }> {
  const ceiling = COST_CEILING[tier] ?? COST_CEILING.free;
  const key = `budget:${userId}`;
  const now = Date.now();
  const b = (await env.BUDGET_KV.get(key, "json")) as Budget | null;
 
  // 当月分が無い／リセット時刻を過ぎていれば 0 から開始
  const cur = b && b.resetAt > now ? b : { spentUsd: 0, resetAt: endOfMonth(now) };
  return { ok: cur.spentUsd < ceiling, spent: cur.spentUsd, ceiling };
}
 
// 応答後に実コストを加算（usage_metadata から算出した値を渡す）
async function addSpend(env: Env, userId: string, costUsd: number) {
  const key = `budget:${userId}`;
  const now = Date.now();
  const b = (await env.BUDGET_KV.get(key, "json")) as Budget | null;
  const cur = b && b.resetAt > now ? b : { spentUsd: 0, resetAt: endOfMonth(now) };
  cur.spentUsd += costUsd;
  await env.BUDGET_KV.put(key, JSON.stringify(cur), {
    expirationTtl: Math.ceil((cur.resetAt - now) / 1000) + 86400,
  });
}
 
function endOfMonth(now: number): number {
  const d = new Date(now);
  return Date.UTC(d.getUTCFullYear(), d.getUTCMonth() + 1, 1);
}

export default {
  async fetch(req: Request, env: Env): Promise<Response> {
    const { userId, tier } = await verifyJwt(req); // 実装は省略
    const { ok, spent, ceiling } = await withinBudget(env, userId, tier);
    if (!ok) {
      return new Response(JSON.stringify({
        error: "budget_exceeded",
        message: "今月の利用上限に達しました。アップグレードで続けられます。",
        spent, ceiling,
      }), { status: 429, headers: { "Content-Type": "application/json" } });
    }
    // ここで Gemini API を呼び、戻りの実コストを addSpend で積む
    return new Response("...", { status: 200 });
  },
};

def build_window(messages: list[dict], recent_turns: int = 8, summary: str = "") -> list[dict]:
    """直近 recent_turns 往復のみ保持し、それ以前は要約で代替する。"""
    start = len(messages) - recent_turns * 2  # 1往復 = 2メッセージ
    if start <= 0:
        return messages
    recent = messages[start:]
    if not summary:
        return recent
    head = {"role": "user", "parts": [{"text": f"[これまでの要約] {summary}"}]}
    return [head] + recent

import asyncio, random
from google.api_core.exceptions import ResourceExhausted, ServiceUnavailable
 
async def call_with_backoff(coro_factory, max_retries: int = 3):
    last = None
    for attempt in range(max_retries):
        try:
            return await coro_factory()
        except (ResourceExhausted, ServiceUnavailable) as e:
            last = e
            if attempt == max_retries - 1:
                break
            await asyncio.sleep(2 ** attempt + random.uniform(0, 1))  # jitter付き
        except Exception as e:
            raise RuntimeError(f"retry不可のエラー: {e}") from e  # それ以外は即中断
    raise RuntimeError(f"リトライ上限超過: {last}")