Gemini 3.5 Flash は本当に安いのか — リトライ増幅を実測して Flash と Pro の損益分岐を出す

// Before: Flash 固定で最大3回。難入力では同じ失敗を繰り返し、試行を増幅させる。
async function naive(prompt: string, gate: Gate): Promise<Attempt[]> {
  const log: Attempt[] = [];
  for (let i = 0; i < 3; i++) {
    const a = await runOnce("gemini-3.5-flash", prompt, gate);
    log.push(a);
    if (a.passed) break;
  }
  return log; // 3回とも失敗するとコストだけ払って未確定で終わる
}

// After: 難易度で初手を選び、コスト予算で打ち切る。格上げは1段だけ。
interface RouteResult { attempts: Attempt[]; cost: number; resolved: boolean; }
 
async function routed(
  prompt: string,
  gate: Gate,
  difficulty: "easy" | "medium" | "hard",
  budgetUsd: number,
): Promise<RouteResult> {
  // 難入力は初手から Pro。易・中は Flash で始め、失敗時のみ1段格上げ。
  const ladder: ModelId[] =
    difficulty === "hard"
      ? ["gemini-3.1-pro"]
      : ["gemini-3.5-flash", "gemini-3.1-pro"];
 
  const attempts: Attempt[] = [];
  let cost = 0;
  for (const model of ladder) {
    // 同一ティアは最大2回まで。コスト予算を超えたら打ち切る。
    for (let i = 0; i < 2; i++) {
      const a = await runOnce(model, prompt, gate);
      cost += callCost(a.model, a.inTok, a.outTok);
      attempts.push(a);
      if (a.passed) return { attempts, cost, resolved: true };
      if (cost >= budgetUsd) return { attempts, cost, resolved: false };
    }
  }
  return { attempts, cost, resolved: false };
}

// バケットごとの「成功までの実効コスト」代表値（USD/件）。自分の計測値で置き換える。
const EFFECTIVE = {
  flashOnly: { easy: 0.0009, medium: 0.0026, hard: 0.0125 }, // 難で試行増幅
  proOnly:   { easy: 0.0042, medium: 0.0061, hard: 0.0098 }, // 難に強く増幅しにくい
  routed:    { easy: 0.0009, medium: 0.0031, hard: 0.0101 }, // 易は Flash・難は初手 Pro
} as const;
 
type Strategy = keyof typeof EFFECTIVE;
 
function totalCost(s: Strategy, mix: { easy: number; medium: number; hard: number }, n: number) {
  const e = EFFECTIVE[s];
  return n * (mix.easy * e.easy + mix.medium * e.medium + mix.hard * e.hard);
}
 
// 難入力の割合を 0% から 60% まで動かし、最安戦略がどこで入れ替わるか見る
for (let hardPct = 0; hardPct <= 0.6; hardPct += 0.1) {
  const mix = { easy: (1 - hardPct) * 0.7, medium: (1 - hardPct) * 0.3, hard: hardPct };
  const f = totalCost("flashOnly", mix, 1000);
  const p = totalCost("proOnly", mix, 1000);
  const r = totalCost("routed", mix, 1000);
  const best = Math.min(f, p, r) === f ? "flash" : Math.min(p, r) === p ? "pro" : "routed";
  console.log(`hard=${(hardPct * 100).toFixed(0)}% flash=$${f.toFixed(2)} pro=$${p.toFixed(2)} routed=$${r.toFixed(2)} best=${best}`);
}

// ヒューリスティックで大半を判定し、曖昧なものだけ軽量モデルに回す
function quickDifficulty(input: string, categoryFailRate: number): "easy" | "medium" | "hard" | "unsure" {
  const len = input.length;
  const symbolRatio = (input.match(/[^\p{L}\p{N}\s]/gu)?.length ?? 0) / Math.max(len, 1);
  if (categoryFailRate > 0.35) return "hard";          // 過去に失敗が多いカテゴリ
  if (len < 400 && symbolRatio < 0.1) return "easy";   // 短く素直
  if (len > 2000 || symbolRatio > 0.25) return "hard"; // 長い・記号過多
  return "unsure";                                     // 判断がつかないものだけ次段へ
}