Gemini に「合っていますか」と聞くのをやめ、答えを伏せたまま分類し直してもらう設計に変えました

import hashlib
import io
import json
import random
from pathlib import Path
 
from google import genai
from google.genai import types
from PIL import Image
 
# 新規プロジェクトで選べるモデルは人によって違うため、models.list で先に確かめる
MODEL = "gemini-3.8-flash"
CATEGORIES = ["名所絵", "美人画", "役者絵", "花鳥画", "武者絵", "戯画", "その他"]
 
client = genai.Client()  # GEMINI_API_KEY を環境変数から読む
 
 
def build_schema(categories: list[str]) -> types.Schema:
    """観察 → 分類 → 次点 → 自信 の順に書かせる。順番そのものが設計の一部"""
    return types.Schema(
        type=types.Type.OBJECT,
        properties={
            "observations": types.Schema(
                type=types.Type.STRING,
                description="画面に見えるもの（人物・背景・持ち物・文字）。分類名は書かない",
            ),
            "category": types.Schema(type=types.Type.STRING, enum=categories),
            "runner_up": types.Schema(type=types.Type.STRING, enum=categories),
            "confidence": types.Schema(type=types.Type.NUMBER),
        },
        required=["observations", "category", "runner_up", "confidence"],
        property_ordering=["observations", "category", "runner_up", "confidence"],
    )
 
 
def blind_bytes(path: Path) -> tuple[str, bytes]:
    """再エンコードでメタデータを落とし、ファイル名の代わりにハッシュで追跡する"""
    img = Image.open(path).convert("RGB")
    buf = io.BytesIO()
    img.save(buf, format="JPEG", quality=90)  # EXIF や IPTC のキャプションはここで消える
    data = buf.getvalue()
    return hashlib.sha256(data).hexdigest()[:12], data
 
 
def classify_blind(path: Path, seed: int) -> dict:
    token, data = blind_bytes(path)
    cats = CATEGORIES[:]
    random.Random(seed).shuffle(cats)  # 候補の先頭に寄る癖を、呼び出しごとに散らす
    prompt = (
        "この浮世絵の主題を、次の候補から一つだけ選んでください。"
        f"候補: {'、'.join(cats)}。"
        "先に画面に見えるものを書き、そのあとで選んでください。"
    )
    resp = client.models.generate_content(
        model=MODEL,
        contents=[types.Part.from_bytes(data=data, mime_type="image/jpeg"), prompt],
        config=types.GenerateContentConfig(
            response_mime_type="application/json",
            response_schema=build_schema(cats),
            temperature=0.2,
        ),
    )
    result = json.loads(resp.text)
    result["token"] = token
    result["model_version"] = resp.model_version  # 返ってきた実体も残しておく
    return result

import re
 
 
def assert_no_leak(prompt: str, my_label: str, categories: list[str]) -> None:
    """候補一覧の外で、自分のタグやファイル名の手がかりが出ていないかを確かめる"""
    head = prompt.split("候補:")[0]
    if my_label in head:
        raise ValueError(f"候補一覧の前に自分のタグが出ています: {my_label}")
    if re.search(r"[A-Za-z_]+_\d+\.(jpe?g|png)", prompt):
        raise ValueError("ファイル名らしき文字列が混ざっています")
    for word in ("多め", "ほとんど", "大半"):
        if word in head:
            raise ValueError(f"束の傾向を伝える前置きが残っています: {word}")
    if sorted(categories) != sorted(CATEGORIES):
        raise ValueError("候補の集合が正本と一致しません")

import csv
from dataclasses import asdict, dataclass
 
 
@dataclass
class Verdict:
    token: str
    mine: str
    blind: str
    runner_up: str
    stable: bool
    route: str
 
 
def decide_route(mine: str, a: dict, b: dict) -> Verdict:
    stable = a["category"] == b["category"]
    if a["category"] != mine and a["runner_up"] != mine:
        route = "human"        # 私のタグが上位二つに入っていない。まず私の側を疑う
    elif a["category"] != mine:
        route = "boundary"     # 次点には入っている。主題が二つにまたがる作品
    elif not stable:
        route = "sample"       # 一致はしたが、並びを変えると答えが揺れる
    else:
        route = "pass"
    return Verdict(a["token"], mine, a["category"], a["runner_up"], stable, route)
 
 
def review_batch(items: list[tuple[Path, str]], out_tsv: Path) -> None:
    with out_tsv.open("w", newline="", encoding="utf-8") as f:
        writer = csv.DictWriter(f, fieldnames=list(Verdict.__dataclass_fields__), delimiter="\t")
        writer.writeheader()
        for path, mine in items:
            first = classify_blind(path, seed=1)
            # 一回目で食い違えば、揺れを確かめるまでもなく人が見る。二回目は一致したときだけ
            second = classify_blind(path, seed=2) if first["category"] == mine else first
            writer.writerow(asdict(decide_route(mine, first, second)))

REVIEW_PROMPT = """次の英語の説明文を、アプリを初めて見る読者の立場で読んでください。
誤解されそうな箇所を最大三つ挙げてください。
該当がなければ「なし」とだけ答えてください。
良い点や全体の感想は書かないでください。
 
---
{text}
"""
 
 
def review_copy(text: str) -> str:
    resp = client.models.generate_content(
        model=MODEL,
        contents=REVIEW_PROMPT.format(text=text),
        config=types.GenerateContentConfig(temperature=0.2),
    )
    return resp.text.strip()