Gemini APIのレスポンスをCIで守る — スナップショットと意味的回帰の検知設計

# test_structure.py
import json
import pytest
from gemini_client import client
from google.genai import types
 
@pytest.mark.vcr  # APIレスポンスを録画再生（後述）
def test_sentiment_schema(snapshot):
    """JSON出力のスキーマが維持されているかを検証する"""
    resp = client.models.generate_content(
        model="gemini-2.5-flash",
        contents='テキスト「この製品はとても気に入りました」の感情をJSONで。'
                 'フィールド: sentiment, confidence, explanation',
        config=types.GenerateContentConfig(
            temperature=0,
            response_mime_type="application/json",
        ),
    )
    parsed = json.loads(resp.text)
 
    # 中身ではなく「形」だけをスナップショット
    schema = {
        "has_sentiment": "sentiment" in parsed,
        "sentiment_valid": parsed.get("sentiment") in ("positive", "negative", "neutral"),
        "confidence_is_float": isinstance(parsed.get("confidence"), float),
        "has_explanation": "explanation" in parsed,
        "finish_reason": str(resp.candidates[0].finish_reason),
    }
    assert schema == snapshot

pytest test_structure.py --snapshot-update   # 初回：スナップショット作成
pytest test_structure.py                      # 以後：差分検証

# semantic_snapshot.py
import numpy as np
from google import genai
from google.genai import types
 
client = genai.Client(api_key="YOUR_GEMINI_API_KEY")
 
def embed(text: str) -> np.ndarray:
    r = client.models.embed_content(
        model="gemini-embedding-2",
        contents=text,
        config=types.EmbedContentConfig(output_dimensionality=256),
    )
    v = np.array(r.embeddings[0].values, dtype=np.float32)
    return v / np.linalg.norm(v)  # 正規化してコサイン=内積に
 
def cosine(a: np.ndarray, b: np.ndarray) -> float:
    return float(np.dot(a, b))

# test_semantic.py
import numpy as np
import pytest
from pathlib import Path
from gemini_client import classify_sentiment
from semantic_snapshot import embed, cosine
 
BASELINE = Path("baseline/sentiment_review.npy")
THRESHOLD = 0.88  # 経験的に決める（後述）
 
@pytest.mark.vcr
def test_sentiment_semantic_stability():
    current = classify_sentiment("配送は遅かったが、サポートの対応は丁寧だった。")
    cur_vec = embed(current)
 
    if not BASELINE.exists():
        BASELINE.parent.mkdir(exist_ok=True)
        np.save(BASELINE, cur_vec)
        pytest.skip("baselineを新規作成しました。次回から比較します。")
 
    base_vec = np.load(BASELINE)
    sim = cosine(cur_vec, base_vec)
    assert sim >= THRESHOLD, f"意味的にずれています: cosine={sim:.3f} < {THRESHOLD}"

# pytest.ini
[pytest]
addopts = --record-mode=none

# conftest.py — APIキーをカセットに残さない
import pytest
 
@pytest.fixture(scope="module")
def vcr_config():
    return {
        "filter_headers": [("x-goog-api-key", "REDACTED"),
                           ("authorization", "REDACTED")],
        "filter_query_parameters": [("key", "REDACTED")],
        "record_mode": "none",
    }

# 新しいテストを追加したとき：本物を1回だけ叩いて録画
pytest test_semantic.py --record-mode=once
git add tests/cassettes/   # カセットをコミット
# 以後のCI：ネットワークに出ずカセット再生のみ
pytest --record-mode=none

# calibrate_threshold.py — 自然なゆらぎの下限を測る
import numpy as np
from itertools import combinations
from gemini_client import classify_sentiment
from semantic_snapshot import embed, cosine
 
samples = [embed(classify_sentiment("配送は遅かったが、対応は丁寧だった。"))
           for _ in range(20)]
sims = [cosine(a, b) for a, b in combinations(samples, 2)]
print(f"min={min(sims):.3f}  mean={np.mean(sims):.3f}  p05={np.percentile(sims,5):.3f}")

def stable_assert(check, attempts=3, need_fail=2):
    fails = sum(0 if check() else 1 for _ in range(attempts))
    assert fails < need_fail, f"{attempts}回中{fails}回失敗：回帰の可能性が高い"

# Before：内容を完全一致で固定 → モデル更新のたびに無意味に赤くなる
def test_summary():
    out = summarize("...長文...")
    assert out == "この記事はGeminiのテスト手法を解説しています。"

# After：構造（第一層）と意味（第二層）を分けて監視する
@pytest.mark.vcr
def test_summary_structure(snapshot):
    out = summarize_json("...長文...")          # {"summary": str, "topics": [...]}
    parsed = json.loads(out)
    assert {
        "has_summary": isinstance(parsed.get("summary"), str),
        "topics_is_list": isinstance(parsed.get("topics"), list),
        "topics_nonempty": len(parsed.get("topics", [])) > 0,
    } == snapshot
 
@pytest.mark.vcr
def test_summary_semantic():
    out = summarize_json("...長文...")
    sim = cosine(embed(out), np.load("baseline/summary.npy"))
    assert sim >= 0.86

pytest --snapshot-update
git add -p __snapshots__/ baseline/    # 差分を1つずつ目視してから載せる
git commit -m "test: update snapshots for prompt schema change (intentional)"