ヘルプが答えていない質問を、Gemini に問題を作らせて先に見つける

# pip install google-genai pydantic
from google import genai
from pydantic import BaseModel
from typing import List
 
client = genai.Client(api_key="YOUR_API_KEY")
MODEL = "gemini-3.6-flash"
 
 
class Question(BaseModel):
    question_id: str      # 判定パスと突き合わせるための固定ID
    text: str             # 利用者の言い方で書かれた質問
    user_words: List[str] # その質問に含まれる利用者側の語彙
 
 
class QuestionSet(BaseModel):
    questions: List[Question]
 
 
GEN_PROMPT = """あなたはこのアプリを初めて使う利用者です。
以下のヘルプ本文を読み、あなたが実際にサポートへ送りそうな質問を8件書いてください。
 
制約:
- ヘルプ本文の見出し語をそのまま使わないでください。日常の言い方に置き換えてください
- 「できない」「消えた」「見つからない」のような、症状から入る言い方を半分以上含めてください
- 本文に答えが無さそうな質問も、思いついたなら遠慮せず含めてください
- question_id は q01 から q08 までの連番にしてください
 
ヘルプ本文:
---
{doc}
---"""
 
 
def generate_questions(doc_text: str) -> QuestionSet:
    res = client.models.generate_content(
        model=MODEL,
        contents=GEN_PROMPT.format(doc=doc_text),
        config={
            "response_mime_type": "application/json",
            "response_schema": QuestionSet,
        },
    )
    return QuestionSet.model_validate_json(res.text)
 
 
# 期待する出力（抜粋）:
# questions=[Question(question_id='q01',
#                     text='保存したはずの壁紙がアルバムに見当たりません',
#                     user_words=['保存', '見当たらない', 'アルバム']), ...]

class Verdict(BaseModel):
    question_id: str
    verdict: str      # "answered" | "partial" | "missing"
    quote: str        # 本文からの逐語引用。無ければ空文字
    reason: str       # 60字以内
 
 
class VerdictSet(BaseModel):
    verdicts: List[Verdict]
 
 
JUDGE_PROMPT = """以下の資料本文だけを根拠として、各質問に答えられるかを判定してください。
 
判定基準:
- answered: 本文の一箇所を読めば答えが分かる
- partial: 根拠はあるが複数の箇所を突き合わせないと答えに届かない
- missing: 本文に根拠が無い
 
規則:
- 資料の外にある知識を使ってはいけません
- answered と partial には、本文からの逐語引用を quote に入れてください
- 質問と同じ question_id を必ず返してください
 
資料本文:
---
{doc}
---
 
質問一覧:
{questions}"""
 
 
def judge(doc_text: str, qs: QuestionSet) -> VerdictSet:
    listed = "\n".join(f"{q.question_id}: {q.text}" for q in qs.questions)
    res = client.models.generate_content(
        model=MODEL,
        contents=JUDGE_PROMPT.format(doc=doc_text, questions=listed),
        config={
            "response_mime_type": "application/json",
            "response_schema": VerdictSet,
            "system_instruction": "あなたは資料の校閲者です。資料に書かれていないことを補ってはいけません。",
        },
    )
    vs = VerdictSet.model_validate_json(res.text)
 
    # 対応漏れの検出。ID が欠けたら再試行対象にします
    got = {v.question_id for v in vs.verdicts}
    missing_ids = [q.question_id for q in qs.questions if q.question_id not in got]
    if missing_ids:
        raise ValueError(f"verdict missing for: {missing_ids}")
    return vs

import re
 
 
def _norm(s: str) -> str:
    # 改行・全角半角の空白差で落とさないよう、空白をすべて除いて比べます
    return re.sub(r"\s+", "", s)
 
 
def verify_quotes(doc_text: str, vs: VerdictSet) -> VerdictSet:
    """quote が本文に実在しない answered / partial は missing へ降格します"""
    body = _norm(doc_text)
    for v in vs.verdicts:
        if v.verdict in ("answered", "partial"):
            if not v.quote or _norm(v.quote) not in body:
                v.verdict = "missing"
                v.reason = "引用が本文に見当たらないため降格"
    return vs
 
 
# 期待する出力（抜粋）:
# q05: answered -> missing（降格）。reason='引用が本文に見当たらないため降格'

import hashlib
import json
from pathlib import Path
 
LEDGER = Path("docs_answerability.jsonl")
 
 
def doc_fingerprint(text: str) -> str:
    return hashlib.sha256(text.encode("utf-8")).hexdigest()[:16]
 
 
def load_ledger() -> dict:
    if not LEDGER.exists():
        return {}
    rows = {}
    for line in LEDGER.read_text(encoding="utf-8").splitlines():
        if line.strip():
            row = json.loads(line)
            rows[row["doc"]] = row
    return rows
 
 
def run(doc_paths):
    ledger = load_ledger()
    out = []
    for path in doc_paths:
        text = Path(path).read_text(encoding="utf-8")
        fp = doc_fingerprint(text)
        prev = ledger.get(path)
        if prev and prev["fingerprint"] == fp:
            continue  # 内容が変わっていない資料は課金対象から外します
 
        qs = generate_questions(text)
        vs = verify_quotes(text, judge(text, qs))
        gaps = [v for v in vs.verdicts if v.verdict != "answered"]
        out.append({
            "doc": path,
            "fingerprint": fp,
            "total": len(vs.verdicts),
            "gaps": [
                {"id": v.question_id, "verdict": v.verdict, "reason": v.reason}
                for v in gaps
            ],
            "prev_gap_count": len(prev["gaps"]) if prev else None,
        })
 
    with LEDGER.open("a", encoding="utf-8") as f:
        for row in out:
            f.write(json.dumps(row, ensure_ascii=False) + "\n")
    return out
 
 
# 期待する出力（抜粋）:
# [{'doc': 'help/ja/save-wallpaper.md', 'fingerprint': '9f1c...', 'total': 8,
#   'gaps': [{'id': 'q03', 'verdict': 'partial', 'reason': '保存先の記述が別節にあります'}],
#   'prev_gap_count': 3}]