知識カットオフが前進した日、見直すべきなのは2つの日付に挟まれた断定でした

#!/usr/bin/env python3
"""cutoff_window_audit.py — システム命令の日付付き断定を2つのカットオフで三分類する。"""
from __future__ import annotations
 
import argparse
import json
import re
import sys
from dataclasses import dataclass, asdict
from datetime import date
from pathlib import Path
 
JP_DATE = re.compile(r"(?P<y>19\d{2}|20\d{2})\s*年(?:\s*(?P<m>1[0-2]|0?[1-9])\s*月)?")
ISO_DATE = re.compile(r"(?P<y>20\d{2})-(?P<m>0[1-9]|1[0-2])(?:-\d{2})?\b")
 
ASSERTIVE = (
    "未対応", "非対応", "対応していません", "存在しません", "使えません",
    "利用できません", "サポートされていません", "最新", "現時点", "現在のところ",
    "not supported", "does not exist", "unavailable", "latest",
)
HEDGED = ("かもしれません", "可能性があります", "may ", "might ", "例:", "例）", "e.g.")
 
# 断定語彙に載らない事実記述（「上限は N です」型）を拾うための第2段
DECLARATIVE = re.compile(r"(?:です|ます|である|だ)[。．]?$")
IMPERATIVE = re.compile(r"(?:ください|下さい|ましょう|しなさい)[。．]?$")
 
 
@dataclass
class Assertion:
    source: str
    line_no: int
    text: str
    asserted_on: str | None
    verdict: str
    reason: str
 
 
def _to_month(y: int, m: int | None) -> date:
    return date(y, m or 1, 1)
 
 
def extract_date(line: str) -> date | None:
    """行に刺さっている月精度の日付のうち、最も古いものを返す。"""
    found: list[date] = []
    for pat in (JP_DATE, ISO_DATE):
        for hit in pat.finditer(line):
            y = int(hit.group("y"))
            raw_m = hit.group("m")
            m = int(raw_m) if raw_m else None
            try:
                found.append(_to_month(y, m))
            except ValueError:
                # 13月などの不正な組み合わせは黙って捨てる
                continue
    return min(found) if found else None
 
 
def is_assertive(line: str, dated: bool = False) -> bool:
    low = line.lower()
    if any(h in low for h in HEDGED):
        return False
    if any(tok.lower() in low for tok in ASSERTIVE):
        return True
    # 日付が刺さっていて、命令文ではない断定で終わる行も事実記述とみなす
    if dated and DECLARATIVE.search(line) and not IMPERATIVE.search(line):
        return True
    return False
 
 
def classify(pinned: date | None, old_cutoff: date, new_cutoff: date) -> tuple[str, str]:
    if pinned is None:
        return "undated", "日付が特定できないため人手確認"
    if pinned < old_cutoff:
        return "redundant", "旧カットオフ以前。モデルが既に知っていた領域"
    if pinned < new_cutoff:
        return "contested", "2つのカットオフの間。補足が矛盾に反転する危険域"
    return "current", "新カットオフ以降。引き続き必要"
 
 
def audit(paths: list[Path], old_cutoff: date, new_cutoff: date) -> list[Assertion]:
    out: list[Assertion] = []
    for path in paths:
        try:
            body = path.read_text(encoding="utf-8")
        except (OSError, UnicodeDecodeError) as exc:
            print(f"skip {path}: {exc}", file=sys.stderr)
            continue
        for i, line in enumerate(body.splitlines(), start=1):
            stripped = line.strip()
            if not stripped or stripped.startswith("#"):
                continue
            pinned = extract_date(stripped)
            if not is_assertive(stripped, dated=pinned is not None):
                continue
            verdict, reason = classify(pinned, old_cutoff, new_cutoff)
            out.append(
                Assertion(
                    source=path.name,
                    line_no=i,
                    text=stripped[:120],
                    asserted_on=pinned.isoformat() if pinned else None,
                    verdict=verdict,
                    reason=reason,
                )
            )
    return out
 
 
def parse_month(text: str) -> date:
    y, m = text.split("-")[:2]
    return date(int(y), int(m), 1)
 
 
def main() -> int:
    ap = argparse.ArgumentParser()
    ap.add_argument("paths", nargs="+", type=Path)
    ap.add_argument("--old-cutoff", required=True, help="例: 2025-01")
    ap.add_argument("--new-cutoff", required=True, help="例: 2026-03")
    ap.add_argument("--json", action="store_true")
    ap.add_argument("--fail-on-contested", action="store_true")
    args = ap.parse_args()
 
    old_cutoff, new_cutoff = parse_month(args.old_cutoff), parse_month(args.new_cutoff)
    if old_cutoff >= new_cutoff:
        ap.error("--old-cutoff は --new-cutoff より前である必要があります")
 
    files = [p for p in args.paths if p.is_file()]
    rows = audit(files, old_cutoff, new_cutoff)
 
    if args.json:
        print(json.dumps([asdict(r) for r in rows], ensure_ascii=False, indent=2))
    else:
        for r in rows:
            print(f"[{r.verdict:9}] {r.source}:{r.line_no} ({r.asserted_on or '日付なし'}) {r.text}")
        counts: dict[str, int] = {}
        for r in rows:
            counts[r.verdict] = counts.get(r.verdict, 0) + 1
        print("---", " ".join(f"{k}={v}" for k, v in sorted(counts.items())) or "検出なし")
 
    contested = sum(1 for r in rows if r.verdict == "contested")
    return 1 if (args.fail_on_contested and contested) else 0
 
 
if __name__ == "__main__":
    raise SystemExit(main())

# 画像分類アシスタントのシステム命令（抜粋・監査対象）
2024年12月時点で、日本語のカテゴリ名は正規化せずそのまま返してください。
2023年5月時点では構造化出力は未対応のため、JSON は本文中に埋め込んで返してください。
2025年6月時点で thinking_budget は Flash 系では利用できません。
2025年11月時点で、この API は画像とテキストの同時入力に非対応です。
2026-01 時点で Files API のアップロード保持期間は48時間です。
2026年4月時点で、Batch API の同時実行上限はプロジェクト単位です。
2026-05 時点で、この機能はサポートされていません。
出力は常に日本語で、丁寧語を用いてください。
迷った場合は「判定不能」を返してかまいません。
2025年8月時点で latest エイリアスは自動更新されます。
モデルの応答が長くなる可能性があります。2025年3月時点の挙動です。

2026-01 時点で Files API のアップロード保持期間は48時間です。
2026年4月時点で、Batch API の同時実行上限はプロジェクト単位です。

python3 cutoff_window_audit.py prompts/*.txt \
  --old-cutoff 2025-01 --new-cutoff 2026-03 --fail-on-contested

# 修正前
2025年11月時点で、この API は画像とテキストの同時入力に非対応です。
 
# 修正後
画像とテキストの同時入力について、あなたの知識と実際の挙動が食い違う場合は、
実際に返ってきたエラーメッセージを優先してください。