Gemini にスクリーンショットを採点させたら、全部78〜85点だった — 絶対スコアを捨ててペア比較に切り替えるまで
Gemini Vision に App Store スクリーンショットを100点満点で採点させると、良い案も崩した案も78〜85点に潰れます。弁別能を実測して絶対スコアを捨て、位置バイアスを除いたペア比較でランキングを作るまでの実装記録です。
既定モデルが勝手に上がる時代に、プロンプト変更の劣化を数値で捕まえる — バリアント管理とカナリア評価の実装メモ
Gemini 3.5 Flash が既定に上がり、無効化もできなくなりました。プロンプトを触っていないのに応答が変わる前提で、バリアントを束ねて管理し、カナリアと LLM-as-judge で劣化を数値として捕まえる仕組みを、動くコードで組み立てます。
画像生成モデルを乗り換えると品質は静かに落ちる — 人手レビューなしで検知する自動ゲートの設計
preview から GA への画像モデル移行で、出力品質が落ちていないかを目視に頼らず検証する3層ゲートの実装です。決定的プロパティ検査・マルチモーダル埋め込み類似度・Gemini によるブリーフ遵守スコアを Python のコードでつなぎ、しきい値とカットオーバー手順まで整理しました。
Gemini API の出力品質を継続監視する評価基盤の設計
Golden Dataset と LLM-as-Judge を組み合わせ、Gemini API の出力品質が運用中に静かに劣化していくのを捉える評価基盤の設計を、個人開発の実運用構成とコード付きでまとめます。
Gemini 2.5 Pro から Gemini 3.2 Pro へ 7 日で完全移行する実装プレイブック — プロンプト互換性検査・出力差分の自動評価・ロールバック設計
Gemini 2.5 Pro で稼働中の本番システムを 3.2 Pro へ 7 日で移行する実装プレイブック。プロンプト互換性検査・LLM-as-Judge による出力差分採点・5 秒で戻せるロールバック設計まで動くコード付きで解説します。
Gemini APIでRAG評価フレームワークを構築する：RAGAS・LLM-as-Judge・カスタム指標の統合本番実装マスタークラス
RAGAS・LLM-as-Judge・カスタム評価指標を組み合わせてGemini APIベースのRAGシステムを定量評価するフレームワークの完全実装ガイド。CI/CD組み込みと本番モニタリングまで解説します。
Gemini で組む LLM-as-Judge 評価パイプライン — 本番運用に耐える設計と実装
Gemini 2.5 Pro / 3 Pro を判定者（ジャッジ）として使い、本番品質の LLM 出力評価パイプラインを構築するための実装ガイド。Pointwise / Pairwise 評価・バイアス対策・人手相関の測定・コスト最適化までをコード付きで解説します。
Gemini のプロンプトを壊さない — Pytest で組むプロンプト回帰テストの実践パターン
プロンプトを1行直しただけで本番出力が別物になった経験はありませんか。 Gemini API のプロンプトを Pytest でテストし、スナップショットと LLM-as-Judge を組み合わせて回帰を自動検出する実装パターンを、個人開発者の実運用目線で解説します。
Gemini API プロンプト評価・最適化パイプライン構築ガイド — LLM-as-Judge で品質を自動計測する
Gemini API を使ったプロンプト評価パイプラインの構築方法を解説。LLM-as-Judge パターン、A/Bテスト、自動スコアリング、コスト対品質の最適化まで、本番運用に必要な実装を網羅します。