Gemini 3.2 Flash のビジョン機能でアプリUIのリリース前チェックを自動化した実践記録

import google.generativeai as genai
from pathlib import Path
 
genai.configure(api_key="YOUR_GEMINI_API_KEY")
model = genai.GenerativeModel("gemini-3.2-flash")
 
def review_screenshot(image_path: str, context: str = "") -> dict:
    """
    スクリーンショットのUIを自動レビューする。
    context に画面の説明（例: 設定画面、ダークモード）を渡すと精度が上がる。
    """
    image_data = Path(image_path).read_bytes()
    
    prompt = f"""
以下はモバイルアプリのスクリーンショットです。
{f"画面の説明: {context}" if context else ""}
 
UIの品質を以下の観点でチェックしてください:
1. テキストの切れ・はみ出しがないか
2. 要素の重なり・レイアウト崩れがないか
3. テキストと背景のコントラストが十分か（特にダークモード）
4. ボタンやタップ領域が適切なサイズか
 
問題があれば箇条書きで、なければ「問題なし」と返してください。
出力はJSON形式: {{"status": "ok" or "issues_found", "issues": ["..."]}}
"""
    
    response = model.generate_content([
        prompt,
        {"mime_type": "image/png", "data": image_data}
    ])
    
    # レスポンスからJSONを抽出
    import json, re
    json_match = re.search(r'\{.*\}', response.text, re.DOTALL)
    if json_match:
        return json.loads(json_match.group())
    return {"status": "parse_error", "issues": [response.text]}
 
# 使い方
result = review_screenshot(
    "screenshots/settings_dark_iphone15pro.png",
    context="設定画面、ダークモード、iPhone 15 Pro"
)
print(result)
# {"status": "issues_found", "issues": ["第3行のラベルテキストが枠外にはみ出しています"]}

import google.generativeai as genai
from pathlib import Path
import json, re, time
from typing import NamedTuple
 
genai.configure(api_key="YOUR_GEMINI_API_KEY")
model = genai.GenerativeModel("gemini-3.2-flash")
 
class ScreenshotCheckResult(NamedTuple):
    file: str
    status: str
    issues: list[str]
 
def batch_review(screenshot_dir: str, config_json: str = None) -> list[ScreenshotCheckResult]:
    """
    ディレクトリ内のスクリーンショットをまとめてレビュー。
    config_json: {"ファイル名": "画面の説明"} の形式で各ファイルに説明を付与できる
    """
    configs = {}
    if config_json:
        with open(config_json) as f:
            configs = json.load(f)
    
    screenshots = sorted(Path(screenshot_dir).glob("*.png"))
    results = []
    
    for i, path in enumerate(screenshots):
        context = configs.get(path.name, "")
        print(f"[{i+1}/{len(screenshots)}] {path.name} をチェック中...")
        
        image_data = path.read_bytes()
        prompt = f"""
モバイルアプリのスクリーンショットのUIレビューを行ってください。
{f"画面の説明: {context}" if context else ""}
 
チェック項目:
- テキストの切れ・はみ出し
- 要素の重なり・レイアウト崩れ  
- テキストと背景のコントラスト不足
- ボタン/タップ領域のサイズ問題
 
JSON形式で返してください: {{"status": "ok" or "issues_found", "issues": ["..."]}}
"""
        
        try:
            response = model.generate_content([
                prompt,
                {"mime_type": "image/png", "data": image_data}
            ])
            json_match = re.search(r'\{.*\}', response.text, re.DOTALL)
            if json_match:
                data = json.loads(json_match.group())
                results.append(ScreenshotCheckResult(
                    file=path.name,
                    status=data.get("status", "unknown"),
                    issues=data.get("issues", [])
                ))
        except Exception as e:
            results.append(ScreenshotCheckResult(
                file=path.name,
                status="error",
                issues=[str(e)]
            ))
        
        # レート制限対策: 1秒待機
        if i < len(screenshots) - 1:
            time.sleep(1)
    
    return results
 
def print_report(results: list[ScreenshotCheckResult]):
    """チェック結果をサマリーレポートとして出力"""
    ok_count = sum(1 for r in results if r.status == "ok")
    issue_count = sum(1 for r in results if r.status == "issues_found")
    
    print(f"\n{'='*50}")
    print(f"スクリーンショットQAレポート")
    print(f"{'='*50}")
    print(f"✅ 問題なし: {ok_count}件")
    print(f"❌ 問題あり: {issue_count}件")
    
    for r in results:
        if r.status == "issues_found":
            print(f"\n📱 {r.file}")
            for issue in r.issues:
                print(f"  → {issue}")
 
# 実行
results = batch_review("./release_screenshots/", "./screenshot_configs.json")
print_report(results)

{
  "home_light_iphone15.png": "ホーム画面、ライトモード、iPhone 15",
  "home_dark_iphone15pro.png": "ホーム画面、ダークモード、iPhone 15 Pro",
  "settings_light.png": "設定画面、ライトモード",
  "settings_dark.png": "設定画面、ダークモード"
}

# .github/workflows/ui-qa.yml
name: UI Screenshot QA
 
on:
  workflow_dispatch:
  push:
    branches: [release/*]
 
jobs:
  screenshot-qa:
    runs-on: macos-latest
    steps:
      - uses: actions/checkout@v4
      
      - name: Build and capture screenshots
        run: |
          xcodebuild test \
            -scheme "MyApp" \
            -destination "platform=iOS Simulator,name=iPhone 15" \
            -testPlan "ScreenshotCapture"
          
      - name: Run Gemini Vision QA
        env:
          GEMINI_API_KEY: ${{ secrets.GEMINI_API_KEY }}
        run: |
          pip install google-generativeai --quiet
          python scripts/qa_screenshots.py ./screenshots/ --config screenshot_configs.json
          
      - name: Upload QA report
        uses: actions/upload-artifact@v4
        with:
          name: qa-report
          path: qa_report.txt