Gemini Vision で壁紙アプリのカテゴリ自動分類を試した — 精度と落とし穴の実記録

import google.generativeai as genai
import base64
from pathlib import Path
 
genai.configure(api_key="YOUR_GEMINI_API_KEY")
model = genai.GenerativeModel("gemini-2.0-flash")
 
def classify_wallpaper(image_path: str) -> str:
    """壁紙画像をカテゴリに分類する（初版・改善前）"""
    image_data = Path(image_path).read_bytes()
    image_b64 = base64.b64encode(image_data).decode()
    
    response = model.generate_content([
        {
            "inline_data": {
                "mime_type": "image/jpeg",
                "data": image_b64
            }
        },
        "この壁紙画像のカテゴリを1つ選んでください: 自然, 建築, 抽象, 動物, 都市, 宇宙, 食べ物, スポーツ, その他"
    ])
    return response.text.strip()
 
result = classify_wallpaper("sample_sunset.jpg")
print(result)  # → "自然"

import google.generativeai as genai
import json
import base64
from pathlib import Path
 
genai.configure(api_key="YOUR_GEMINI_API_KEY")
model = genai.GenerativeModel("gemini-2.0-flash")
 
CATEGORIES = [
    "nature",       # 自然（森・山・海・空・植物）
    "architecture", # 建築・構造物
    "abstract",     # 抽象・テクスチャ・パターン
    "animals",      # 動物・生き物
    "cityscape",    # 都市・夜景・街
    "space",        # 宇宙・星・銀河
    "minimal",      # ミニマル・シンプル
    "other",        # 上記に当てはまらない場合のみ
]
 
SYSTEM_PROMPT = """
あなたは壁紙画像の分類AIです。以下のルールに従って分類してください。
 
ルール:
1. 必ず指定されたカテゴリリストから1つだけ選んでください
2. JSON形式で { "category": "カテゴリ名", "confidence": 0〜100, "reason": "理由を20文字以内" } を返してください
3. 境界ケース（例: 夕焼けの都市）は、画像の面積比率が多い要素を優先してください
4. "other" は上記のどれにも明確に当てはまらない場合のみ使用してください
 
カテゴリ定義:
- nature: 自然要素（森・山・海・空・植物・川）が主役の画像
- architecture: 建物・橋・構造物が主役。自然背景との組み合わせは面積で判定
- abstract: 幾何学模様・テクスチャ・グラフィックパターン・CGアート
- animals: 動物・昆虫・魚類など生き物が主役
- cityscape: 都市・ビル群・夜景・街並み
- space: 宇宙・星・銀河・惑星
- minimal: 余白が多いシンプルな構図
- other: 上記に当てはまらない場合のみ
"""
 
def classify_wallpaper_v2(image_path: str) -> dict:
    """壁紙画像をカテゴリに分類する（改善版）"""
    image_data = Path(image_path).read_bytes()
    image_b64 = base64.b64encode(image_data).decode()
    
    response = model.generate_content(
        [
            {
                "inline_data": {
                    "mime_type": "image/jpeg",
                    "data": image_b64
                }
            },
            f"画像を分類してください。カテゴリ: {', '.join(CATEGORIES)}\n{SYSTEM_PROMPT}"
        ],
        generation_config=genai.types.GenerationConfig(
            response_mime_type="application/json",  # JSON出力を強制
            temperature=0.1,  # ランダム性を抑えて安定させる
        )
    )
    
    result = json.loads(response.text)
    
    # カテゴリ名のバリデーション
    if result.get("category") not in CATEGORIES:
        result["category"] = "other"
        result["confidence"] = 0
    
    return result
 
result = classify_wallpaper_v2("sunset_city.jpg")
print(result)
# → {"category": "cityscape", "confidence": 72, "reason": "ビル群と夕焼けで都市面積が大"}

import time
import json
from pathlib import Path
 
def batch_classify_wallpapers(
    image_dir: str,
    output_json: str,
    requests_per_minute: int = 12,  # 制限15に対して安全マージンを確保
) -> dict:
    image_dir = Path(image_dir)
    output_path = Path(output_json)
    
    # 既存の結果を読み込んで途中再開
    results = {}
    if output_path.exists():
        with open(output_path) as f:
            results = json.load(f)
    
    images = list(image_dir.glob("*.jpg")) + list(image_dir.glob("*.png"))
    interval = 60.0 / requests_per_minute
    
    for i, image_path in enumerate(images):
        filename = image_path.name
        if filename in results:
            continue  # スキップ: 既に分類済み
        
        try:
            result = classify_wallpaper_v2(str(image_path))
            results[filename] = {
                "category": result["category"],
                "confidence": result.get("confidence", 0),
                "reason": result.get("reason", ""),
            }
            if (i + 1) % 10 == 0:
                with open(output_path, "w") as f:
                    json.dump(results, f, ensure_ascii=False, indent=2)
                print(f"Progress: {i+1}/{len(images)}")
        except Exception as e:
            print(f"Error: {filename} → {e}")
            results[filename] = {"category": "error", "confidence": 0, "reason": str(e)[:50]}
        
        time.sleep(interval)
    
    with open(output_path, "w") as f:
        json.dump(results, f, ensure_ascii=False, indent=2)
    
    return results

def needs_human_review(result: dict) -> bool:
    """人間によるレビューが必要かどうかを判定"""
    if result["confidence"] < 70:
        return True
    if result["category"] == "other":
        return True
    return False