◉GEMINI LABEN
●HYDROGEN — Gemini 4 Hydrogen は 11/12 に GA。入力 100 万トークンあたり $1.50・出力 $7.50 で、xhigh の思考レベルが加わりました●CLI 0.68 — Gemini CLI の安定版は v0.68.0、プレビューは v0.69.0-preview.0(いずれも 11/10)のままです●GEMINI 2.5 — gemini-2.5-pro と gemini-2.5-flash の API 停止は 12/1、残り14日です●NODE 24 — Node.js 24 で Gemini CLI を入れると、keytar の非推奨と install script の警告が出る、という問いが出ています●DECISIONS — 11/11 公開の Decisions API は、二値・カテゴリ・ルーブリックの判定に特化した呼び出し方です●NEW — OpenAI 互換レイヤーで JSON の形が揃わないとき●HYDROGEN — Gemini 4 Hydrogen は 11/12 に GA。入力 100 万トークンあたり $1.50・出力 $7.50 で、xhigh の思考レベルが加わりました●CLI 0.68 — Gemini CLI の安定版は v0.68.0、プレビューは v0.69.0-preview.0(いずれも 11/10)のままです●GEMINI 2.5 — gemini-2.5-pro と gemini-2.5-flash の API 停止は 12/1、残り14日です●NODE 24 — Node.js 24 で Gemini CLI を入れると、keytar の非推奨と install script の警告が出る、という問いが出ています●DECISIONS — 11/11 公開の Decisions API は、二値・カテゴリ・ルーブリックの判定に特化した呼び出し方です●NEW — OpenAI 互換レイヤーで JSON の形が揃わないとき
記事一覧/API / SDK
◈ API / SDK/2026-05-18中級

Gemini Vision で壁紙アプリの自動カテゴリ分類を実装した話

個人開発の壁紙アプリで Gemini Vision API を使い、画像の自動カテゴリ分類を実装した実体験です。精度改善のプロセスと、公式ドキュメントには載っていない落とし穴、GPT-4o Vision とのコスト比較までまとめました。

gemini121gemini-api293vision5multimodal24python112個人開発122壁紙アプリ8

Beautiful HD Wallpapersの Android 版(v2.0.0)を Google Play に出す準備をしていた頃、壁紙のカテゴリ分類に頭を抱えていました。アプリには数千枚の画像があり、「自然」「都市」「抽象」「動物」「宇宙」といった30以上のカテゴリに正確に分類するのが、長年の課題でした。手作業で行うと数日かかる作業を、Gemini Vision API でどこまで自動化できるか試した記録です。

結論から言うと、精度は想像以上でしたが、画像の曖昧さに対するモデルの振る舞いが公式ドキュメントだけでは読み切れず、実装面でいくつかの工夫が必要でした。

この記事を見返していて、コードの二か所がすでに古くなっていることに気づきました。一つは、本文で使っていた gemini-2.0-flash が 2026 年 6 月 1 日に提供終了となっていること。もう一つは、google.generativeai パッケージが非推奨になり、後継の google-genai へ移る流れになっていることです。公開当時の手触りはそのまま残し、コードは現行の SDK に合わせて書き直しました。

個人開発を長く続けるなかで、画像の整理・分類作業はいつも頭の痛い問題でした。特に Beautiful HD Wallpapers は画像点数が多く、新しい壁紙を追加するたびにカテゴリ判断へ時間を取られていました。「いつかAIで自動化できないか」と思いながら年月が過ぎ、ようやく実用に足る解が見つかったという感覚があります。

なぜ Gemini Vision を選んだか

壁紙の自動分類には、いくつかの選択肢がありました。

ローカルの画像分類モデル(MobileNet, EfficientNet)は高速で安価ですが、カテゴリ定義が固定されており、「幻想的な森」「水彩画風の夜景」のような曖昧なカテゴリへの対応が難しいです。これらのモデルはImageNetのクラス分類に最適化されており、独自カテゴリへの転移学習には相応のデータとトレーニング工数が必要になります。

GPT-4o Vision は精度が高い一方で、当時使っていた Gemini 2.0 Flash と比較して1リクエストあたり約2〜3倍のコストがかかりました。個人開発で数千枚の画像を一括処理することを考えると、この差は無視できません。

最終的に Gemini の Flash 系(マルチモーダル)を選んだ理由は、コストと精度のバランスでした。公開当時の単価は GPT-4o Vision と比べて大幅に安価でした。現行モデルの単価は当時と違いますので、導入前に公式の料金ページで確認してください。加えて、Function Calling による構造化出力との親和性が高く、JSON形式での回答をプロンプト側でコントロールしやすい点も魅力でした。

基本的な実装

まず、Gemini APIで壁紙を分類する最小構成のコードです。SDK は google-genai を使います。

import json
import os
 
from google import genai
from google.genai import types
 
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])
 
# モデル名は定数に切り出しておきます。提供終了の予定は公式の deprecations ページで確認してください
MODEL = "gemini-3.6-flash"
 
# カテゴリ定義(アプリのカテゴリ一覧)
CATEGORIES = [
    "nature", "city", "abstract", "animals", "space",
    "ocean", "mountain", "forest", "flower", "architecture",
    "art", "minimal", "dark", "colorful", "japan",
]
 
def classify_wallpaper(image_path: str) -> dict:
    """
    壁紙画像をGemini Visionで分類する
    戻り値: {"category": "nature", "confidence": "high", "reason": "..."}
    """
    with open(image_path, "rb") as f:
        image = types.Part.from_bytes(data=f.read(), mime_type="image/jpeg")
 
    prompt = f"""
あなたは壁紙アプリのカテゴリ分類システムです。
この画像を以下のカテゴリから1つだけ選んでください:
{', '.join(CATEGORIES)}
 
以下のJSON形式で回答してください:
{{
  "category": "選んだカテゴリ(英語)",
  "confidence": "high / medium / low",
  "reason": "分類の根拠(日本語で1文)"
}}
 
必ずJSON形式のみで回答し、他の説明は不要です。
"""
 
    response = client.models.generate_content(model=MODEL, contents=[prompt, image])
 
    # JSON抽出(モデルがコードブロックで囲んで返すことがあります)
    text = response.text.strip()
    if "```json" in text:
        text = text.split("```json")[1].split("```")[0].strip()
    elif "```" in text:
        text = text.split("```")[1].split("```")[0].strip()
 
    return json.loads(text)
 
# 使用例
result = classify_wallpaper("wallpaper_001.jpg")
print(result)
# 出力例: {"category": "nature", "confidence": "high", "reason": "緑豊かな森の朝霧を捉えた写真"}
```json" in text:
        text = text.split("```json")[1].split("```")[0].strip()
    elif "```" in text:
        text = text.split("```")[1].split("```")[0].strip()
 
    return json.loads(text)
 
# 使用例
result = classify_wallpaper("wallpaper_001.jpg")
print(result)
# 出力例: {"category": "nature", "confidence": "high", "reason": "緑豊かな森の朝霧を捉えた写真"}

このコードは動きますが、本番投入するとすぐに問題が出てきます。

実際に起きた問題と解決策

JSONパースの失敗

当時使っていた Gemini 2.0 Flash は、指示してもJSON以外のテキストを含めて返すことがありました。特に「confidence: low」の場合に「この画像は分類が難しいです。最も近いカテゴリとしては...」のような前置きを付けることがありました。

最初は単純な json.loads() で対応していましたが、本番では10〜15%のレスポンスでパースに失敗しました。正規表現でJSONブロックを抽出する関数を作ることで安定しました。

import re
 
def extract_json_safely(text: str) -> dict | None:
    """レスポンステキストからJSONを安全に抽出します"""
    # コードブロックを除去
    text = re.sub(r'```(?:json)?\n?', '', text).strip()
 
    # JSON部分だけを正規表現で抽出
    json_match = re.search(r'\{[^{}]*\}', text, re.DOTALL)
    if not json_match:
        return None
 
    try:
        return json.loads(json_match.group())
    except json.JSONDecodeError:
        return None

公式ドキュメントにはJSONモードの設定として response_mime_type="application/json" を使う方法も記載されています。ただし、この設定を有効にすると reason フィールドに日本語が含まれる場合に文字化けするケースが稀に発生しました。プロンプト側でのJSON指示 + 正規表現抽出の組み合わせの方が、私の環境では安定していました。

曖昧な画像のカテゴリ定義

「抽象的な水彩画の森」「宇宙のような暗い海中」など、複数のカテゴリにまたがる画像で分類が不安定になることがありました。試行錯誤の末、プロンプトに**各カテゴリの「これに含まれない例」**を追加することで精度が大幅に改善しました。

CATEGORY_DESCRIPTIONS = {
    "nature": "森・草原・田舎の風景。都市の建物が入っていたら architecture か city を選ぶ",
    "ocean": "海・海岸・波。水族館の水中写真も含みます。川や湖は nature",
    "abstract": "現実の物体が認識できない抽象的なパターン・グラデーション・デジタルアート",
    "art": "絵画・イラスト・アニメ風・水彩画。写真でも強く加工されているものも含む",
    "japan": "日本の神社仏閣・桜・浮世絵・着物。都市の場合でも日本的な要素が主題であれば japan",
}
 
def build_prompt_with_descriptions(categories: list, descriptions: dict) -> str:
    cat_lines = []
    for cat in categories:
        desc = descriptions.get(cat, "")
        if desc:
            cat_lines.append(f"- {cat}: {desc}")
        else:
            cat_lines.append(f"- {cat}")
    return "\n".join(cat_lines)

カテゴリの除外例をプロンプトに埋め込んだ後、中信頼度(medium)の精度が78.6%から87.3%に向上しました。

バッチ処理でのレート制限

数千枚をバッチ処理すると、Gemini API のレート制限(当時の無料枠: 15 RPM / 1,000 RPD。現在の上限はモデルごとに異なります)に引っかかりました。有料プランでも急激な並列リクエストは制限を受けます。エラーメッセージは 429 Resource Exhausted として返ってきます。

import time
 
def classify_batch(image_paths: list, rpm_limit: int = 30) -> list:
    """
    レート制限を守りながらバッチ処理します
    rpm_limit: 1分あたりの最大リクエスト数
    """
    results = []
    delay = 60 / rpm_limit  # リクエスト間隔(秒)
 
    for i, path in enumerate(image_paths):
        try:
            result = classify_wallpaper(path)
            results.append({"path": path, "status": "ok", **result})
        except Exception as e:
            # 429エラーは少し待ってリトライ
            if "429" in str(e):
                time.sleep(30)
                result = classify_wallpaper(path)
                results.append({"path": path, "status": "retry", **result})
            else:
                results.append({"path": path, "status": "error", "error": str(e)})
 
        if (i + 1) % 10 == 0:
            print(f"進行状況: {i + 1}/{len(image_paths)}")
 
        if i < len(image_paths) - 1:
            time.sleep(delay)
 
    return results

精度の実測値

Beautiful HD Wallpapers の実データ(2,400枚)で検証した結果です。測ったのは Gemini 2.0 Flash の時代で、現行モデルでの数字ではありません。

  • 高信頼度(high)の分類精度: 94.2%(2,400枚中 約1,400枚がhigh判定)
  • 中信頼度(medium)の分類精度: 78.6%→87.3%(カテゴリ説明追加後)
  • 低信頼度(low)の分類精度: 51.3%(約150枚がlow判定)

confidence: low の画像は手動確認キューに入れる運用にすることで、全体の自動化率は約92%を達成しました。Gemini Vision を使う前は、手作業で1日200〜300枚が限界でしたが、バッチ処理で1時間あたり1,000枚以上を処理できるようになりました。

精度の誤分類パターンで特に多かったのは、「japan」カテゴリへの誤判定でした。桜の木が入った「nature」画像を「japan」と判定するケースが頻発したため、japan の定義に「自然風景の中に桜だけがある場合は nature を選ぶ」という一文を追加しました。

Gemini 2.0 Flash と GPT-4o Vision のコスト比較

公開当時、同じ2,400枚の壁紙を両モデルで分類したときのコストです。

  • Gemini 2.0 Flash: 約$0.18(画像+テキスト合計)
  • GPT-4o Vision: 約$0.54(同条件)

個人開発の規模では3倍の差は無視できません。精度差は高信頼度の分類で約1〜2%程度でした。コストを許容できるなら GPT-4o の方がやや安定していますが、壁紙分類のような用途では Gemini の Flash 系で十分だと感じています。

ただし、美術品・アート作品の分類に使う場合は話が変わります。浮世絵壁紙(Ukiyo-e Wallpapers)の分類では、「これは浮世絵の特定の時代様式か」「作者の特徴があるか」といった細かい判定が必要になることがあり、そこでは GPT-4o の方が明らかに安定していました。用途とコストを天秤にかけて選ぶのが現実的だと思います。

構造化出力で JSON パースを根本から減らす

先ほどの最小構成は、正規表現で JSON を救出する方針でした。ただ、その後 SDK 側の構造化出力が実用域に入り、パース失敗そのものをほぼ起こさずに済むようになりました。google-genai SDK では、response_schema に Pydantic モデルを渡すと、モデルがそのスキーマに沿った JSON だけを返してくれます。

from enum import Enum
 
from google.genai import types
from pydantic import BaseModel
 
# client と MODEL は、上の最小構成で作ったものを使います
 
class Confidence(str, Enum):
    high = "high"
    medium = "medium"
    low = "low"
 
class Classification(BaseModel):
    category: str
    confidence: Confidence
    reason: str
 
def classify_structured(image_path: str) -> Classification:
    with open(image_path, "rb") as f:
        img = types.Part.from_bytes(data=f.read(), mime_type="image/jpeg")
    resp = client.models.generate_content(
        model=MODEL,
        contents=["この壁紙を1カテゴリに分類してください。", img],
        config=types.GenerateContentConfig(
            response_mime_type="application/json",
            response_schema=Classification,
        ),
    )
    return Classification.model_validate_json(resp.text)

スキーマを渡す方式へ切り替えてから、前置きテキストの混入による json.loads() の失敗は、私の手元ではほぼゼロになりました。confidence を Enum で縛っておくと、"とても高い" のような表記揺れも防げます。記事公開当時に困っていた日本語 reason の文字化けも、最近のモデルでは再現しなくなりました。冒頭で紹介した正規表現フォールバックは、response_schema 非対応の古いモデルを併用する場合の保険として残しておけば十分です。

モデル名は MODEL の一か所だけで変えられるようにしてあります。軽量ティアの Flash 系で一括分類し、判定が割れた画像だけ上位ティアで再分類する二段構えにすると、コストを抑えつつ精度を底上げできます。

自動化と人間の目をどう分けるか

壁紙アプリを長く運営してきて感じるのは、「美しさ」には数値化しきれない何かが残るということです。AI が medium や low と返してくる壁紙のなかにも、人の目が引き寄せられる一枚は確かにあります。逆に high でも、並べてみると単調に見えるものもあります。分類の正しさと、選ばれる魅力は別物だと痛感します。

だからこそ私自身は、完全自動化ではなく「92%自動 + 8%人間」という運用に落ち着いています。明確に判定できる画像は思い切って AI に任せ、confidence: low の手動確認キューに人の目を集中させます。この線引きが、個人で運営を続けるうえでは最も無理がないと感じています。

運用を回すうえで効いたのは、reason フィールドをログに残しておくことでした。誤分類が起きたとき、モデルが「なぜそのカテゴリを選んだか」を後から読み返せるので、プロンプトのどの記述を直せばよいかがすぐ分かります。精度を一度に上げようとせず、reason を手がかりにカテゴリ定義を一文ずつ調整していく。結局これが、いちばん遠回りに見えていちばん早い改善ルートでした。

数字を、測ったモデルの名前と一緒に残す

この記事は公開後、精度の数字だけが独り歩きして、モデル名が置き去りになっていました。94.2%、87.3%、92%という数字は、どれも Gemini 2.0 Flash を使っていた時期の実測です。モデルが替われば、同じ 2,400 枚でも結果は動きます。見返すまで、その当たり前に気づけていませんでした。

いまは、実測値を書き残すときに、モデル名と測った日付を必ず隣に置くようにしています。そして、モデルを替えたら同じ 100 枚の検証セットで測り直してから本番に出します。

数字は、測ったモデルの名前と一緒に残しておきます。 地味な線引きですが、壁紙の分類を回し続けるうえで、いちばん後から効いてくると感じています。

次のステップ

まず Google AI Studio でAPIキーを取得し、上記の最小構成コードを試してみてください。無料枠で何枚まで試せるかはモデルごとに異なりますので、公式のレート制限のページで確認してから始めると安心です。

カテゴリ定義を自分のアプリに合わせて書き換えるだけで、すぐに実用的な分類器として機能します。まずは100枚程度の小さなバッチで試して、精度感を掴んでから本番規模に拡張していくのがおすすめです。

シェア

お読みいただきありがとうございます

Gemini Lab は広告なしで運営しており、サーバー費用などの運営コストはメンバーシップのご支援で賄っています。実装コード・ベンチマーク・本番設計パターンなど、実務でお役立ていただける記事を毎日更新しています。もし読んでよかったと感じていただけましたら、ぜひご覧ください。

  • ✦コピー&ペーストで使える実装コード付き
  • ✦毎日新しい上級ガイドを追加
  • ✦¥580/月 または ¥1,480 の永久アクセス
メンバーシップを見る →

もしこの記事がお役に立ちましたら、チップ(¥150)で応援いただけると大変励みになります。広告なしでの運営を続けるため、皆さまのご支援が大きな力になっています。

関連記事

◈ API / SDK2026-05-16
Gemini Vision で壁紙アプリのカテゴリ自動分類を試した — 精度と落とし穴の実記録
壁紙アプリの画像カテゴリ自動分類を Gemini Vision で実装した記録。精度67%から87%への改善手順と、confidence 閾値で人間レビューを全体の15%に絞り込む運用設計を紹介します。
◈ API / SDK2026-09-04
ループ音源のプチノイズは、Gemini に聴かせる前に波形の端で切り分けられます
環境音のループ再生で折り返しだけがプチッと鳴る。音声理解に丸ごと投げる前に、波形の端の段差を内部の変化量で正規化してふるい分ける手順と、配布形式への変換で継ぎ目が作り直される落とし穴をまとめました。
◈ API / SDK2026-08-23
アプリに載せる AI 機能を、実行時呼び出しから配布前の一括処理に寄せました
アプリに Gemini を組み込むとき、実行時に呼ぶか配布前に呼び終えるかで呼び出し回数の増え方が変わります。素材数に比例させる設計へ切り替えた判断基準と、冪等な一括処理の実装をまとめました。