Gemini APIでスクリーンショットのローカライズを自動化する方法

import anthropic
import base64
import json
from pathlib import Path
 
def extract_and_translate_screenshot(
    image_path: str,
    target_language: str = "Japanese",
    source_language: str = "English"
) -> dict:
    """
    スクリーンショットからテキストを抽出し、指定言語に翻訳
    """
    client = anthropic.Anthropic(api_key="YOUR_GEMINI_API_KEY")
 
    # 画像をBase64エンコード
    image_data = Path(image_path).read_bytes()
    base64_image = base64.standard_b64encode(image_data).decode("utf-8")
 
    # Gemini APIに画像とテキスト抽出指示を送信
    message = client.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=2048,
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "image",
                        "source": {
                            "type": "base64",
                            "media_type": "image/png",
                            "data": base64_image,
                        },
                    },
                    {
                        "type": "text",
                        "text": f"""このスクリーンショットから以下の情報を抽出してください：
 
1. 画面に表示されている全テキスト（ボタン、ラベル、説明文など）
2. テキストの位置情報（上部・中央・下部など）
3. 画面の目的（ホーム画面、設定画面など）
 
抽出したテキストを{target_language}に翻訳し、以下のJSON形式で返してください：
 
{{
    "original_language": "{source_language}",
    "target_language": "{target_language}",
    "screen_purpose": "画面の目的",
    "text_elements": [
        {{
            "original_text": "元のテキスト",
            "translated_text": "翻訳後のテキスト",
            "position": "位置情報",
            "element_type": "button/label/description"
        }}
    ]
}}"""
                    }
                ],
            }
        ],
    )
 
    # レスポンスをJSON形式で解析
    response_text = message.content[0].text
    # JSONブロックを抽出
    json_start = response_text.find('{')
    json_end = response_text.rfind('}') + 1
    json_str = response_text[json_start:json_end]
 
    return json.loads(json_str)
 
# 使用例
result = extract_and_translate_screenshot(
    image_path="app_screenshot.png",
    target_language="Japanese",
    source_language="English"
)
 
print(json.dumps(result, indent=2, ensure_ascii=False))

import os
import json
from pathlib import Path
from typing import List, Dict
 
def batch_localize_screenshots(
    screenshot_dir: str,
    output_dir: str,
    target_languages: List[str] = ["Japanese", "German", "French", "Spanish"]
) -> None:
    """
    ディレクトリ内の全スクリーンショットを複数言語でローカライズ
    """
    client = anthropic.Anthropic(api_key="YOUR_GEMINI_API_KEY")
 
    screenshot_files = sorted(Path(screenshot_dir).glob("*.png"))
 
    # 出力ディレクトリ作成
    Path(output_dir).mkdir(parents=True, exist_ok=True)
 
    localization_log = []
 
    for screenshot_file in screenshot_files:
        print(f"処理中: {screenshot_file.name}")
 
        for language in target_languages:
            # 各言語でスクリーンショットを処理
            translation_result = extract_and_translate_screenshot(
                str(screenshot_file),
                target_language=language,
                source_language="English"
            )
 
            # 言語別に結果を保存
            lang_code = language.lower()[:2]
            output_file = Path(output_dir) / f"{screenshot_file.stem}_{lang_code}.json"
 
            with open(output_file, 'w', encoding='utf-8') as f:
                json.dump(translation_result, f, indent=2, ensure_ascii=False)
 
            localization_log.append({
                "screenshot": screenshot_file.name,
                "language": language,
                "output_file": str(output_file),
                "status": "completed"
            })
 
    # ログを保存
    log_file = Path(output_dir) / "localization_log.json"
    with open(log_file, 'w', encoding='utf-8') as f:
        json.dump(localization_log, f, indent=2, ensure_ascii=False)
 
    print(f"\n処理完了。結果は {output_dir} に保存されました。")
 
# 使用例
batch_localize_screenshots(
    screenshot_dir="./app_screenshots",
    output_dir="./localized_data",
    target_languages=["Japanese", "German", "French", "Spanish"]
)