Gemini 3 Pro の Computer Use Tool でブラウザを操作する — 実装と安全設計

pip install google-generativeai

import os
from google import genai
 
# 環境変数から API キーを取得
api_key = os.getenv("GEMINI_API_KEY")
client = genai.Client(api_key=api_key)

from google import genai
 
def automate_search(query: str):
    client = genai.Client(api_key="YOUR_API_KEY")
 
    # Step 1: 現在のスクリーンショットを取得
    screenshot = capture_screen()
 
    # Step 2: AI にスクリーンショットを渡し、次のアクションを判断させる
    message = client.messages.create(
        model="gemini-3-pro",
        max_tokens=1024,
        system_prompt="You are a web automation agent. Analyze the screenshot and help complete the search task.",
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "image",
                        "source": {
                            "type": "base64",
                            "media_type": "image/png",
                            "data": screenshot
                        }
                    },
                    {
                        "type": "text",
                        "text": f"Search for '{query}' on this page. Tell me the coordinates where I should click the search box and what text to type."
                    }
                ]
            }
        ]
    )
 
    # Step 3: AI の指示に基づいてアクション実行
    response = message.content[0].text
    # パースして click_x, click_y, text を抽出
    # (実装例は省略)
 
    return response
 
# 実行例
result = automate_search("Gemini AI automation")
print(result)

def complete_ecommerce_workflow(product_name: str, qty: int):
    """
    E コマース自動購入フロー：
    1. 商品検索
    2. 商品ページを開く
    3. 数量入力
    4. カートに追加
    5. チェックアウト実行
    """
    client = genai.Client(api_key="YOUR_API_KEY")
    step = 1
    max_steps = 10
 
    while step <= max_steps:
        # 現在の画面状態を確認
        screenshot = capture_screen()
 
        # AI に次のアクションを判断させる
        response = client.messages.create(
            model="gemini-3-pro",
            max_tokens=500,
            messages=[
                {
                    "role": "user",
                    "content": [
                        {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": screenshot}},
                        {"type": "text", "text": f"Step {step}/{max_steps}: I want to buy {qty} of '{product_name}'. What's the next action?"}
                    ]
                }
            ]
        )
 
        # AI の判断に従ってアクション実行
        instruction = response.content[0].text
        execute_action(instruction)  # click, type, wait など
 
        step += 1
 
    return "Workflow completed"

def safe_automated_action(action_type: str, details: dict):
    """人間による承認が必要な場合のみ実行"""
 
    # システムが提案したアクションをユーザーに表示
    print(f"AI is proposing to: {action_type}")
    print(f"Details: {details}")
 
    # ユーザー確認
    approval = input("Approve? (yes/no): ")
 
    if approval.lower() == "yes":
        execute_action(action_type, details)
        log_action(action_type, details, approved=True)
    else:
        print("Action cancelled by user")
        log_action(action_type, details, approved=False)

def scrape_news_articles(sources: list):
    """複数のニュースサイトから記事を自動収集"""
    client = genai.Client(api_key="YOUR_API_KEY")
    articles = []
 
    for source_url in sources:
        # ブラウザをそのURLに移動
        navigate_to(source_url)
 
        # AI に「重要な記事3件のタイトルと URL をリストアップ」と指示
        screenshot = capture_screen()
        response = client.messages.create(
            model="gemini-3-pro",
            max_tokens=1000,
            messages=[
                {
                    "role": "user",
                    "content": [
                        {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": screenshot}},
                        {"type": "text", "text": "Extract 3 important articles with titles and URLs"}
                    ]
                }
            ]
        )
 
        articles.extend(parse_response(response.content[0].text))
 
    return articles

from google import genai
from google.genai import types
 
client = genai.Client()  # GEMINI_API_KEY は環境変数から読み込みます
 
config = types.GenerateContentConfig(
    tools=[types.Tool(computer_use=types.ComputerUse(
        environment=types.Environment.ENVIRONMENT_BROWSER,
    ))],
)
 
response = client.models.generate_content(
    model="gemini-2.5-computer-use-preview-10-2025",
    contents=contents,   # ユーザーの指示 + 直近のスクリーンショット
    config=config,
)

# モデルが返してくる type_text_at の引数イメージ
# {"name": "type_text_at",
#  "args": {"x": 371, "y": 470, "text": "お問い合わせ本文",
#           "press_enter": False, "clear_before_typing": True}}
 
def denormalize(value: int, length: int) -> int:
    # 座標は 0〜999 の正規化値なので、実画面サイズへ戻します
    return int(value / 1000 * length)
 
def fill_field(page, args, width, height):
    x = denormalize(args["x"], width)
    y = denormalize(args["y"], height)
    page.mouse.click(x, y)
    if args.get("clear_before_typing", True):
        page.keyboard.press("Control+A")
        page.keyboard.press("Backspace")
    page.keyboard.type(args["text"])
    if args.get("press_enter", True):
        page.keyboard.press("Enter")