「お願い」するだけで、アプリが動く時代へ
2026年3月のPixel Feature Dropで、Google は Gemini に大きなアップデートを加えました。その目玉が Gemini App Actions です。これまでの Gemini は「質問に答える」「文章を生成する」といった会話型のアシスタントでしたが、App Actions によって「アプリの中で実際にタスクを実行する」エージェント型AIへと進化しました。
たとえば「明日の朝7時に空港までタクシーを予約して」と話しかけると、Gemini が配車アプリを起動し、出発地と目的地を入力し、車種を選び、予約の確認まで行ってくれます。ユーザーが複数のアプリを行き来する手間が、一つの自然言語指示に集約されるのです。
App Actions の仕組み
Gemini App Actions は、Android のアクセシビリティレイヤーと Google の大規模言語モデルを組み合わせた技術基盤の上に構築されています。仕組みを簡単に整理すると、次のような流れになります。
まず、ユーザーが自然言語でリクエストを送ると、Gemini がその意図を解析します。次に、対象となるアプリを特定し、バックグラウンドでアプリを起動します。そして画面上のUI要素を認識しながら、タップ・入力・スクロールなどの操作を自動で実行していきます。最後に、操作の途中で追加の確認が必要な場合は、ユーザーに選択肢を提示してくれます。
ポイントは、アプリ側が特別なAPIを実装していなくても動作するという点です。Gemini がアプリの画面を「見て」理解し、人間と同じようにUIを操作するアプローチを採っています。
実際に試してみた — 3つのシナリオ
シナリオ 1: 食料品の注文
「今週の買い物リストにある食材を注文して」と指示すると、Gemini は Google Keep のリストを参照し、デリバリーアプリを開いて該当する商品を検索・カートに追加してくれました。商品の選択肢が複数ある場合は「この2つのうちどちらがいいですか？」と聞いてきます。最終的な注文確定は必ずユーザーの承認を求める設計になっており、意図しない決済が走る心配はありません。
シナリオ 2: レストランの予約
「今週金曜日の19時に、渋谷で4人のディナーを予約して」と依頼しました。Gemini は Google Maps で周辺のレストランを検索し、空席状況を確認した上でいくつかの候補を提示してくれました。選択後は予約アプリに遷移して、必要な情報を自動入力してくれます。
シナリオ 3: 通勤ルートの最適化
「明日の出勤ルートを確認して、混みそうなら早めのアラームをセットして」という複合的な指示も処理できました。Google Maps で翌日の交通予測を確認し、渋滞が予想される場合は時計アプリのアラームを自動調整してくれます。
Circle to Search のマルチアイテム認識
同じ3月のアップデートで、Circle to Search にもマルチアイテム認識機能が追加されました。これまでは画面上の1つのアイテムを囲んで検索する仕組みでしたが、複数のアイテムを同時に囲むことで、それぞれの検索結果をまとめて取得できるようになりました。
たとえば、友人が着ているジャケットとスニーカーを同時に囲めば、それぞれのブランドや購入先を一度に調べられます。ショッピングだけでなく、料理の写真に写っている複数の食材を同時に特定するといった使い方も便利です。
Magic Cue — 会話の文脈を読む提案機能
もう一つ注目したいのが Magic Cue です。メッセージアプリでの会話中に「今夜どこで食べる？」といったやり取りが検出されると、Gemini が文脈を読み取ってレストランの候補をカード形式で提案してくれます。
会話を中断してブラウザを開く必要がなくなるのは、地味ですが非常に快適な体験です。提案はあくまでプッシュ通知ではなく、チャット画面内に控えめに表示されるため、邪魔に感じることもありません。
エージェント型AI — ここが面白い、ここが課題
面白いポイント
App Actions が示しているのは、AIアシスタントの「次のステージ」です。これまでのAIは情報の検索や生成が中心でしたが、エージェント型AIは実際に行動を起こします。ユーザーの代わりにアプリを操作し、タスクを完了させる。この「AIが手を動かしてくれる」感覚は、一度体験すると想像以上にインパクトがあります。
特に複数のアプリをまたぐ複合タスクでは、人間が10回のタップと3つのアプリ切り替えで行っていた作業を、一文の指示で完了できる可能性があります。
現時点の課題
一方で、まだ発展途上の部分もあります。対応アプリは主要なものに限られており、日本のローカルアプリへの対応は今後の課題です。また、画面遷移が複雑なアプリでは処理に時間がかかったり、意図通りに動作しないケースも見られました。
プライバシーの観点も重要です。Gemini がアプリの画面内容を「読む」という仕組み上、どのデータが Google に送信されるのかについて、ユーザーが十分に理解した上で利用することが大切です。
まとめ — スマホ体験の転換点
Gemini App Actions は、単なる新機能の追加ではなく、スマートフォンとの付き合い方そのものを変えるポテンシャルを持っています。「アプリを開いて操作する」から「AIに頼んで任せる」へ。このシフトは、スマートフォンが登場した時のような体験の転換点になるかもしれません。
まだ対応範囲や精度に改善の余地はありますが、方向性は明確です。今後のアップデートで対応アプリが増え、動作の精度が向上していくことに大きな期待を感じています。Pixel をお持ちの方は、ぜひ一度試してみてください。日常のスマホ操作に対する感覚が変わるはずです。