TAG

マルチモーダル

24 記事

公開プレビューの Gemini Omni Flash は、生成した動画を自然文で編集し直せます。ただし『照明を夕方に』は効いても『カメラを30度右へ』はしばしば外れます。効く指示と外れる指示の境界を、フレーム照合で機械的に仕分けながら測った運用記録です。

Omni Flash の公開プレビューで、ffmpeg のフレーム抽出と個別呼び出しに頼っていた動画理解を1回のネイティブ呼び出しへ畳む最小構成と、フレーム抽出を残すべき境界を実測ベースで整理します。

画面録画やアプリのデモ動画から「あの操作はどこ？」を探すのは骨が折れます。Gemini API の動画理解を使い、タイムスタンプ付きで該当箇所だけを引き出す方法と、FPS・解像度でトークンを抑える設計をまとめます。

gemini-embedding-2 でテキストと画像を1つの File Search ストアに混ぜると、検索結果が片方のモダリティへ静かに偏ることがあります。スコア分布のずれを測り、モダリティ別の正規化とクォータ方式のマージで偏りを取得後に均す設計を、計測コードと一緒に共有します。

テキストのヘルプ記事と画面スクリーンショットを別々のストアで管理していて、回答に手順画像を添えられない。gemini-embedding-2 のマルチモーダル対応で両者を同じ File Search に入れ、引用元の画像まで返すまでを実装で整理しました。

Gemini 3 系で導入された media_resolution は、画像入力が消費するトークン量を3段階で切り替えるパラメータです。バッチ画像分類の実測を通して、コストと精度のバランスをタスク別に最適化する手順を解説します。

数千枚の壁紙アセットから目当ての一枚を探す作業を、File Search のマルチモーダル検索（gemini-embedding-2）に置き換えられるか300枚で検証しました。カテゴリタグ運用との比較、つまずいた点、使い分けの結論を実装コードとともに残します。

壁紙アプリの新規バッチを提出する前に、Gemini の画像理解でストア審査リスクを事前点検する運用を2週間試しました。何を拾えて、何を拾えなかったか。個人開発者としての実測メモです。

自作のアート画像を Gemini Vision に分析させ、AI が何を読み取り、何を見落としたかを検証しました。壁紙アプリ運営での実用的な使いどころと、現状の限界を個人開発者の視点で正直にまとめます。

Gemini 3.2 Flash のマルチモーダル入力を使い、iOS/Android アプリのスクリーンショットを自動でビジュアルQAするスクリプトを実装した実践記録。個人開発者がリリース前に見落としがちなUIの崩れ・文字切れ・ダークモード差異を Python 30行で検出する方法を紹介します。

Gemini API の最大の武器であるマルチモーダル機能を、個人開発者がどう収益化に直結させるか。アプリ設計から課金導線、Stripe との連携、運用の現場知見までを完全な実装コードで解説します。

Gemini API を使って副業として月数万円を作る90日のロードマップ。マルチモーダル対応・コンテキストキャッシング・Free Tier活用といったGeminiの強みを最大限活かしながら、個人事業者が無理なく続けられる収益化構造をフェーズ分けで解説します。