TAG

マルチモーダル

25 記事

Gemini 3 の media_resolution は入力の種類によって効き方が変わります。音声が段階に反応しない理由と、公式ドキュメントの数字が揃っていない箇所、そして自分の API キーでトークンを数え直す手順をまとめました。

Gemini API のマルチモーダル機能を個人開発の収益化へ直結させるロードマップです。Gemini × Firebase × Stripe のアーキテクチャ、動画・音声解析の課金パターン、無料から有料への導線設計、サブスクと単発購入のハイブリッドまで実装コードで示します。

Gemini API を使って副業として月数万円を作る90日のロードマップ。マルチモーダル対応・コンテキストキャッシング・Free Tier活用といったGeminiの強みを最大限活かしながら、個人事業者が無理なく続けられる収益化構造をフェーズ分けで解説します。

公開プレビューの Gemini Omni Flash は、生成した動画を自然文で編集し直せます。ただし『照明を夕方に』は効いても『カメラを30度右へ』はしばしば外れます。効く指示と外れる指示の境界を、フレーム照合で機械的に仕分けながら測った運用記録です。

Omni Flash の公開プレビューで、ffmpeg のフレーム抽出と個別呼び出しに頼っていた動画理解を1回のネイティブ呼び出しへ畳む最小構成と、フレーム抽出を残すべき境界を実測ベースで整理します。

画面録画やアプリのデモ動画から「あの操作はどこ？」を探すのは骨が折れます。Gemini API の動画理解を使い、タイムスタンプ付きで該当箇所だけを引き出す方法と、FPS・解像度でトークンを抑える設計をまとめます。

gemini-embedding-2 でテキストと画像を1つの File Search ストアに混ぜると、検索結果が片方のモダリティへ静かに偏ることがあります。スコア分布のずれを測り、モダリティ別の正規化とクォータ方式のマージで偏りを取得後に均す設計を、計測コードと一緒に共有します。

テキストのヘルプ記事と画面スクリーンショットを別々のストアで管理していて、回答に手順画像を添えられない。gemini-embedding-2 のマルチモーダル対応で両者を同じ File Search に入れ、引用元の画像まで返すまでを実装で整理しました。

Gemini 3 系で導入された media_resolution は、画像入力が消費するトークン量を3段階で切り替えるパラメータです。バッチ画像分類の実測を通して、コストと精度のバランスをタスク別に最適化する手順を解説します。

数千枚の壁紙アセットから目当ての一枚を探す作業を、File Search のマルチモーダル検索（gemini-embedding-2）に置き換えられるか300枚で検証しました。カテゴリタグ運用との比較、つまずいた点、使い分けの結論を実装コードとともに残します。

壁紙アプリの新規バッチを提出する前に、Gemini の画像理解でストア審査リスクを事前点検した2週間の運用メモです。商標の写り込みなど何を拾えて何を拾えなかったか、コストと処理時間の実測、目視チェックとの役割分担を個人開発の視点で記録しました。

自作のアート画像を Gemini Vision に分析させ、AI が何を読み取り、何を見落としたかを検証しました。壁紙アプリ運営での実用的な使いどころと、現状の限界を個人開発者の視点で正直にまとめます。