長尺の音源を Gemini に「聴かせて」章立てを作る — タイムスタンプ付き構造化抽出の実装

import time
from google import genai
 
client = genai.Client(api_key="YOUR_GEMINI_API_KEY")
 
def upload_and_wait(path: str, timeout_s: int = 300):
    """音声をアップロードし、ACTIVE になるまで待つ。"""
    f = client.files.upload(file=path)
    deadline = time.time() + timeout_s
    while f.state.name == "PROCESSING":
        if time.time() > deadline:
            raise TimeoutError(f"file stuck in PROCESSING: {f.name}")
        time.sleep(2)
        f = client.files.get(name=f.name)
    if f.state.name != "ACTIVE":
        raise RuntimeError(f"upload failed: state={f.state.name}")
    return f
 
audio = upload_and_wait("relaxing_session_42min.wav")
print("ready:", audio.name)  # 例: ready: files/abcd1234

from pydantic import BaseModel
from google.genai import types
 
class Chapter(BaseModel):
    start: str   # "MM:SS" 形式
    end: str     # "MM:SS" 形式
    label: str   # 短い見出し（例: 環境音の導入）
    kind: str    # ambient / music / narration / near_silence のいずれか
 
class ChapterList(BaseModel):
    chapters: list[Chapter]
 
PROMPT = """この音源を聴き、場面が変わる境目で章に区切ってください。
各章には MM:SS 形式の開始・終了時刻、短い日本語の見出し、種別を付けます。
種別は ambient（環境音中心）/ music（旋律あり）/ narration（話し声）/
near_silence（ほぼ無音の余韻）のいずれかです。
存在しない区間を作らず、聴こえたままを時系列順に並べてください。"""
 
resp = client.models.generate_content(
    model="gemini-flash-latest",
    contents=[audio, PROMPT],
    config=types.GenerateContentConfig(
        response_mime_type="application/json",
        response_schema=ChapterList,
        temperature=0.2,  # 章立ては再現性を優先して低めに
    ),
)
 
data = ChapterList.model_validate_json(resp.text)
for c in data.chapters:
    print(f"{c.start}-{c.end} [{c.kind}] {c.label}")

def mmss_to_sec(s: str) -> int:
    m, sec = s.split(":")
    return int(m) * 60 + int(sec)
 
def sec_to_mmss(t: int) -> str:
    return f"{t // 60:02d}:{t % 60:02d}"
 
def sanitize(chapters, duration_sec: int):
    cleaned = []
    for c in chapters:
        a, b = mmss_to_sec(c.start), mmss_to_sec(c.end)
        a = max(0, min(a, duration_sec))
        b = max(0, min(b, duration_sec))
        if b - a < 5:           # 5秒未満の極端に短い章は捨てる
            continue
        cleaned.append((a, b, c.label, c.kind))
    cleaned.sort(key=lambda x: x[0])     # 開始時刻で整列
    # 重なりを解消（前章の終わりへ後章の開始を寄せる）
    fixed = []
    prev_end = 0
    for a, b, label, kind in cleaned:
        a = max(a, prev_end)
        if b <= a:
            continue
        fixed.append({"start": sec_to_mmss(a), "end": sec_to_mmss(b),
                      "label": label, "kind": kind})
        prev_end = b
    return fixed
 
clean = sanitize(data.chapters, duration_sec=78 * 60 + 12)

tail_silence = [c for c in clean if c["kind"] == "near_silence"
                and mmss_to_sec(c["start"]) > duration_sec * 0.8]
# → プレビュー生成時のフェードアウト開始位置の候補に使う