Gemini TTS API を SwiftUI アプリに組み込む — AVAudioEngine との連携で詰まった2つの問題

import google.generativeai as genai
import base64
 
genai.configure(api_key="YOUR_GEMINI_API_KEY")
 
client = genai.Client()
response = client.models.generate_content(
    model="gemini-2.5-flash-preview-tts",
    contents="今日もお疲れさまでした。",
    config={
        "response_modalities": ["AUDIO"],
        "speech_config": {
            "voice_config": {
                "prebuilt_voice_config": {
                    "voice_name": "Aoede"
                }
            }
        }
    }
)
 
# レスポンスの中に音声データが含まれている
audio_data = response.candidates[0].content.parts[0].inline_data.data
# audio_data は base64 エンコードされた PCM データ
print(f"データ長: {len(audio_data)} bytes (base64)")

// ❌ これは動かない
let audioData = Data(base64Encoded: base64String)!
let player = try AVAudioPlayer(data: audioData)
player.play()

import SwiftUI
import AVFoundation
 
class GeminiTTSPlayer: ObservableObject {
    private var engine = AVAudioEngine()
    private var playerNode = AVAudioPlayerNode()
 
    // Gemini TTS API のフォーマット: 24000Hz, モノラル, 16bit PCM
    private let geminiFormat = AVAudioFormat(
        commonFormat: .pcmFormatInt16,
        sampleRate: 24000,
        channels: 1,
        interleaved: true
    )!
 
    init() {
        setupEngine()
    }
 
    private func setupEngine() {
        engine.attach(playerNode)
        engine.connect(playerNode, to: engine.mainMixerNode, format: geminiFormat)
    }
 
    func play(pcmData: Data) throws {
        // AVAudioSession の設定（詳細は後述）
        try configureAudioSession()
 
        // エンジンが動いていなければ開始
        if !engine.isRunning {
            try engine.start()
        }
 
        // PCM データを AVAudioPCMBuffer に変換
        let frameCount = UInt32(pcmData.count) / 2  // 16bit = 2 bytes/frame
        guard let buffer = AVAudioPCMBuffer(
            pcmFormat: geminiFormat,
            frameCapacity: frameCount
        ) else {
            throw TTSError.bufferCreationFailed
        }
 
        buffer.frameLength = frameCount
 
        // Int16 データをバッファにコピー
        pcmData.withUnsafeBytes { rawPtr in
            if let src = rawPtr.baseAddress?.assumingMemoryBound(to: Int16.self),
               let dst = buffer.int16ChannelData?[0] {
                dst.initialize(from: src, count: Int(frameCount))
            }
        }
 
        // 再生
        playerNode.scheduleBuffer(buffer, completionHandler: nil)
        playerNode.play()
    }
 
    private func configureAudioSession() throws {
        let session = AVAudioSession.sharedInstance()
        try session.setCategory(.playback, mode: .spokenAudio)
        try session.setActive(true)
    }
 
    enum TTSError: Error {
        case bufferCreationFailed
    }
}

struct ContentView: View {
    @StateObject private var ttsPlayer = GeminiTTSPlayer()
    @State private var isLoading = false
 
    var body: some View {
        VStack(spacing: 24) {
            Text("Gemini TTS デモ")
                .font(.title2)
 
            Button(action: {
                Task { await speakWithGemini("今日もお疲れさまでした。ゆっくり休んでください。") }
            }) {
                Label(isLoading ? "生成中..." : "読み上げる", systemImage: "speaker.wave.2")
                    .padding()
                    .frame(maxWidth: .infinity)
                    .background(Color.blue)
                    .foregroundColor(.white)
                    .cornerRadius(12)
            }
            .disabled(isLoading)
        }
        .padding()
    }
 
    func speakWithGemini(_ text: String) async {
        isLoading = true
        defer { isLoading = false }
 
        do {
            // API呼び出し（URLSession を使った実装）
            let pcmData = try await GeminiTTSAPI.generateAudio(text: text)
            try ttsPlayer.play(pcmData: pcmData)
        } catch {
            print("TTS エラー: \(error)")
        }
    }
}