OpenClaw × Gemini でAIパートナーを作る — LINE・Discord で動くカスタムAI構築術

// image-analysis-skill.js
module.exports = {
  name: 'analyze_image',
 
  async execute(params) {
    const { imageUrl, context } = params;
 
    // Gemini Vision で画像解析
    const analysis = await gemini.analyzeImage({
      image: imageUrl,
      prompt: `
        この画像を見て、ユーザーに対して：
        1. 画像の内容を簡潔に説明
        2. 状況に応じたアドバイスを3つ
        3. 関連する興味深い知識をシェア
 
        ユーザーのコンテキスト: ${context}
      `
    });
 
    return {
      actionType: 'message',
      content: analysis,
      includeImage: true  // 画像もレスポンスに含める
    };
  }
};

// voice-handler.js
module.exports = {
  async handleVoiceMessage(audioFile, platform) {
    // 1. 音声を文字起こし（Google Cloud Speech-to-Text）
    const transcript = await speechToText(audioFile);
 
    // 2. Gemini で応答生成
    const response = await gemini.generateMessage(transcript);
 
    // 3. テキストを音声に変換（Google Cloud TTS）
    const audioResponse = await textToSpeech(response, {
      language: 'ja-JP',
      voiceType: 'natural',  // より自然な音声
      emotionLevel: 0.7,  // 感情を込めた話し方
    });
 
    // 4. 返信
    await sendVoiceMessage(audioResponse, platform);
  }
};

// video-stream-handler.js
module.exports = {
  async analyzeVideoStream(streamUrl) {
    // ビデオキャプチャ（フレームごと）
    const frames = await captureFrames(streamUrl, {
      interval: 5000,  // 5秒ごと
    });
 
    for (const frame of frames) {
      // 各フレームを Gemini が分析
      const analysis = await gemini.analyzeImage(frame, {
        systemPrompt: 'リアルタイムでユーザーをサポート中。変化を追跡して簡潔にコメント。'
      });
 
      await sendUpdate(analysis);
    }
  }
};

Plan Comparison:
  Free Tier:
    rateLimit: "60 RPM"
    monthlyQuota: 1500
    cost: "$0"
 
  Pro ($20/月):
    rateLimit: "1000 RPM"  # 16.7倍高速
    monthlyQuota: "無制限"
    concurrentRequests: 100
    prioritySupport: false
    cost: "$20"
 
  Ultra ($40/月):
    rateLimit: "10000 RPM"
    monthlyQuota: "無制限"
    concurrentRequests: 1000
    prioritySupport: "24/7"
    sla: "99.9%"
    cost: "$40"

// gemini-pro-config.js
module.exports = {
  // リクエスト並列化
  concurrency: {
    maxConcurrentRequests: 50,  // Pro では可能
    queueStrategy: 'priority',
  },
 
  // バッチリクエスト
  batching: {
    enabled: true,
    maxBatchSize: 100,
    batchTimeoutMs: 500,  // 500ms で送信
  },
 
  // キャッシング（Pro でサポート）
  caching: {
    enabled: true,
    ttl: 3600,  // 1時間キャッシュ
    minLength: 1024,  // 1024文字以上のみキャッシュ
  },
 
  // Deep Think の活用（Ultra で推奨）
  deepThink: {
    enabled: true,
    useFor: ['complex_reasoning', 'career_advice', 'creative_writing'],
    maxTokens: 16000,
  }
};

// gmail-integration.js
module.exports = {
  async handleEmailAsync() {
    // 毎朝、重要メールをサマライズして通知
    const schedule = require('node-schedule');
 
    schedule.scheduleJob('0 7 * * *', async () => {
      // 未読・重要メールを取得
      const emails = await gmailClient.getMessages({
        query: 'is:unread label:important',
        maxResults: 5,
      });
 
      for (const email of emails) {
        const summary = await gemini.summarize(email.body, {
          maxLength: 200,
          includingAction: true,  // 推奨アクション付き
        });
 
        const suggestion = await gemini.generateEmailResponse(email, {
          tone: 'professional',
        });
 
        // ユーザーに通知
        await notifyUser({
          title: `メール: ${email.subject}`,
          summary,
          suggestion,
          actionRequired: email.requiresResponse,
        });
      }
    });
  }
};

module.exports = {
  async integrateCalendar() {
    // Gemini がユーザーのカレンダーを認識
    const getUserScheduleContext = async () => {
      const events = await calendarClient.getEvents({
        timeMin: new Date(),
        timeMax: new Date(Date.now() + 7 * 24 * 60 * 60 * 1000),  // 7日間
        maxResults: 50,
      });
 
      return {
        todaySchedule: events.filter(e => isToday(e.start)),
        upcomingDeadlines: events.filter(e => e.title.includes('deadline')),
        busyHours: events.map(e => e.start),
      };
    };
 
    // ユーザーと会話する際のコンテキスト
    return {
      systemPrompt: `
        ユーザーのスケジュール情報：
        ${JSON.stringify(await getUserScheduleContext())}
 
        これらの情報を参考に、提案や時間管理のアドバイスをしてください。
      `
    };
  }
};

module.exports = {
  async accessUserDocuments() {
    const docs = await driveClient.listFiles({
      pageSize: 100,
      fields: 'files(id, name, mimeType)',
    });
 
    return {
      documents: docs,
      indexedContent: docs.map(async doc => ({
        id: doc.id,
        title: doc.name,
        content: await getDocumentContent(doc.id),
        lastModified: doc.modifiedTime,
      }))
    };
  },
 
  async answerAboutDocuments(userQuestion) {
    // ユーザーのドキュメントから関連情報を検索
    const relevantDocs = await searchDocuments(userQuestion);
 
    // Gemini がドキュメントを参照して回答
    const answer = await gemini.generateAnswer({
      question: userQuestion,
      documents: relevantDocs,
      prompt: 'ユーザーのドキュメントから最も関連する情報を引き出して、実用的なアドバイスをください。'
    });
 
    return answer;
  }
};