1. 概要
このラボでは、単一の Gemini プロンプトを使用して、マルチモーダル動画の文字起こしという複雑な問題を解決する方法を学びます。
動画を分析して、次の質問に一度に答えます。
- 1️⃣ 発言の内容と時期
- 2️⃣ 講演者は誰ですか？
- 3️⃣ 誰が何を言ったか？
達成できることの例を次に示します。
学習内容
- 新しいマルチモーダル問題や複雑なマルチモーダル問題に対処するための方法論
- データと注意を分離するためのプロンプト手法: 表形式の抽出
- 1 回のリクエストで Gemini の 100 万トークンのコンテキストを最大限に活用するための戦略
- マルチモーダル動画文字起こしの実用的な例
- ヒントと最適化
必要なもの
- ノートブック（Colab またはその他の Jupyter 環境）で Python を実行するための知識を備える
- Google Cloud プロジェクト（Vertex AI）または Gemini API キー（Google AI Studio）
- 20 ～ 90 分（すべてを簡単に実行するか、すべてを読んでテストするかによって異なります）
ℹ️ Google Cloud でこのラボを実行するための総費用は 5 USD 未満です。
やってみましょう
2. 始める前に
Gemini API を使用するには、次の 2 つの主な方法があります。
- Google Cloud プロジェクトで Vertex AI を使用する
- Gemini API キーを使用して Google AI Studio 経由
🛠️ オプション 1 - Vertex AI 経由の Gemini API
要件:
- Google Cloud プロジェクト
- このプロジェクトで Vertex AI API を有効にする必要があります
🛠️ オプション 2 - Google AI Studio 経由の Gemini API
要件:
- Gemini API キー
Google AI Studio から Gemini API キーを取得する方法について学習する。
3. ノートブックを実行する
ノートブックを開くツールを選択します。
🧰 ツール A - Colab でノートブックを開く
🧰 ツール B - Colab Enterprise または Vertex AI Workbench でノートブックを開く
💡 Colab Enterprise または Vertex AI Workbench インスタンスで構成された Google Cloud プロジェクトがすでにある場合は、この方法が適している可能性があります。
🧰 ツール C - GitHub からノートブックを取得して独自の環境で実行する
⚠️ ノートブックを GitHub から取得（またはリポジトリのクローンを作成）し、独自の Jupyter 環境で実行する必要があります。
🗺️ ノートブックの目次
目次を開いてご利用いただくと、より簡単にナビゲーションできます。例:
🏁 ノートブックを実行する
準備が整いました。これで、ノートブックに沿って実行できるようになりました。楽しんでください。
4. 完了
以上で、この Codelab は完了です。
この複雑な問題には、次の手法を使用して対処しました。
- オープン プロンプトでプロトタイプを作成して、Gemini の自然な強みに関する直感を養う
- LLM の内部動作を考慮する
- 表形式の抽出戦略を使用して、より具体的なプロンプトを作成する
- 構造化出力を生成して本番環境に対応したコードに移行する
- 回答を解釈しやすく、スムーズに反復処理を行えるように、データの可視化を追加
- デフォルトのパラメータを調整して結果を最適化する
- テストの実施、反復、抽出されたデータの拡充
これらの原則は、他の多くのデータ抽出ドメインにも適用でき、独自の複雑な問題を解決できます。
詳細
- Google Cloud 生成 AI リポジトリから他の Gemini ノートブックを実行する
- その他のユースケースについては、Vertex AI プロンプト ギャラリーをご覧ください。
- Vertex AI リリースノートで最新情報を入手する