1. סקירה כללית
בשיעור ה-Lab הזה תלמדו לפתור את הבעיה המורכבת של תמלול סרטונים ב-multimodal, באמצעות הנחיה אחת של Gemini!
תנתחו סרטונים ותנסו לענות על כל השאלות הבאות בבת אחת:
- 1️⃣ מה נאמר ומתי?
- 2️⃣ מי הדוברים?
- 3️⃣ מי אמר מה?
דוגמה לתוצאה שתתקבל:
מה תלמדו
- מתודולוגיה לטיפול בבעיות מורכבות או חדשות שכוללות כמה אופנים
- טכניקת הנחיה להפרדת נתונים ולשמירה על תשומת הלב: חילוץ טבלאי
- אסטרטגיות לניצול מקסימלי של ההקשר של Gemini שמכיל מיליון טוקנים בבקשה אחת
- דוגמאות מעשיות לתמלילי וידאו מ-multimodal
- טיפים ואופטימיזציות
מה צריך
- היכרות עם הפעלת Python ב-notebook (ב-Colab או בכל סביבת Jupyter אחרת)
- פרויקט ב-Google Cloud (Vertex AI) או מפתח Gemini API (Google AI Studio)
- 20-90 דקות (תלוי אם מריצים את הבדיקה במהירות או קוראים ובודקים הכול)
נתחיל?
2. לפני שמתחילים
כדי להשתמש ב-Gemini API, יש שתי אפשרויות עיקריות:
- באמצעות Vertex AI עם פרויקט ב-Google Cloud
- דרך Google AI Studio עם מפתח Gemini API
🛠️ אפשרות 1 – Gemini API דרך Vertex AI
דרישות:
- פרויקט ב-Google Cloud
- צריך להפעיל את Vertex AI API בפרויקט הזה
🛠️ אפשרות 2 – Gemini API דרך Google AI Studio
דרישה:
- מפתח Gemini API
3. הרצת ה-Notebook
בוחרים את הכלי המועדף לפתיחת הפנקס:
🧰 כלי א' – פתיחת ה-notebook ב-Colab
🧰 כלי ב' – פתיחת ה-notebook ב-Colab Enterprise או ב-Vertex AI Workbench
💡 יכול להיות שזו תהיה האפשרות המועדפת אם כבר הגדרתם פרויקט ב-Google Cloud עם מופע של Colab Enterprise או Vertex AI Workbench.
🧰 כלי ג' – קבלת ה-notebook מ-GitHub והרצתו בסביבה שלכם
⚠️ תצטרכו להוריד את ה-notebook מ-GitHub (או לשכפל את המאגר) ולהריץ אותו בסביבת Jupyter שלכם.
🗺️ תוכן העניינים של ה-Notebook
כדי לנווט בקלות יותר, כדאי להרחיב את תוכן העניינים ולהשתמש בו. דוגמה:
🏁 Run the notebook
הכול מוכן. עכשיו אפשר לעקוב אחרי ה-notebook ולהריץ אותו. תהנו!...
4. מעולה!
כדי לפתור את הבעיה המורכבת הזו, השתמשת בטכניקות הבאות:
- יצירת אב טיפוס באמצעות הנחיות פתוחות כדי לפתח אינטואיציה לגבי החוזקות הטבעיות של Gemini
- הסבר על האופן שבו פועלים מודלים גדולים של שפה (LLM)
- יצירת הנחיות ספציפיות יותר ויותר באמצעות אסטרטגיית חילוץ טבלאי
- יצירת פלט מובנה כדי להתקדם לקוד שמוכן לייצור
- הוספת המחשה של הנתונים כדי להקל על פירוש התשובות ולשפר את האיטרציות
- התאמת פרמטרים שמוגדרים כברירת מחדל כדי לשפר את התוצאות
- עורכים עוד בדיקות, חוזרים על התהליך ואפילו מעשירים את הנתונים שחולצו
העקרונות האלה רלוונטיים גם לתחומים רבים אחרים של חילוץ נתונים, ויאפשרו לכם לפתור בעיות מורכבות בעצמכם.
מידע נוסף
- הפעלת מחברות Gemini אחרות מתוך מאגר ה-AI הגנרטיבי של Google Cloud
- בגלריית ההנחיות של Vertex AI אפשר למצוא תרחישי שימוש נוספים.
- כדי להתעדכן, אפשר לעקוב אחרי הערות הגרסה של Vertex AI.