תמלול סרטונים באמצעות Gemini multimodal

1. סקירה כללית

בשיעור ה-Lab הזה תלמדו לפתור את הבעיה המורכבת של תמלול סרטונים מרובי-אופנים, באמצעות הנחיה אחת ל-Gemini.

תנתחו סרטונים ותנסו לענות על כל השאלות הבאות בבת אחת:

דוגמה לתוצאה שתתקבל:

‫ℹ️ העלות הכוללת להרצת שיעור ה-Lab הזה ב-Google Cloud היא פחות מ-5 דולר ארה"ב.

נתחיל?

כדי להשתמש ב-Gemini API, יש שתי אפשרויות עיקריות:

דרישות:

דרישה:

בוחרים את הכלי המועדף לפתיחת הפנקס:

💡 יכול להיות שזו תהיה האפשרות המועדפת אם כבר הגדרתם פרויקט ב-Google Cloud עם מופע של Colab Enterprise או Vertex AI Workbench.

‫⚠️ תצטרכו להוריד את המחברת מ-GitHub (או לשכפל את המאגר) ולהריץ אותה בסביבת Jupyter שלכם.

כדי לנווט בקלות יותר, כדאי להרחיב את תוכן העניינים ולהשתמש בו. דוגמה:

הכול מוכן. עכשיו אפשר לעקוב אחרי המחברת ולהריץ אותה. תהנו!...

כל הכבוד, סיימתם את ה-Codelab!

כדי לפתור את הבעיה המורכבת הזו, השתמשת בטכניקות הבאות:

יצירת אב טיפוס באמצעות הנחיות פתוחות כדי לפתח אינטואיציה לגבי נקודות החוזק הטבעיות של Gemini
הסבר על האופן שבו פועלים מודלים גדולים של שפה (LLM)
יצירת הנחיות ספציפיות יותר ויותר באמצעות אסטרטגיית חילוץ טבלאי
יצירת פלט מובנה כדי להתקדם לקוד שמוכן לייצור
הוספת המחשה של הנתונים כדי להקל על פירוש התשובות ולשפר את האיטרציות
התאמת פרמטרים שמוגדרים כברירת מחדל כדי לשפר את התוצאות
עריכת עוד בדיקות, חזרה על התהליך ואפילו העשרה של הנתונים שחולצו

העקרונות האלה רלוונטיים גם לתחומים רבים אחרים של חילוץ נתונים, ויאפשרו לכם לפתור בעיות מורכבות בעצמכם.