זיהוי ועריכה של אובייקטים ויזואליים באמצעות Gemini ו-Nano Banana

1. סקירה כללית

בשיעור ה-Lab הזה תבצעו את המשימות הבאות:

  • ‫1️⃣ זיהוי אובייקטים ויזואליים בתמונות באמצעות Gemini
  • ‫2️⃣ חילוץ ושחזור של אובייקטים ויזואליים באמצעות Nano Banana
  • ‫3️⃣ עורכים ומשנים את האובייקטים ששוחזרו באמצעות Nano Banana

הנה כמה דוגמאות למה שתשיגו:

1f2cadc1fd825c64.png

מה תלמדו

  • איך מבצעים זיהוי אובייקטים עם אוצר מילים פתוח באמצעות ההבנה המרחבית של Gemini
  • איך מחלצים תיבות תוחמות, כתוביות ותוויות דינמיות באמצעות הנחיות בשפה טבעית
  • איך משחזרים, מנקים ומיישרים אובייקטים ויזואליים מעוותים או וינטג'
  • איך כותבים הנחיות תיאוריות וציווייות לעריכת תמונות
  • איך לצבוע תמונות בצורה יצירתית ולהפוך אותן לסגנונות חדשים לגמרי
  • איך יוצרים תמונות סטילס מציאותיות מסרטים עם שחקנים חיים

מה תצטרכו

  • היכרות עם הפעלת Python ב-notebook (ב-Colab או בכל סביבת Jupyter אחרת)
  • פרויקט בענן של Google ‏ (Vertex AI) או מפתח Gemini API ‏ (Google AI Studio) עם חיוב מופעל

‫ℹ️ העלות הכוללת של הפעלת הסדנה מההתחלה ועד הסוף היא פחות מ-2 דולר ארה"ב (45 תמונות באיכות 1K עם 1,290 טוקנים כל אחת).

ed255bd97afbedca.png fc7e616a26c8fa40.png c0b9ecec49c859f2.png fc7e616a26c8fa40.png 8f240cd033d2cc65.png

נתחיל?

‫2. לפני שמתחילים

כדי להשתמש ב-Gemini API, יש שתי אפשרויות עיקריות:

  1. באמצעות Vertex AI עם פרויקט ב-Google Cloud
  2. דרך Google AI Studio עם מפתח Gemini API

🛠️ אפשרות 1 – Gemini API דרך Vertex AI

דרישות:

  • פרויקט ב-Google Cloud
  • צריך להפעיל את Vertex AI API בפרויקט הזה

‫🛠️ אפשרות 2 – Gemini API דרך Google AI Studio

דרישה:

  • מפתח Gemini API

מידע נוסף על קבלת מפתח Gemini API מ-Google AI Studio

3. הפעלת ה-Notebook

בוחרים את הכלי המועדף לפתיחת הפנקס:

🧰 כלי א' – פתיחת ה-notebook ב-Colab

🧰 כלי ב' – פתיחת ה-notebook ב-Colab Enterprise או ב-Vertex AI Workbench

💡 יכול להיות שזו תהיה האפשרות המועדפת אם כבר הגדרתם פרויקט בענן ב-Google Cloud עם מופע של Colab Enterprise או Vertex AI Workbench.

🧰 כלי ג' – קבלת ה-notebook מ-GitHub והפעלת פתרונות חכמים בסביבה שלכם

‫⚠️ תצטרכו להוריד את ה-notebook מ-GitHub (או לשכפל את המאגר) ולהריץ אותו בסביבת Jupyter שלכם.

‫🗺️ תוכן העניינים של ה-Notebook

כדי לנווט בקלות יותר, כדאי להרחיב את תוכן העניינים ולהשתמש בו. דוגמה:

de85f5dcc0fe059e.png

🏁 הרצת ה-Notebook

הכול מוכן. עכשיו אפשר לעקוב אחרי המחברת ולהריץ אותה. תהנו!...

4. מעולה!

e3299284f68f56f4.png

כל הכבוד, סיימתם את ה-Codelab!

מידע נוסף