Visuelle Objekte mit Gemini und Nano Banana erkennen und bearbeiten

1. Übersicht

In diesem Lab lernen Sie Folgendes:

  • 1️⃣ Visuelle Objekte in Bildern mit Gemini erkennen
  • 2️⃣ Visuelle Objekte mit Nano Banana extrahieren und wiederherstellen
  • 3️⃣ Wiederhergestellte Objekte mit Nano Banana bearbeiten und transformieren

Hier sind einige Beispiele für die Vorteile:

1f2cadc1fd825c64.png

Lerninhalte

  • Objekterkennung mit offenem Vokabular mit dem räumlichen Verständnis von Gemini durchführen
  • Begrenzungsrahmen, Bildunterschriften und dynamische Labels mithilfe von Prompts in natürlicher Sprache extrahieren
  • Verzerrte oder alte visuelle Objekte wiederherstellen, bereinigen und begradigen
  • Imperative und beschreibende Prompts für die Bildbearbeitung schreiben
  • Bilder kreativ kolorieren und in völlig neue Stile umwandeln
  • Bilder in fotorealistische Filmstills verwandeln

Voraussetzungen

  • Sie sind mit der Ausführung von Python in einem Notebook (in Colab oder einer anderen Jupyter-Umgebung) vertraut.
  • Ein Google Cloud-Projekt (Vertex AI) oder ein Gemini API-Schlüssel (Google AI Studio) mit aktivierter Abrechnung

ℹ️ Die Gesamtkosten für die Ausführung des Labs von Anfang bis Ende betragen weniger als 2 $ (45 generierte Bilder mit 1.000 Pixeln und jeweils 1.290 Tokens).

ed255bd97afbedca.png fc7e616a26c8fa40.png c0b9ecec49c859f2.png fc7e616a26c8fa40.png 8f240cd033d2cc65.png

Los gehts…

2. Hinweis

Für die Verwendung der Gemini API haben Sie zwei Hauptoptionen:

  1. Über Vertex AI mit einem Google Cloud-Projekt
  2. Über Google AI Studio mit einem Gemini API-Schlüssel

🛠️ Option 1: Gemini API über Vertex AI

Anforderungen:

  • Ein Google Cloud-Projekt
  • Die Vertex AI API muss für dieses Projekt aktiviert sein.

🛠️ Option 2: Gemini API über Google AI Studio

Voraussetzung:

  • Ein Gemini API-Schlüssel

Weitere Informationen zum Abrufen eines Gemini API-Schlüssels aus Google AI Studio

3. Notebook ausführen

Wählen Sie das gewünschte Tool zum Öffnen des Notebooks aus:

🧰 Tool A: Notebook in Colab öffnen

🧰 Tool B: Notebook in Colab Enterprise oder Vertex AI Workbench öffnen

💡 Diese Option ist möglicherweise die beste, wenn Sie bereits ein Google Cloud-Projekt mit einer Colab Enterprise- oder Vertex AI Workbench-Instanz konfiguriert haben.

🧰 Tool C: Notebook von GitHub herunterladen und in der eigenen Umgebung ausführen

⚠️ Sie müssen das Notebook von GitHub herunterladen (oder das Repository klonen) und in Ihrer eigenen Jupyter-Umgebung ausführen.

🗺️ Inhaltsverzeichnis des Notebooks

Um die Navigation zu erleichtern, sollten Sie das Inhaltsverzeichnis aufklappen und verwenden. Beispiel:

de85f5dcc0fe059e.png

🏁 Notebook ausführen

Sie sind bereit. Sie können das Notebook jetzt durchgehen und ausführen. Viel Spaß!

4. Glückwunsch!

e3299284f68f56f4.png

Herzlichen Glückwunsch zum Abschluss des Codelabs!

Weitere Informationen