In-Place LLM Insights: BigQuery und Gemini für die Analyse strukturierter und unstrukturierter Daten

1. Einleitung

Riesige Datasets enthalten wertvolle Informationen, aber aussagekräftiges Verständnis zu gewinnen, kann eine gewaltige Aufgabe sein. Herkömmliche Analysetools versäumen es oft, differenzierte, menschenähnliche Erklärungen zu liefern, die uns helfen, die Geschichte in unseren Daten wirklich zu verstehen. Data Warehouses enthalten immer mehr unstrukturierte Daten, aber diese Daten waren nicht immer zugänglich, um Erkenntnisse zu gewinnen. Unstrukturierte Texte, Bilder und Videos enthalten wertvolle Informationen, mit denen Sie Ihr Unternehmen voranbringen können. LLMs bieten eine leistungsstarke neue Möglichkeit, Ihre Daten durch Erklärungen, Sentimentanalyse, Objekterkennung und mehr zu verstehen. Mit dem Aufkommen multimodaler Modelle (und der Möglichkeit, Objektdaten wie Bilder und Videos über Objekttabellen in BigQuery zu speichern) kann die Einbindung leistungsstarker LLMs wie Gemini 1.0 Pro (für textbasierte Analysen) und Gemini 1.0 Pro Vision (für Text- und Bild-/Videoanalyse) in BigQuery die Art und Weise transformieren, wie Sie Daten analysieren.

In diesem Codelab sehen wir uns die folgenden zwei Methoden an, mit denen Sie LLM-Informationen aus Ihren Unternehmensdaten gewinnen und diese auf Tausende von Zeilen in BigQuery skalieren können:

Methode 1: Remote-Modellaufruf

  • Rufen Sie Gemini 1.0 Pro in BigQuery mit ML.GENERATE_TEXT in der SELECT-Abfrage auf.
  • Verwenden Sie diesen Ansatz, wenn das Modell bereits als Remote-Modell in BigQuery verfügbar ist und Sie es sofort verwenden möchten. Prüfen Sie den Status des Modells, das Sie verwenden möchten, in der BigQuery-Dokumentation.

Methode 2: Implementierung von Remote-Funktionen

  • Rufen Sie eine Cloud Functions-Funktion auf, die den Aufruf von Gemini 1.0 Pro Vision implementiert und als Remote-Funktion in BigQuery bereitgestellt wird.
  • Verwenden Sie diesen Ansatz, wenn das gewünschte Modell entweder nicht out-of-the-box-Modell als Remote-Modell verfügbar ist oder Sie mehr Flexibilität und Anpassungsmöglichkeiten für Ihren Anwendungsfall wünschen.

Aufgaben

  • Für die Methode Remote Model Invocation erstellen Sie einen Location Summarizer für das in BigQuery öffentlich verfügbare Internetarchiv-Dataset mit Büchern. Dazu rufen Sie das Remote-Modell für Gemini 1.0 Pro im ML.GENERATE_TEXT-Konstrukt in BigQuery auf.

Flussdiagramm für den Remote-Modellaufruf

  • Für die Methode Remote Function Implementation (Remote-Funktionsimplementierung) erstellen Sie eine Bildvalidierung, mit der Testbilder mit einem Referenzbild verglichen werden können. Dazu erstellen Sie ein Dataset mit Testbild-Screenshots in einer externen Tabelle und bitten Gemini 1.0 Pro Vision, es mit dem Basisbild zu validieren. Anschließend erstellen Sie eine Cloud Functions-Java-Funktion, die den Gemini Pro Vision-Aufruf implementiert, und rufen sie als Remote-Funktion in BigQuery auf.

Flussdiagramm für die Remote-Funktionsimplementierung

Hinweis:

Möglicherweise sind in BigQuery weitere Modelle für generative KI von Vertex AI als Remote-Modelle verfügbar. Das bedeutet, dass Sie sofort mit dem Konstrukt ML.GENERATE_TEXT aus BigQuery auf diese Modelle zugreifen können. Aber selbst bei Remote-Modellverfügbarkeit haben Sie immer die Möglichkeit, mit Cloud Functions erweiterte Anpassungen für Ihren Anwendungsfall zu erstellen und dann auf diese Modelle als Remote-Funktionen aus BigQuery zuzugreifen.

Warum BigQuery?

BigQuery ist ein serverloses Multi-Cloud-Data-Warehouse, das bei minimalem operativen Aufwand von Byte auf Petabyte skaliert werden kann und daher eine gute Wahl zum Speichern von ML-Trainingsdaten darstellt. Mit den integrierten BigQuery Machine Learning (BQML) und Analysefunktionen können Sie ausschließlich mit SQL-Abfragen No-Code-Vorhersagen erstellen. Darüber hinaus können Sie mit föderierten Abfragen auf Daten aus externen Quellen zugreifen, sodass komplizierte ETL-Pipelines eliminiert werden.

BigQuery ist ein vollständig verwaltetes Cloud Data Warehouse, mit dem Nutzer strukturierte, semistrukturierte und unstrukturierte Daten analysieren können.

2. Voraussetzungen

  • Ein Browser wie Chrome oder Firefox
  • Google Cloud-Projekt mit aktivierter Abrechnungsfunktion.

3. Hinweis

  1. Wählen Sie in der Google Cloud Console auf der Seite für die Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.
  2. Die Abrechnung für das Cloud-Projekt muss aktiviert sein. Hier erfahren Sie, wie Sie prüfen, ob die Abrechnung für ein Projekt aktiviert ist.
  3. Sie verwenden Cloud Shell, eine in Google Cloud ausgeführte Befehlszeilenumgebung mit vorinstalliertem bq. Klicken Sie oben in der Google Cloud Console auf „Cloud Shell aktivieren“.

Bild der Schaltfläche zum Aktivieren von Cloud Shell

  1. Sobald Sie eine Verbindung zu Cloud Shell hergestellt haben, prüfen Sie mit dem folgenden Befehl, ob Sie bereits authentifiziert sind und ob das Projekt auf Ihre Projekt-ID eingestellt ist:
gcloud auth list
  1. Führen Sie in Cloud Shell den folgenden Befehl aus, um zu prüfen, ob der gcloud-Befehl Ihr Projekt kennt.
gcloud config list project
  1. Wenn Ihr Projekt noch nicht eingerichtet ist, verwenden Sie den folgenden Befehl, um es festzulegen:
gcloud config set project <YOUR_PROJECT_ID>
  1. Rufen Sie Gemini für Google Cloud Marketplace auf, um die API zu aktivieren. Sie können auch den folgenden Befehl im Cloud Shell-Terminal verwenden:
gcloud services enable cloudaicompanion.googleapis.com --project PROJECT_ID
  1. Die folgenden APIs müssen aktiviert sein:
  • BigQuery
  • BigQuery-Verbindung
  • Cloud Functions-Funktion
  • Cloud Run
  • Vertex AI
  • Cloud Build
  • Cloud Storage APIs

Alternativ zur Verwendung des gcloud-Befehls können Sie die Konsole über diesen Link verwenden.

Informationen zu gcloud-Befehlen und deren Verwendung finden Sie in der Dokumentation.

4. BigQuery-Dataset und externe Verbindung erstellen

Erstellen Sie zuerst ein Dataset und eine Cloud-Ressourcenverbindung.

Ein Dataset in BigQuery ist ein Container für alle Tabellen und Objekte Ihrer Anwendung.

So erstellen Sie ein Dataset:

  1. Rufen Sie in der Google Cloud Console die Seite „BigQuery“ auf.
  2. Wählen Sie im Bereich Explorer das Projekt aus, in dem Sie das Dataset erstellen möchten.
  3. Maximieren Sie die Option Aktionen (das Dreipunkt-Menü) und klicken Sie auf Dataset erstellen.

Abbildung des Menüs „Actions“ (Aktionen) und der Option „Create dataset“ (Dataset erstellen)

  1. Klicken Sie auf Dataset erstellen.
  2. Geben Sie in das Feld Dataset-ID den Wert gemini_bq_fn ein.
  3. Legen Sie als Standorttyp Multi-region fest und übernehmen Sie den Standardwert US(multiple regions in United States..
  4. Klicken Sie auf Dataset erstellen.
  5. Prüfen Sie, ob das Dataset erstellt und unter Ihrer Projekt-ID im Bereich Explorer aufgeführt wird.

Für die Interaktion mit Ihrer Cloud Functions-Funktion ist eine BigQuery-Verbindung erforderlich. Zum Erstellen einer Remote-Funktion müssen Sie eine BigQuery-Verbindung erstellen. In diesem Codelab verwenden wir die BigLake-Verbindung, um aus BigQuery über die Cloud Functions-Funktion auf das Modell zuzugreifen. BigLake-Verbindungen helfen beim Verbinden der externen Datenquelle, während gleichzeitig die detailgenaue Zugriffssteuerung und Sicherheit von BigQuery beibehalten werden, in unserem Fall die Vertex AI Gemini Pro API.

So erstellen Sie die BigLake-Verbindung:

  1. Klicken Sie auf der BigQuery-Seite im Bereich Explorer auf Hinzufügen.

BigQuery-Konsole mit hervorgehobener Schaltfläche zum Hinzufügen einer externen Verbindung

  1. Klicken Sie auf Verbindungen zu externen Datenquellen.
  2. Wählen Sie im Menü „Verbindungstyp“ die Option Vertex AI-Remote-Modelle, Remote-Funktionen und BigLake (Cloud-Ressource) aus.
  3. Geben Sie im Feld Connection ID (Verbindungs-ID) den Namen der Verbindung als gemini-bq-conn ein.
  4. Legen Sie als Standorttyp Multi-region fest und übernehmen Sie den Standardwert US(multiple regions in United States..
  5. Klicken Sie auf Verbindung erstellen.
  6. Klicken Sie auf Go to connection (Verbindung aufrufen) und kopieren Sie dann die Dienstkonto-ID im Bereich Connection info (Verbindungsinformationen).

Screenshot der Verbindungsinformationen

  1. Rufen Sie die Seite IAM und Verwaltung auf und klicken Sie auf Zugriff gewähren.
  2. Fügen Sie die Dienstkonto-ID in das Feld New Principles ein.
  3. Wählen Sie die Rolle Vertex AI user aus der Rollenliste aus und klicken Sie dann auf Speichern.

Screenshot: Zugriff auf Dienstkonto gewähren

Sie haben nun das Dataset und die BigQuery-Verbindung erfolgreich erstellt. Als Nächstes führen Sie die Schritte aus, die für den Remote-Modellaufruf erforderlich sind.

5. Anwendungsfall 1: Remote-Modellaufruf: Remote-Modellaufruf einrichten

Nachdem Sie nun das Dataset und die Verbindung erstellt haben, können Sie ein Modell in BigQuery erstellen, das auf dem Vertex AI Gemini Pro-Foundation Model basiert. Am Ende dieser Übung wird Ihre LLM-Anwendung nur noch mit SQL-Abfragen ausgeführt.

Schritt 1: BigQuery-Tabelle mit den Eingabedaten für das Remote-Modell erstellen

Erstellen Sie in Ihrem Dataset eine Tabelle mit dem Namen books, die etwa 50 Datensätze aus der Tabelle bigquery-public-data.gdelt_internetarchivebooks.1905 im Dataset Internet Archive Books enthalten kann, die zur öffentlichen Verwendung durch BigQuery bereitgestellt wird.

Führen Sie dazu die folgende DDL-Anweisung (Data Definition Language) im BigQuery-SQL-Editorbereich aus:

create or replace table gemini_bq_fn.books as (
select *
from
bigquery-public-data.gdelt_internetarchivebooks.1905 limit 50)

Schritt 2 : BigQuery-Modell erstellen

Erstellen Sie ein Modell in Ihrem Dataset. Führen Sie dazu die folgende DDL im BigQuery-SQL-Editor aus:

CREATE MODEL `gemini_bq_fn.gemini_remote_model`
REMOTE WITH CONNECTION `us.gemini-bq-conn`
OPTIONS(ENDPOINT = 'gemini-pro');

Das Modell wird mit einer Option zum Ansehen des Modells erstellt.

Schritt 3 : Neue Generative AI-Anwendung testen

Verwenden Sie die Funktion ML.GENERATE_TEXT in einer SELECT-Abfrage, um eine Anfrage an das Remotemodell zu senden.

SELECT ml_generate_text_llm_result as Gemini_Response, prompt as Prompt
FROM ML.GENERATE_TEXT(MODEL `gemini_bq_fn.gemini_remote_model`,
 (select 'You are a text summarizer and standardizer. From the following text that contains address locations, standardize and print one standardized, consolidated address. You cannot return empty because you know how to pick up sensible data from the text in this field: ' ||
substring(locations, 0, 200) as prompt
from `gemini_bq_fn.books`),
STRUCT(
 TRUE AS flatten_json_output));

Sie sollten folgendes Ergebnis sehen:

ML.GENERATE_TEXT-Abfrageergebnis in BigQuery

Glückwunsch! Sie haben erfolgreich gezeigt, wie Sie mit einem Remote-Modell (basierend auf einem gemini-pro-Modell) mit der Funktion ML.GENERATE_TEXT Textdaten in einer BigQuery-Tabelle analysieren.

Probieren wir nun ein anderes Vertex AI-Modell mit BigQuery-Remote-Funktionen aus. Angenommen, Sie möchten die Remote-Verwendung des Modells in BigQuery anpassen und flexibler gestalten. Unterstützte Modelle sind in der BigQuery-Dokumentation aufgelistet.

6. Anwendungsfall 2: Remote-Funktionsimplementierung: Remote-Funktionsimplementierung einrichten

In dieser Übung erstellen Sie eine Funktion in BigQuery basierend auf der Cloud Functions-Funktion für Java, die das Foundation Model von Gemini 1.0 Pro Vision implementiert. Zuerst erstellen Sie die Cloud Functions-Funktion für Java, um Bilder mit dem Modell Gemini 1.0 Pro Vision zu vergleichen. Anschließend erstellen Sie die Remote-Funktion in BigQuery, die die bereitgestellte Cloud Functions-Funktion aufruft. Denken Sie daran, dass dasselbe Verfahren für jede Remote-Funktionsausführung in BigQuery angewendet werden kann.

Los gehts!

Schritt 1: Cloud Functions-Funktion für Java erstellen

Sie erstellen eine Cloud Functions-Funktion der 2. Generation in Java, um Testbilder mit einem Referenz-Image zu validieren. Das Referenzbild wird in einem Dataset mit Testbild-Screenshots in einer externen Tabelle in BigQuery gespeichert. Sie validieren die Bilder mit dem Gemini Pro Vision-Modell (Java SDK). Anschließend stellen Sie die Cloud Functions-Funktion für Java auf einem REST-Endpunkt bereit.

Gehen Sie so vor:

  1. Cloud Shell-Editor starten
  2. Wenn Sie den alten Editor verwenden, klicken Sie auf Neuen Editor testen.
  3. Klicken Sie in der Statusleiste auf Cloud Code – Sign In.
  4. Wenn Sie aufgefordert werden, den Cloud Shell-Editor für Google Cloud API-Aufrufe zu autorisieren, klicken Sie auf Autorisieren. Folgen Sie der Anleitung, um sich in Ihrem Google-Konto anzumelden. Sie sind jetzt mit Google Cloud verbunden.
  5. Wenn Ihr Projekt nicht in der Cloud Code-Statusleiste angezeigt wird, klicken Sie auf Cloud Code – Sign In > Google Cloud-Projekt auswählen. Wählen Sie das Google Cloud-Projekt aus, in dem Sie Ihre Cloud Functions-Funktionen erstellen möchten. Das Projekt wird geladen und wird zum aktiven Projekt im Cloud Shell-Editor.
  6. Klicken Sie in der Cloud Code-Statusleiste auf den Namen des aktiven Projekts. Wählen Sie im angezeigten Menü „Schnellauswahl“ die Option Neue Anwendung aus.
  7. Wählen Sie im Dialogfeld Neue Anwendung erstellen die Option Cloud Functions-Anwendung aus.

Pop-up-Seite 1 „Neue Anwendung erstellen“

  1. Wählen Sie Java: Hello World aus, wenn Sie zur Auswahl einer Vorlage aufgefordert werden.

Pop-up-Seite 2 „Neue Anwendung erstellen“

  1. Geben Sie Gemini-BQ-Function als Projektnamen in den Projektpfad ein. Die Projektstruktur wird in einer neuen Cloud Shell-Editoransicht angezeigt.

Struktur des neuen Cloud Functions-Anwendungsprojekts für Java

  1. Fügen Sie die erforderlichen Abhängigkeiten im <dependencies>... </dependencies>-Tag hinzu oder kopieren Sie die Abhängigkeiten aus der Beispieldatei pom.xml.
  2. Ändern Sie den Namen des Kurses von HelloWorld.java in einen aussagekräftigen Namen. Nehmen wir GeminiBigQueryFunction.java. Benennen Sie das Paket entsprechend um.
  3. Ersetzen Sie den Platzhaltercode in der Datei GeminiBigQueryFunction.Java durch den Beispielcode aus dem GitHub-Repository. Achten Sie darauf, die Variable <YOUR_PROJECT_ID> im Beispielcode durch Ihre Projekt-ID zu ersetzen.
  4. Rufen Sie das Cloud Shell-Terminal auf. Prüfen Sie, ob Sie sich in Ihrem Projektverzeichnis befinden. Falls nicht, rufen Sie das Projektverzeichnis auf, indem Sie den folgenden Befehl ausführen:
cd Gemini-BQ-Function
  1. Führen Sie die folgende Anweisung aus, um die Cloud Functions-Funktion zu erstellen und bereitzustellen:
gcloud functions deploy gemini-bq-fn --gen2 --runtime java17 --trigger-http --entry-point cloudcode.helloworld.GeminiBigQueryFunction --allow-unauthenticated --source .

Ersetzen Sie den Einstiegspunkt im Befehl durch den Einstiegspunkt Ihrer Funktion. Die Ausgabe ist eine REST-URL im folgenden Format:

https://us-central1-YOUR_PROJECT_ID.cloudfunctions.net/gemini-bq-fn
  1. Testen Sie diese Cloud Functions-Funktion, indem Sie den folgenden Befehl über das Terminal ausführen:
gcloud functions call gemini-bq-fn --region=us-central1 --gen2 --data '{"calls":[["https://storage.googleapis.com/img_public_test/image_validator/baseline/1.JPG", "https://storage.googleapis.com/img_public_test/image_validator/test/2.JPG", "PROMPT_ABOUT_THE_IMAGES_TO_GEMINI"]]}'

Antwort für die zufällige Stichprobe:

JSON-Antwortstring aus der Cloud Functions-Funktion

Super! Die generische Cloud Functions-Funktion für die Implementierung des Gemini Pro Vision-Modells ist bereit. Verwenden wir diesen Endpunkt direkt aus einer BigQuery-Remote-Funktion für BigQuery-Daten.

Schritt 2: BigQuery-Objekttabelle und Remote-Funktion erstellen

Voraussetzung

Für diesen Teil der Übung benötigen Sie einen Cloud Storage-Bucket. So erstellen Sie einen Cloud Storage-Bucket:

  1. Rufen Sie die Cloud Storage-Konsole auf und klicken Sie auf Erstellen, um einen Bucket zu erstellen.
  2. Geben Sie als Bucket-Namen demo-bq-gemini-public-image ein und klicken Sie auf Erstellen.
  3. Entfernen Sie das Häkchen bei der Option Enforce public access prevention on this bucket. Obwohl Sie diesen Bucket in dieser Übung für den öffentlichen Zugriff erstellen, empfehlen wir, dass Sie den öffentlichen Zugriff verhindern und bestimmten Dienstkonten Berechtigungen erteilen, wie es in Ihren Anwendungsfällen in Ihrem Unternehmen erforderlich ist.
  4. Wechseln Sie nach dem Erstellen des Buckets zum Tab Berechtigungen, um die Berechtigungen anzusehen und zu ändern.
  5. Klicken Sie auf Zugriff gewähren, um Hauptkonten hinzuzufügen. Geben Sie eine Dienstkonto-ID an, um einem bestimmten Konto Berechtigungen zu erteilen, oder geben Sie allUsers an, um öffentlichen Zugriff auf Ihren Bucket zu gewähren.
  6. Wählen Sie die Rolle Storage Object Viewer aus und klicken Sie auf Speichern. Erlauben Sie den öffentlichen Zugriff, wenn Sie dazu aufgefordert werden.
  7. Rufen Sie den Tab Objekte auf und laden Sie Referenz- und Testbilder zum Vergleichen hoch. Für dieses Codelab können Sie die folgenden öffentlich verfügbaren Objekte hochladen: baseline.JPG, TEST1.JPG und TEST2.JPG.

BigQuery-Objekttabelle erstellen

Erstellen Sie eine externe Objekttabelle aus BigQuery, um über die Verbindung und das Dataset, das Sie zuvor erstellt haben, auf die unstrukturierten Daten im Bucket zuzugreifen. Führen Sie dazu die folgende DDL-Anweisung (Data Definition Language) im BigQuery-Abfrageeditor aus:

CREATE OR REPLACE EXTERNAL TABLE `gemini_bq_fn.image_validation`
WITH CONNECTION `us.gemini-bq-conn`
OPTIONS(object_metadata="SIMPLE", uris=["gs://demo-bq-gemini-public-image/*.JPG"]);

Prüfen Sie, ob in Ihrem Dataset eine neue Objekttabelle mit dem Namen image_validation erstellt wird.

BigQuery-Remote-Funktion erstellen

Erstellen Sie eine Remote-Funktion in BigQuery, um die Java-Cloud Functions-Funktion aufzurufen, die das Gemini Pro Vision-Modell implementiert. Erstellen Sie dies im selben Dataset. Führen Sie dazu die folgende DDL im SQL-Editorbereich der BigQuery-Konsole aus:

CREATE OR REPLACE FUNCTION `gemini_bq_fn.FN_IMAGE_VALIDATE` (baseline STRING, test STRING, prompt STRING) RETURNS STRING
 REMOTE WITH CONNECTION `us.gemini-bq-conn`
 OPTIONS (
   endpoint = 'https://us-central1-<your project id>.cloudfunctions.net/gemini-bq-fn',
   max_batching_rows = 1
 );

Die Endpunkt-URL ist die REST-URL, die zuvor in dieser Übung zurückgegeben wurde. Dadurch wird die Remote-Funktion in BigQuery erstellt. Die obige DDL enthält drei Parameter. Die ersten beiden Parameter sind URLs zu den Bildern, die in der im vorherigen Schritt erstellten Objekttabelle gespeichert sind. Der letzte Parameter ist der Prompt zum Modell (Gemini Pro Vision). Sie können auf den Java Cloud Functions-Code verweisen, der zum Parsen dieser Signatur verwendet wird:

Gson().fromJson(request.getReader(), JsonObject.class);
JsonArray calls_array = requestJson.getAsJsonArray("calls");
JsonArray calls = (JsonArray) calls_array.get(0);
String baseline_url = calls.get(0).toString().replace("\"", "");
String test_url = calls.get(1).toString().replace("\"", "");
String prompt_string = calls.get(2).toString();

Gemini über BigQuery aufrufen

Verwenden Sie die Remote-Funktion in einer SELECT-Abfrage, um die Funktion zum Validieren der Bilder anhand des Prompts zu testen.

select gemini_bq_fn.FN_IMAGE_VALIDATE(
'https://storage.googleapis.com/demo-bq-gemini-public-image/Baseline.JPG',
REPLACE(uri, 'gs://', 'https://storage.googleapis.com/') ,
'You are an expert image validator who can respond with JSON result. Find 2 images here. The first one is the reference image. The second image is the test image. Compare the second image to see if the second image is similar to the first in terms of the text present in the image.  Respond ONLY in JSON Format with 3 attributes namely SIMILARITY which is a \"YES\" or \"NO\", SIMILARITY_SCORE which is a percentage and DIFFERENCE_COMMENT which is a string.' ) as IMAGE_VALIDATION_RESULT
from `gemini_bq_fn.image_validation`
where uri like '%TEST1%';  

Führen Sie die obige Abfrage mit den Objektdateien TEST1 und TEST2 aus. Das Ergebnis sollte in etwa so aussehen:

Screenshot des BigQuery-Remote-Funktionsergebnisses

Hier sind die Bilder als Referenz:

Referenzbild

Referenzbild für Referenz für den Testfall

Testbild

Testbild 1 für den Testlauf

Beachten Sie, dass sich beide Bilder insofern ähneln, als sie die Duet AI-Cloud Console-Ansicht haben, aber der Text in beiden unterscheidet sich, da sie vom Modell im JSON-Format erzeugt werden.

Damit haben Sie die Implementierung der Remote-Funktion erfolgreich getestet.

7. Vorteile und Anwendungsfälle

Sehen wir uns einige Vorteile an, die die Einbindung von BigQuery und Gemini für strukturierte und unstrukturierte Datenanalysen bietet.

  • Generative AI für Ihre Daten: Kein Verschieben von Daten, Duplizierung und zusätzliche Komplexität mehr. Sie können in derselben BigQuery-Umgebung Daten analysieren und Statistiken generieren.
  • Erweiterte Analysen: Die Erklärungen in natürlicher Sprache von Gemini fügen Ihren Daten eine neue Ebene des Verständnisses hinzu. Dies erreichen Sie mit SQL-Abfragen.
  • Skalierbarkeit: Diese Lösung verarbeitet große Datasets und komplexe Analysen einfach und mit geringem Codeaufwand.

Dafür gibt es zahllose Anwendungen. Stellen Sie sich Szenarien in den Bereichen Finanzen (Markttrendanalyse), Einzelhandel (Kundenstimmung), Gesundheitswesen (Zusammenfassungen medizinischer Berichte) usw. vor, in denen Ihre Analyse- und Geschäftsteams diese mit relativ geringem Aufwand, Ressourcen und einer vertrauten Sprache und einem vertrauten Tool Ihrer Wahl implementieren könnten.

8. Bereinigen

So vermeiden Sie, dass Ihrem Google Cloud-Konto die in diesem Beitrag verwendeten Ressourcen in Rechnung gestellt werden:

  1. Rufen Sie in der Google Cloud Console die Seite Ressourcen verwalten auf.
  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Beenden, um das Projekt zu löschen.
  4. Wenn Sie Ihr Projekt behalten möchten, überspringen Sie die oben genannten Schritte und löschen Sie die Cloud Functions-Funktion. Rufen Sie dazu Cloud Functions auf. Wählen Sie in der Liste der Funktionen die Funktion aus, die Sie löschen möchten, und klicken Sie auf Löschen.

9. Glückwunsch

Herzlichen Glückwunsch! Mit den in BigQuery integrierten Gemini-Modellen analysieren Sie nicht mehr nur Ihre Daten, sondern arbeiten zum Data Storytelling. Sie können die verborgenen Narrative in Ihren Datasets generieren und die Art und Weise transformieren, wie Sie Ihre Erkenntnisse verstehen. Beginnen Sie jetzt! Wenden Sie diese Technik auf Ihre eigenen Datasets an und entdecken Sie die Geschichten in Ihren Daten. Da BigQuery unstrukturierte Daten in Objekttabellen ( externe Tabellen) unterstützt, können Sie mit Gemini Pro Vision generative Informationen zu Bilddaten erstellen. Eine ausführlichere Anleitung finden Sie in der Dokumentation zu Vertex AI, BigQuery Remote Functions und Cloud Functions. Hier ist das GitHub-Repository für dieses Projekt. Teilen Sie uns mit, was Sie mit diesen Erkenntnissen entwickelt haben!