In-Place LLM Insights: BigQuery und Gemini für die Analyse strukturierter und unstrukturierter Daten

1. Einführung

Riesige Datasets enthalten wertvolle Informationen, aber es kann schwierig sein, daraus aussagekräftige Erkenntnisse zu gewinnen. Herkömmliche Analysetools liefern oft keine differenzierten, menschenähnlichen Erklärungen, die uns helfen, die Geschichte hinter unseren Daten wirklich zu verstehen. In Data Warehouses werden immer mehr unstrukturierte Daten gespeichert, aber diese Daten waren nicht immer zugänglich, um Erkenntnisse zu gewinnen. Unstrukturierter Text, Bilder und Videos enthalten wertvolle Informationen für die Weiterentwicklung Ihres Unternehmens. LLMs bieten eine leistungsstarke neue Möglichkeit, Ihre Daten zu analysieren. Sie können Erklärungen, Stimmungsanalysen, Objekterkennung und vieles mehr liefern. Mit dem Aufkommen multimodaler Modelle und der Möglichkeit, Objektdaten wie Bilder und Videos über Objekttabellen in BigQuery zu speichern, kann die Integration leistungsstarker LLMs wie Gemini 1.0 Pro (für textbasierte Analysen) und Gemini 1.0 Pro Vision (für Text- und Bild-/Videoanalysen) in BigQuery die Art und Weise, wie Sie Daten analysieren, grundlegend verändern.

In diesem Codelab sehen wir uns die folgenden zwei Methoden an, um LLM-Erkenntnisse aus Ihren Unternehmensdaten zu gewinnen und diese Erkenntnisse auf Tausende von Zeilen in BigQuery zu skalieren:

Methode 1: Remote-Modellaufruf

  • Rufen Sie Gemini 1.0 Pro in BigQuery mit ML.GENERATE_TEXT in der SELECT-Abfrage auf.
  • Verwenden Sie diesen Ansatz, wenn das Modell bereits als Remote-Modell in BigQuery verfügbar ist und Sie es sofort verwenden möchten. Sehen Sie in der BigQuery-Dokumentation nach, welchen Status das Modell hat, das Sie verwenden möchten.

Methode 2: Implementierung von Remote-Funktionen

  • Rufen Sie eine Cloud Functions-Funktion auf, die einen Gemini 1.0 Pro Vision-Aufruf implementiert und als Remote-Funktion in BigQuery verfügbar gemacht wird.
  • Verwenden Sie diesen Ansatz, wenn das gewünschte Modell entweder nicht sofort als Remote-Modell verfügbar ist oder Sie in Ihrem Anwendungsfall mehr Flexibilität und Anpassungsmöglichkeiten benötigen.

Aufgaben

  • Bei der Methode Remote Model Invocation (Aufruf von Remote-Modellen) erstellen Sie eine Zusammenfassung von Orten für das Dataset mit Internetarchivbüchern, das öffentlich in BigQuery verfügbar ist. Dazu rufen Sie das Remote-Modell für Gemini 1.0 Pro im ML.GENERATE_TEXT-Konstrukt in BigQuery auf.

Flussdiagramm für den Aufruf von Remote-Modellen

  • Bei der Methode Implementierung der Remote-Funktion erstellen Sie einen Bildvalidator, um Testbilder mit einem Referenzbild zu vergleichen. Dazu erstellen Sie ein Dataset mit Screenshots von Testbildern in einer externen Tabelle und bitten Gemini 1.0 Pro Vision, es mit dem Referenzbild zu vergleichen. Anschließend erstellen Sie eine Java Cloud-Funktion, die den Gemini Pro Vision-Aufruf implementiert, und rufen sie als Remote-Funktion in BigQuery auf.

Flussdiagramm für die Implementierung von Remote-Funktionen

Hinweis:

Möglicherweise sind weitere generative KI-Modelle von Vertex AI als Remote-Modelle in BigQuery verfügbar. Das bedeutet, dass Sie mit dem ML.GENERATE_TEXT-Konstrukt sofort auf diese Modelle zugreifen können. Auch wenn Remote-Modelle verfügbar sind, haben Sie immer die Möglichkeit, mit Cloud Functions erweiterte Anpassungen für Ihren Anwendungsfall zu erstellen und dann als Remote-Funktionen von BigQuery aus auf diese Modelle zuzugreifen.

Warum BigQuery?

BigQuery ist ein serverloses Multi-Cloud-Data Warehouse, das mit minimalem Betriebsaufwand von Byte auf Petabyte skaliert werden kann und daher eine gute Wahl für die Speicherung von ML-Trainingsdaten ist. Mit den integrierten Funktionen für BigQuery Machine Learning (BQML) und Analysen können Sie Vorhersagen ohne Code erstellen, indem Sie nur SQL-Abfragen verwenden. Außerdem können Sie mit föderierten Abfragen auf Daten aus externen Quellen zugreifen. So sind keine komplizierten ETL-Pipelines mehr erforderlich.

BigQuery ist ein vollständig verwaltetes Cloud-Data-Warehouse, mit dem Nutzer strukturierte, semistrukturierte und unstrukturierte Daten analysieren können.

2. Voraussetzungen

  • Ein Browser, z. B. Chrome oder Firefox
  • Google Cloud-Projekt mit aktivierter Abrechnungsfunktion.

3. Hinweis

  1. Wählen Sie in der Google Cloud Console auf der Seite zur Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.
  2. Die Abrechnung für das Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für ein Projekt aktiviert ist .
  3. Sie verwenden Cloud Shell, eine Befehlszeilenumgebung, die in Google Cloud ausgeführt wird und in der bq vorinstalliert ist. Klicken Sie oben in der Google Cloud Console auf „Cloud Shell aktivieren“.

Bild der Schaltfläche „Cloud Shell aktivieren“

  1. Sobald die Verbindung mit der Cloud Shell hergestellt ist, können Sie mit dem folgenden Befehl prüfen, ob Sie bereits authentifiziert sind und für das Projekt schon Ihre Projekt-ID eingestellt ist:
gcloud auth list
  1. Führen Sie den folgenden Befehl in Cloud Shell aus, um zu bestätigen, dass der gcloud-Befehl Ihr Projekt kennt.
gcloud config list project
  1. Wenn Ihr Projekt nicht festgelegt ist, verwenden Sie den folgenden Befehl, um es festzulegen:
gcloud config set project <YOUR_PROJECT_ID>
  1. Rufen Sie den Gemini for Google Cloud Marketplace auf, um die API zu aktivieren. Sie können auch den folgenden Befehl im Cloud Shell-Terminal verwenden:
gcloud services enable cloudaicompanion.googleapis.com --project PROJECT_ID
  1. Prüfen Sie, ob die folgenden APIs aktiviert sind:
  • BigQuery
  • BigQuery-Verbindung
  • Cloud Functions-Funktion
  • Cloud Run
  • Vertex AI
  • Cloud Build
  • Cloud Storage APIs

Alternativ zum gcloud-Befehl können Sie die Konsole über diesen Link verwenden.

Informationen zu gcloud-Befehlen und deren Verwendung finden Sie in der Dokumentation.

4. BigQuery-Dataset und externe Verbindung erstellen

Erstellen wir zuerst ein Dataset und eine Cloud-Ressourcenverbindung.

Ein Dataset in BigQuery ist ein Container für alle Tabellen und Objekte Ihrer Anwendung.

So erstellen Sie ein Dataset:

  1. Rufen Sie in der Google Cloud Console die BigQuery-Seite auf.
  2. Wählen Sie im Bereich Explorer das Projekt aus, in dem Sie das Dataset erstellen möchten.
  3. Maximieren Sie die Option Aktionen (das Symbol mit den drei vertikalen Punkten) und klicken Sie auf Dataset erstellen.

Bild des Menüs „Aktionen“ und der Option „Dataset erstellen“

  1. Klicken Sie auf Dataset erstellen.
  2. Geben Sie im Feld Dataset-ID den Wert gemini_bq_fn ein.
  3. Legen Sie den Standorttyp auf Multi-region fest und übernehmen Sie den Standardwert US(multiple regions in United States..
  4. Klicken Sie auf Dataset erstellen.
  5. Prüfen Sie, ob das Dataset erstellt wurde und im Bereich Explorer unter Ihrer Projekt-ID aufgeführt ist.

Für die Interaktion mit Ihrer Cloud Functions-Funktion ist eine BigQuery-Verbindung erforderlich. Zum Erstellen einer Remote-Funktion müssen Sie eine BigQuery-Verbindung herstellen. In diesem Codelab verwenden wir die BigLake-Verbindung, um über die Cloud Functions-Funktion von BigQuery aus auf das Modell zuzugreifen. BigLake-Verbindungen dienen dazu, die externe Datenquelle zu verbinden. Sie stellen gleichzeitig eine detaillierte BigQuery-Zugriffssteuerung und Sicherheit bereit, in unserem Fall die Vertex AI Gemini Pro API.

So erstellen Sie die BigLake-Verbindung:

  1. Klicken Sie auf der BigQuery-Seite im Bereich Explorer auf Hinzufügen.

BigQuery-Konsole mit hervorgehobenem Button „HINZUFÜGEN“ zum Hinzufügen einer externen Verbindung

  1. Klicken Sie auf Verbindungen zu externen Datenquellen.
  2. Wählen Sie im Menü „Verbindungstyp“ die Option Remote-Modelle in Vertex AI, Remote-Funktionen und BigLake (Cloud-Ressource) aus.
  3. Geben Sie im Feld Verbindungs-ID den Namen der Verbindung als gemini-bq-conn ein.
  4. Legen Sie den Standorttyp auf Multi-region fest und übernehmen Sie den Standardwert US(multiple regions in United States..
  5. Klicken Sie auf Verbindung erstellen.
  6. Klicken Sie auf Zur Verbindung und kopieren Sie dann die Dienstkonto-ID im Bereich Verbindungsinformationen.

Screenshot der Verbindungsinformationen

  1. Rufen Sie die Seite IAM & Verwaltung auf und klicken Sie auf Zugriff erlauben.
  2. Fügen Sie die Dienstkonto-ID in das Feld Neue Hauptkonten ein.
  3. Wählen Sie die Rolle Vertex AI user aus der Rollenliste aus und klicken Sie auf Speichern.

Zugriff auf Dienstkonto gewähren – Screenshot

Sie haben das Dataset und die BigQuery-Verbindung erfolgreich erstellt. Als Nächstes führen Sie die Schritte aus, die für den Remote-Modellaufruf erforderlich sind.

5. Anwendungsfall 1: Remote-Modellaufruf einrichten

Nachdem Sie Ihr Dataset und Ihre Verbindung erstellt haben, erstellen wir ein Modell in BigQuery, das auf dem Foundation Model Gemini Pro von Vertex AI basiert. Am Ende dieser Übung haben Sie Ihre LLM-Anwendung nur mit SQL-Abfragen zum Laufen gebracht.

Schritt 1: BigQuery-Tabelle erstellen mit den Eingabedaten für das Remote-Modell

Erstellen Sie in Ihrem Dataset eine Tabelle mit dem Namen books, die etwa 50 Datensätze aus der Tabelle bigquery-public-data.gdelt_internetarchivebooks.1905 im Dataset Internet Archive Books aufnehmen kann, das von BigQuery für die öffentliche Nutzung bereitgestellt wird.

Führen Sie dazu die folgende DDL-Anweisung (Data Definition Language) im BigQuery-SQL-Editorbereich aus:

create or replace table gemini_bq_fn.books as (
select *
from
bigquery-public-data.gdelt_internetarchivebooks.1905 limit 50)

Schritt 2 : BigQuery-Modell erstellen

Erstellen Sie ein Modell in Ihrem Dataset. Führen Sie dazu die folgende DDL im BigQuery-SQL-Editorbereich aus:

CREATE MODEL `gemini_bq_fn.gemini_remote_model`
REMOTE WITH CONNECTION `us.gemini-bq-conn`
OPTIONS(ENDPOINT = 'gemini-pro');

Das Modell wird erstellt und Sie haben die Möglichkeit, es anzusehen.

Schritt 3 : Neue generative KI-Anwendung testen

Verwenden Sie die Funktion ML.GENERATE_TEXT in einer SELECT-Abfrage, um eine Anfrage an das Remote-Modell zu senden.

SELECT ml_generate_text_llm_result as Gemini_Response, prompt as Prompt
FROM ML.GENERATE_TEXT(MODEL `gemini_bq_fn.gemini_remote_model`,
 (select 'You are a text summarizer and standardizer. From the following text that contains address locations, standardize and print one standardized, consolidated address. You cannot return empty because you know how to pick up sensible data from the text in this field: ' ||
substring(locations, 0, 200) as prompt
from `gemini_bq_fn.books`),
STRUCT(
 TRUE AS flatten_json_output));

Sie sollten folgendes Ergebnis sehen:

ML.GENERATE_TEXT-Abfrageergebnis in BigQuery

Glückwunsch! Sie haben erfolgreich gezeigt, wie Sie ein Remote-Modell (basierend auf einem gemini-pro-Modell) mit der Funktion ML.GENERATE_TEXT verwenden, um Textdaten in einer BigQuery-Tabelle zu analysieren.

Sehen wir uns nun ein weiteres Vertex AI-Modell an, das BigQuery-Remote-Funktionen verwendet. Angenommen, Sie möchten die Verwendung des Modells in BigQuery anpassen und flexibler gestalten. Unterstützte Modelle sind in der BigQuery-Dokumentation aufgeführt.

6. Anwendungsfall 2: Remote-Funktionsimplementierung: Remote-Funktionsimplementierung einrichten

In dieser Übung erstellen Sie eine Funktion in BigQuery, die auf der Java Cloud Functions-Funktion basiert, die das Foundation Model Gemini 1.0 Pro Vision implementiert. Zuerst erstellen und stellen Sie die Java Cloud Functions-Funktion bereit, um Bilder mit dem Gemini 1.0 Pro Vision-Modell zu vergleichen. Anschließend erstellen Sie die Remote-Funktion in BigQuery, mit der die bereitgestellte Cloud Functions-Funktion aufgerufen wird. Denken Sie daran, dass Sie für jede Ausführung einer Remote-Funktion in BigQuery dieselbe Vorgehensweise anwenden können.

Los gehts!

Schritt 1: Java-Cloud Functions-Funktion erstellen

Sie erstellen eine Cloud-Funktion der 2. Generation in Java, um Testbilder mit einem Referenzbild zu vergleichen. Das Baseline-Bild wird in einem Dataset mit Screenshots von Testbildern in einer externen Tabelle in BigQuery gespeichert. Sie validieren die Bilder mit dem Gemini Pro Vision-Modell (Java SDK). Anschließend stellen Sie die Java-Cloud Functions-Funktion an einem REST-Endpunkt bereit.

Gehen Sie so vor:

  1. Cloud Shell-Editor starten
  2. Wenn Sie den alten Editor verwenden, klicken Sie auf Neuen Editor ausprobieren.
  3. Klicken Sie in der Statusleiste auf Cloud Code – Anmelden.
  4. Wenn Sie aufgefordert werden, Cloud Shell Editor für Google Cloud API-Aufrufe zu autorisieren, klicken Sie auf Autorisieren. Folgen Sie den Anweisungen, um sich in Ihrem Google-Konto anzumelden. Sie sind jetzt mit Google Cloud verbunden.
  5. Wenn Ihr Projekt nicht in der Cloud Code-Statusleiste angezeigt wird, klicken Sie auf Cloud Code – Anmelden > Google Cloud-Projekt auswählen. Wählen Sie das Google Cloud-Projekt aus, in dem Sie Ihre Cloud-Funktionen erstellen möchten. Das Projekt wird geladen und wird zum aktiven Projekt im Cloud Shell-Editor.
  6. Klicken Sie in der Cloud Code-Statusleiste auf den Namen des aktiven Projekts. Wählen Sie im angezeigten Menü „Schnellauswahl“ die Option Neue Anwendung aus.
  7. Wählen Sie im Dialogfeld Neue Anwendung erstellen die Option Cloud Functions-Anwendung aus.

Pop-up-Seite 1 von „Neue Anwendung erstellen“

  1. Wählen Sie bei entsprechender Aufforderung die Vorlage Java: Hello World aus.

Pop-up-Seite „Neue Anwendung erstellen“, Seite 2

  1. Geben Sie Gemini-BQ-Function als Projektnamen im Projektpfad ein. Die Projektstruktur wird in einer neuen Cloud Shell Editor-Ansicht angezeigt.

Neue Projektstruktur für Java-Cloud Functions-Anwendungen

  1. Fügen Sie die erforderlichen Abhängigkeiten in das <dependencies>... </dependencies>-Tag ein oder kopieren Sie die Abhängigkeiten aus der pom.xml-Beispieldatei.
  2. Ändern Sie den Namen Ihrer Klasse von HelloWorld.java in einen aussagekräftigeren Namen. Nehmen wir an, GeminiBigQueryFunction.java. Benennen Sie das Paket entsprechend um.
  3. Ersetzen Sie den Platzhaltercode in der Datei GeminiBigQueryFunction.Java durch den Beispielcode im GitHub-Repository. Achten Sie darauf, die Variable <YOUR_PROJECT_ID> im Beispielcode durch Ihre Projekt-ID zu ersetzen.
  4. Rufen Sie das Cloud Shell-Terminal auf. Prüfen Sie, ob Sie sich im Projektverzeichnis befinden. Falls nicht, wechseln Sie mit dem folgenden Befehl zum Projektverzeichnis:
cd Gemini-BQ-Function
  1. Führen Sie die folgende Anweisung aus, um die Cloud-Funktion zu erstellen und bereitzustellen:
gcloud functions deploy gemini-bq-fn --gen2 --runtime java17 --trigger-http --entry-point cloudcode.helloworld.GeminiBigQueryFunction --allow-unauthenticated --source .

Ersetzen Sie den Einstiegspunkt im Befehl durch den Einstiegspunkt Ihrer Funktion. Die Ausgabe ist eine REST-URL im folgenden Format:

https://us-central1-YOUR_PROJECT_ID.cloudfunctions.net/gemini-bq-fn
  1. Testen Sie diese Cloud-Funktion, indem Sie den folgenden Befehl im Terminal ausführen:
gcloud functions call gemini-bq-fn --region=us-central1 --gen2 --data '{"calls":[["https://storage.googleapis.com/img_public_test/image_validator/baseline/1.JPG", "https://storage.googleapis.com/img_public_test/image_validator/test/2.JPG", "PROMPT_ABOUT_THE_IMAGES_TO_GEMINI"]]}'

Antwort auf die Eingabeaufforderung für die Zufallsstichprobe:

JSON-Antwortstring aus der Cloud-Funktion

Sehr gut! Die generische Cloud Functions-Funktion für die Implementierung des Gemini Pro Vision-Modells ist fertig. Wir verwenden diesen Endpunkt direkt für BigQuery-Daten aus einer BigQuery-Remote-Funktion heraus.

Schritt 2: BigQuery-Objekttabelle und ‑Remote-Funktion erstellen

Voraussetzung

Für diesen Teil der Übung benötigen Sie einen Cloud Storage-Bucket. So erstellen Sie einen Cloud Storage-Bucket:

  1. Rufen Sie zum Erstellen eines Buckets die Cloud Storage-Konsole auf und klicken Sie auf Erstellen.
  2. Geben Sie demo-bq-gemini-public-image als Bucket-Name ein und klicken Sie auf Erstellen.
  3. Entfernen Sie das Häkchen bei der Option Enforce public access prevention on this bucket. Obwohl Sie diesen Bucket in dieser Übung für den öffentlichen Zugriff erstellen, empfehlen wir, den öffentlichen Zugriff zu verhindern und Berechtigungen für bestimmte Dienstkonten nach Bedarf in Ihren Anwendungsfällen für Unternehmen zu erteilen.
  4. Nachdem der Bucket erstellt wurde, können Sie auf dem Tab Berechtigungen Berechtigungen ansehen und ändern.
  5. Klicken Sie zum Hinzufügen von Hauptkonten auf Zugriff gewähren. Geben Sie eine Dienstkonto-ID an, um einem bestimmten Konto Berechtigungen zu erteilen, oder geben Sie allUsers an, um öffentlichen Zugriff auf Ihren Bucket zu gewähren.
  6. Wählen Sie die Rolle Storage Object Viewer aus und klicken Sie auf Speichern. Wenn Sie dazu aufgefordert werden, wählen Sie aus, dass öffentlicher Zugriff erlaubt werden soll.
  7. Rufen Sie den Tab Objekte auf und laden Sie Baseline- und Testbilder zum Vergleichen hoch. Für dieses Codelab können Sie die folgenden öffentlich verfügbaren Objekte hochladen: baseline.JPG, TEST1.JPG und TEST2.JPG.

BigQuery-Objekttabelle erstellen

Erstellen Sie eine externe Objekttabelle in BigQuery, um über die Verbindung und das Dataset, die Sie zuvor erstellt haben, auf die unstrukturierten Daten im Bucket zuzugreifen. Führen Sie dazu die folgende DDL-Anweisung (Data Definition Language) im Bereich des BigQuery-Abfrageeditors aus:

CREATE OR REPLACE EXTERNAL TABLE `gemini_bq_fn.image_validation`
WITH CONNECTION `us.gemini-bq-conn`
OPTIONS(object_metadata="SIMPLE", uris=["gs://demo-bq-gemini-public-image/*.JPG"]);

Prüfen Sie, ob in Ihrem Dataset eine neue Objekttabelle mit dem Namen image_validation erstellt wurde.

BigQuery-Remote-Funktion erstellen

Erstellen Sie eine Remote-Funktion in BigQuery, um die Java-Cloud-Funktion aufzurufen, die das Gemini Pro Vision-Modell implementiert. Erstellen Sie sie im selben Dataset. Führen Sie dazu die folgende DDL im SQL-Editorbereich der BigQuery-Konsole aus:

CREATE OR REPLACE FUNCTION `gemini_bq_fn.FN_IMAGE_VALIDATE` (baseline STRING, test STRING, prompt STRING) RETURNS STRING
 REMOTE WITH CONNECTION `us.gemini-bq-conn`
 OPTIONS (
   endpoint = 'https://us-central1-<your project id>.cloudfunctions.net/gemini-bq-fn',
   max_batching_rows = 1
 );

Die Endpunkt-URL ist die REST-URL, die weiter oben in dieser Übung zurückgegeben wurde. Dadurch wird die Remote-Funktion in BigQuery erstellt. Die oben stehende DDL enthält drei Parameter. Die ersten beiden Parameter sind URLs zu den Bildern, die in der im vorherigen Schritt erstellten Objekttabelle gespeichert sind. Der letzte Parameter ist der Prompt für das Modell (Gemini Pro Vision). Hier finden Sie den Java Cloud Functions-Code, der zum Parsen dieser Signatur verwendet wird:

Gson().fromJson(request.getReader(), JsonObject.class);
JsonArray calls_array = requestJson.getAsJsonArray("calls");
JsonArray calls = (JsonArray) calls_array.get(0);
String baseline_url = calls.get(0).toString().replace("\"", "");
String test_url = calls.get(1).toString().replace("\"", "");
String prompt_string = calls.get(2).toString();

Gemini über BigQuery aufrufen

Verwenden Sie die Remote-Funktion in einer SELECT-Abfrage, um die Funktion zum Validieren der Bilder anhand des Prompts zu testen.

select gemini_bq_fn.FN_IMAGE_VALIDATE(
'https://storage.googleapis.com/demo-bq-gemini-public-image/Baseline.JPG',
REPLACE(uri, 'gs://', 'https://storage.googleapis.com/') ,
'You are an expert image validator who can respond with JSON result. Find 2 images here. The first one is the reference image. The second image is the test image. Compare the second image to see if the second image is similar to the first in terms of the text present in the image.  Respond ONLY in JSON Format with 3 attributes namely SIMILARITY which is a \"YES\" or \"NO\", SIMILARITY_SCORE which is a percentage and DIFFERENCE_COMMENT which is a string.' ) as IMAGE_VALIDATION_RESULT
from `gemini_bq_fn.image_validation`
where uri like '%TEST1%';  

Probieren Sie die obige Abfrage mit den Objektdateien TEST1 und TEST2 aus. Das Ergebnis sollte in etwa so aussehen:

Screenshot des Ergebnisses der BigQuery-Remote-Funktion

Hier sind die Bilder zur Orientierung:

Baseline-Bild

Baseline-Referenzbild für den Testlauf

Testbild

Testbild 1 für den Testlauf

Beide Bilder sind ähnlich, da sie die Cloud Console-Ansicht von Duet AI zeigen. Der Text ist jedoch unterschiedlich, da er vom Modell im JSON-Format generiert wurde.

Damit haben Sie die Implementierung der Remote-Funktion erfolgreich getestet.

7. Vorteile und Anwendungsfälle

Sehen wir uns einige der Vorteile der Integration von BigQuery und Gemini für die Analyse strukturierter und unstrukturierter Daten an.

  • Generative KI für Ihre Daten nutzen: Daten müssen nicht mehr verschoben oder dupliziert werden, und die Komplexität wird reduziert. Sie können Daten analysieren und Statistiken in derselben BigQuery-Umgebung generieren.
  • Erweiterte Analysen: Die Erklärungen in natürlicher Sprache von Gemini fügen Ihren Daten eine neue Ebene des Verständnisses hinzu. Dies erreichen Sie mit SQL-Abfragen.
  • Skalierbarkeit: Diese Lösung verarbeitet große Datasets und komplexe Analysen mühelos und mit geringem Low-Code-Aufwand.

Die Anwendungsbereiche sind vielfältig. Denken Sie an Szenarien in den Bereichen Finanzen (Markttrendanalyse), Einzelhandel (Kundenstimmung) und Gesundheitswesen (Zusammenfassungen von medizinischen Berichten), in denen Ihre Analyse- und Geschäftsteams diese mit relativ geringem Aufwand, Ressourcen und einer vertrauten Sprache und einem vertrauten Tool implementieren könnten.

8. Bereinigen

So vermeiden Sie, dass Ihrem Google Cloud-Konto die in diesem Beitrag verwendeten Ressourcen in Rechnung gestellt werden:

  1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.
  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie auf Löschen.
  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Beenden, um das Projekt zu löschen.
  4. Wenn Sie Ihr Projekt behalten möchten, überspringen Sie die oben genannten Schritte und löschen Sie die Cloud-Funktion. Rufen Sie dazu Cloud Functions auf, wählen Sie in der Liste der Funktionen die Funktion aus, die Sie löschen möchten, und klicken Sie auf Löschen.

9. Glückwunsch

Glückwunsch! Mit den in BigQuery integrierten Gemini-Modellen analysieren Sie Ihre Daten nicht nur, sondern erzählen auch eine Geschichte mit ihnen. Sie können die verborgenen Zusammenhänge in Ihren Datasets aufdecken und so Ihre Statistiken besser verstehen. Beginnen Sie jetzt! Wenden Sie diese Technik auf Ihre eigenen Datasets an und entdecken Sie die Geschichten, die in Ihren Daten stecken. Da BigQuery unstrukturierte Daten in Objekttabellen ( externe Tabellen) unterstützt, können Sie Gemini Pro Vision verwenden, um generative Statistiken zu Bilddaten zu erstellen. Weitere Informationen finden Sie in der Dokumentation zu Vertex AI, BigQuery-Remote-Funktionen und Cloud Functions. GitHub-Repository für dieses Projekt Lassen Sie uns wissen, was Sie mit diesem Wissen entwickeln.