Serverlose Datenpipeline erstellen: IoT to Analytics

1. Übersicht/Einführung

Mehrschichtige Anwendungen, die aus Web-, Anwendungsserver- und Datenbankebenen bestehen, sind die Grundlage für die Webentwicklung und der Ausgangspunkt für viele Websites. Erfolg bringt jedoch oft Herausforderungen in Bezug auf Skalierbarkeit, Integration und Agilität mit sich. Wie können Daten beispielsweise in Echtzeit verarbeitet und an mehrere wichtige Geschäftssysteme verteilt werden? Diese Probleme in Verbindung mit den Anforderungen von Anwendungen im Internetmaßstab führten zum Bedarf an einem verteilten Messaging-System und zum Aufkommen eines Architekturmusters, bei dem Datenpipelines verwendet werden, um robuste Echtzeitsysteme zu realisieren. Daher ist es für Entwickler und Architekten gleichermaßen wichtig, zu wissen, wie Echtzeitdaten in einem verteilten Messaging-System veröffentlicht und dann eine Datenpipeline erstellt wird.

Möchten Sie mehr Hintergrundinformationen? Hier finden Sie die Geschichten, wie LinkedIn seine Architektur von einer mehrschichtigen Anwendung zu einer Anwendung entwickelt hat, die Streaming als zentrale Komponente nutzt, und wie und warum Spotify seine Streaming-Architektur in eine cloudbasierte Architektur geändert hat.

Überblick

In diesem Codelab erstellen Sie eine Wetterdatenpipeline, die mit einem IoT-Gerät (Internet of Things) beginnt, eine Message Queue zum Empfangen und Senden von Daten verwendet, eine serverlose Funktion nutzt, um die Daten in ein Data Warehouse zu verschieben, und dann ein Dashboard erstellt, auf dem die Informationen angezeigt werden. Für das IoT-Gerät wird ein Raspberry Pi mit einem Wettersensor verwendet. Die Datenpipeline besteht aus mehreren Komponenten der Google Cloud Platform. Das Einrichten des Raspberry Pi ist zwar von Vorteil, aber ein optionaler Teil dieses Codelabs. Die Streaming-Wetterdaten können durch ein Skript ersetzt werden.

Nachdem Sie die Schritte in diesem Codelab ausgeführt haben, haben Sie eine Streaming-Datenpipeline, die ein Dashboard mit Temperatur, Luftfeuchtigkeit, Taupunkt und Luftdruck speist.

Lerninhalte

• Google Pub/Sub verwenden
• Google Cloud Functions-Funktion bereitstellen
• Google BigQuery nutzen
• Dashboard mit Google Data Studio erstellen
• Wenn Sie den IoT-Sensor entwickeln, lernen Sie außerdem, wie Sie das Google Cloud SDK verwenden und wie Sie Remote-Zugriffsaufrufe an die Google Cloud Platform schützen.

Voraussetzungen

• Ein Google Cloud Platform-Konto Neuen Nutzern der Google Cloud Platform steht eine kostenlose Testversion mit einem Guthaben von 300$ zur Verfügung.

Wenn Sie den IoT-Sensor-Teil dieses Codelabs selbst erstellen möchten, anstatt Beispieldaten und ein Skript zu verwenden, benötigen Sie außerdem Folgendes ( das als komplettes Kit oder als Einzelteile bestellt werden kann):

• Raspberry Pi Zero W mit Netzteil, SD-Speicherkarte und Gehäuse
• USB-Kartenleser
• USB-Hub (zum Anschließen von Tastatur und Maus an den einzigen USB-Anschluss des Raspberry Pi)
• Jumperkabel mit Buchse auf beiden Seiten
• GPIO-Hammer-Header
• BME280-Sensor
• Lötkolben mit Lötzinn

Außerdem wird davon ausgegangen, dass Sie Zugriff auf einen Computermonitor oder Fernseher mit HDMI-Eingang, ein HDMI-Kabel, eine Tastatur und eine Maus haben.

Für dieses Codelab wird der Raspberry Pi Zero W empfohlen. Ein Raspberry Pi 3 Modell B funktioniert aber auch. Er erfordert keine Hammer-Header-Pins oder einen USB-Hub, hat eine bessere CPU, kostet aber mehr. Wenn Sie sich für das alternative Gerät entscheiden, benötigen Sie ein Netzteil und eine geeignete SD‑Karte.

2. Einrichtung

Umgebung zum selbstbestimmten Lernen einrichten

Wenn Sie noch kein Google-Konto (Gmail oder G Suite) haben, müssen Sie eines erstellen. Unabhängig davon, ob Sie bereits ein Google-Konto haben oder nicht, sollten Sie die kostenlose Testversion mit einem Guthaben von 300$ nutzen.

Melden Sie sich in der Google Cloud Console ( console.cloud.google.com) an. Sie können das Standardprojekt („My First Project“) für dieses Lab verwenden oder ein neues Projekt erstellen. Wenn Sie ein neues Projekt erstellen möchten, können Sie die Seite „Ressourcen verwalten“ verwenden. Die Projekt-ID muss für alle Google Cloud-Projekte ein eindeutiger Name sein. Die unten gezeigte ID ist bereits vergeben und kann nicht verwendet werden. Notieren Sie sich Ihre Projekt-ID (z.B. Ihre Projekt-ID ist _____), da sie später benötigt wird.

Wenn Sie Ihre Projekt-ID vergessen haben, finden Sie sie in der Cloud Console auf der Startseite.

Die Durchführung dieses Codelabs sollte nicht mehr als ein paar Dollar kosten, aber es könnte mehr sein, wenn Sie sich für mehr Ressourcen entscheiden oder wenn Sie sie laufen lassen. Vergessen Sie nicht, den Abschnitt „Bereinigen“ am Ende des Codelabs durchzugehen.

Möchten Sie mehr über die Preise der Google Cloud Platform erfahren? Preisrechner ansehen

3. BigQuery-Tabelle erstellen

BigQuery ist ein serverloses, hoch skalierbares und kostengünstiges Data Warehouse für Unternehmen und eignet sich ideal zum Speichern von Daten, die von IoT-Geräten gestreamt werden. Gleichzeitig können Analysedashboards die Informationen abfragen.

Erstellen wir eine Tabelle, in der alle IoT-Wetterdaten gespeichert werden. Wählen Sie BigQuery in der Cloud Console aus. BigQuery wird in einem neuen Fenster geöffnet. Schließen Sie das ursprüngliche Fenster nicht, da Sie es später noch einmal benötigen.

Klicken Sie neben dem Projektnamen auf den Abwärtspfeil und wählen Sie „Neues Dataset erstellen“ aus.

Geben Sie „weatherData“ für das Dataset ein, wählen Sie einen Speicherort aus und klicken Sie auf „OK“.

Klicken Sie neben Ihrem Dataset auf das Pluszeichen (+), um eine neue Tabelle zu erstellen.

Wählen Sie für Quelldaten die Option Leere Tabelle aus. Geben Sie als Namen der Zieltabelle „weatherDataTable“ ein. Klicken Sie unter Schema auf die Schaltfläche Feld hinzufügen, bis insgesamt 9 Felder vorhanden sind. Füllen Sie die Felder wie unten dargestellt aus und wählen Sie für jedes Feld den entsprechenden Typ aus. Wenn Sie alles ausgefüllt haben, klicken Sie auf die Schaltfläche Tabelle erstellen.

Rechtschreibfehler bei den Feldnamen oder dem Tabellennamen können Probleme verursachen, wenn Cloud Functions später in diesem Codelab versucht, Daten hinzuzufügen.

Das Ergebnis sollte so aussehen:

Sie haben jetzt ein Data Warehouse eingerichtet, in dem Ihre Wetterdaten empfangen werden.

Ist Ihnen beim Erstellen der Tabelle ein Fehler unterlaufen? Bewegen Sie dazu den Mauszeiger auf der linken Seite des Fensters auf den Tabellennamen, klicken Sie auf den Abwärtspfeil und dann auf „Tabelle löschen“. Jetzt können Sie die obigen Schritte wiederholen, um die Tabelle neu zu erstellen.

4. Pub/Sub-Thema erstellen

Cloud Pub/Sub ist eine einfache, zuverlässige und skalierbare Basis für Streamanalysen und ereignisgesteuerte Computersysteme. Daher eignet es sich perfekt für die Verarbeitung eingehender IoT-Nachrichten und die Weiterleitung an nachgelagerte Systeme zur Verarbeitung.

Wenn Sie sich noch im Fenster für BigQuery befinden, wechseln Sie zurück zur Cloud Console. Wenn Sie die Cloud Console geschlossen haben, rufen Sie https://console.cloud.google.com auf.

Wählen Sie in der Cloud Console „Pub/Sub“ und dann „Themen“ aus.

Wenn Sie eine Aufforderung zum Aktivieren der API sehen, klicken Sie auf die Schaltfläche „API aktivieren“.

Klicken Sie auf die Schaltfläche „Thema erstellen“.

Geben Sie „weatherdata“ als Namen für das Thema ein und klicken Sie auf „Erstellen“.

Das neu erstellte Thema sollte angezeigt werden.

Sie haben jetzt ein Pub/Sub-Thema, in dem Sie IoT-Nachrichten veröffentlichen und auf das andere Prozesse zugreifen können.

Sicheres Veröffentlichen im Thema

Wenn Sie Nachrichten aus Ressourcen außerhalb Ihrer Google Cloud Console (z.B. einem IoT-Sensor) in das Pub/Sub-Thema veröffentlichen möchten, müssen Sie den Zugriff mithilfe eines Dienstkontos genauer steuern und die Sicherheit der Verbindung durch Erstellen eines Vertrauenszertifikats gewährleisten.

Wenn Sie das physische IoT-Gerät nicht im Rahmen dieses Labs erstellen möchten, sind die folgenden Schritte in diesem Abschnitt nicht erforderlich und Sie können sie überspringen. Fahren Sie mit dem nächsten Abschnitt „Cloud-Funktion erstellen“ fort. Wenn Sie wissen möchten, wie Sie einen Sicherheitsschlüssel zum Schutz der Kommunikation zwischen dem IoT-Gerät und der Google Cloud Platform generieren, lesen Sie den Rest dieses Abschnitts.

Wählen Sie in der Cloud Console „IAM & Verwaltung“ und dann „Dienstkonten“ aus.

Klicken Sie auf die Schaltfläche „Dienstkonto erstellen“.

Wählen Sie im Drop-down-Menü „Rolle“ die Rolle „Pub/Sub-Publisher“ aus.

Geben Sie einen Dienstkontonamen ein (iotWeatherPublisher), setzen Sie ein Häkchen bei „Neuen privaten Schlüssel bereitstellen“, prüfen Sie, ob „JSON“ als Schlüsseltyp festgelegt ist, und klicken Sie auf „Erstellen“.

Der Sicherheitsschlüssel wird automatisch heruntergeladen. Es gibt nur einen Schlüssel. Sie sollten ihn also nicht verlieren. Klicken Sie auf "Schließen".

Möchten Sie mehr über die Zugriffssteuerung mit Google Cloud Identity and Access Management erfahren? Dokumentation ansehen

Sie sollten sehen, dass ein Dienstkonto erstellt wurde und eine Schlüssel-ID damit verknüpft ist.

Die folgenden Schritte werden ausgeführt, um das Kopieren des Sicherheitsschlüssels auf den Raspberry Pi zu vereinfachen, damit sich dieses Lab auf die Entwicklung einer vollständigen Datenpipeline konzentrieren kann. Eine bessere Methode wäre jedoch, den Sicherheitsschlüssel mit SFTP oder SCP zu kopieren. Die Einrichtung von SFTP oder SCP auf allen möglichen Betriebssystemen würde jedoch den Rahmen dieses Codelabs sprengen. Wenn Sie mehr erfahren möchten, ist diese Webseite ein guter Ausgangspunkt, um zu lernen, wie Sie SFTP für den Zugriff auf Ihren Raspberry Pi einrichten.

Damit Sie später einfach auf den Schlüssel zugreifen können, speichern wir ihn in Google Cloud Storage. Wählen Sie in der Cloud Console „Storage“ und dann „Browser“ aus.

Auf die Schaltfläche „Bucket erstellen“ klicken

Wählen Sie einen Namen für den Speicher-Bucket aus. Er muss in Google Cloud global eindeutig sein. Klicken Sie dann auf die Schaltfläche „Erstellen“.

Suchen Sie den automatisch heruntergeladenen Sicherheitsschlüssel und ziehen Sie ihn per Drag-and-drop in den Speicher-Bucket oder laden Sie ihn in den Speicher-Bucket hoch.

Nach Abschluss des Schlüsseluploads sollte der Schlüssel im Cloud Storage-Browser angezeigt werden.

Notieren Sie sich den Namen des Storage-Buckets und den Namen der Datei mit dem Sicherheitsschlüssel für später.

5. Cloud Functions-Funktion erstellen

Cloud-Computing ermöglicht vollständig serverlose Computing-Modelle, in denen die Logik ungeachtet der Ereignisquelle nach Bedarf angepasst werden kann. In diesem Lab wird jedes Mal, wenn eine Nachricht im Wetterthema veröffentlicht wird, eine Cloud-Funktion gestartet, die die Nachricht liest und dann in BigQuery speichert.

Wählen Sie in der Cloud Console „Cloud Functions“ aus.

Wenn eine API-Meldung angezeigt wird, klicken Sie auf die Schaltfläche „API aktivieren“.

Auf die Schaltfläche „Funktion erstellen“ klicken

Geben Sie im Feld „Name“ function-weatherPubSubToBQ ein. Wählen Sie für „Trigger“ die Option „Cloud Pub/Sub-Thema“ aus und wählen Sie im Drop-down-Menü „Thema“ die Option „weatherdata“ aus. Wählen Sie für den Quellcode den Inline-Editor aus. Fügen Sie auf dem Tab „index.js“ den folgenden Code ein, um den vorhandenen Code zu ersetzen. Achten Sie darauf, die Konstanten für projectId, datasetId und tableId an Ihre Umgebung anzupassen.

Wenn Sie Ihre Projekt-ID benötigen, finden Sie sie auf der Startseite der Cloud Console.

Wenn Sie die Empfehlungen in diesem Lab befolgt und keine Namen angepasst haben, sollte Ihre datasetId „weatherData“ und die tableId „weatherDataTable“ sein. Ihre projectId ist eindeutig, da jedes Projekt in Google Cloud einen eindeutigen Namen benötigt. Rufen Sie also den Namen ab, den Sie Ihrem Projekt im ersten Schritt dieses Codelabs gegeben haben.

/**
 * Background Cloud Function to be triggered by PubSub.
 *
 * @param {object} event The Cloud Functions event.
 * @param {function} callback The callback function.
 */
exports.subscribe = function (event, callback) {
  const BigQuery = require('@google-cloud/bigquery');
  const projectId = "myProject"; //Enter your project ID here
  const datasetId = "myDataset"; //Enter your BigQuery dataset name here
  const tableId = "myTable"; //Enter your BigQuery table name here -- make sure it is setup correctly
  const PubSubMessage = event.data;
  // Incoming data is in JSON format
  const incomingData = PubSubMessage.data ? Buffer.from(PubSubMessage.data, 'base64').toString() : "{'sensorID':'na','timecollected':'1/1/1970 00:00:00','zipcode':'00000','latitude':'0.0','longitude':'0.0','temperature':'-273','humidity':'-1','dewpoint':'-273','pressure':'0'}";
  const jsonData = JSON.parse(incomingData);
  var rows = [jsonData];

  console.log(`Uploading data: ${JSON.stringify(rows)}`);

  // Instantiates a client
  const bigquery = BigQuery({
    projectId: projectId
  });

  // Inserts data into a table
  bigquery
    .dataset(datasetId)
    .table(tableId)
    .insert(rows)
    .then((foundErrors) => {
      rows.forEach((row) => console.log('Inserted: ', row));

      if (foundErrors && foundErrors.insertErrors != undefined) {
        foundErrors.forEach((err) => {
            console.log('Error: ', err);
        })
      }
    })
    .catch((err) => {
      console.error('ERROR:', err);
    });
  // [END bigquery_insert_stream]


  callback();
};

Fügen Sie auf dem Tab „package.json“ den folgenden Code über den dort vorhandenen Platzhaltercode ein.

{
  "name": "function-weatherPubSubToBQ",
  "version": "0.0.1",
  "private": true,
  "license": "Apache-2.0",
  "author": "Google Inc.",
  "dependencies": {
    "@google-cloud/bigquery": "^0.9.6"
  }
}

Wenn die auszuführende Funktion auf „HelloWorld“ festgelegt ist, ändern Sie sie in „subscribe“. Auf „Erstellen“ klicken

Es dauert etwa 2 Minuten, bis die Funktion als bereitgestellt angezeigt wird.

Glückwunsch! Sie haben gerade Pub/Sub über Functions mit BigQuery verbunden.

6. IoT-Hardware einrichten (optional)

Der Bau des IoT-Sensors ist nicht erforderlich, aber er bietet die Möglichkeit, das Google Cloud SDK und Sicherheitskomponenten zu verwenden. Falls gewünscht, können Sie den Inhalt überfliegen und mit dem nächsten Schritt (Datenpipeline starten) fortfahren.

Raspberry Pi und Sensor zusammenbauen

Wenn mehr als 7 Pins vorhanden sind, kürzen Sie die Kopfzeile auf 7 Pins. Löte die Stiftleisten auf die Sensorplatine.

Setze die Stifte des Hammer-Headers vorsichtig in den Raspberry Pi ein.

Formatieren Sie die SD-Karte und installieren Sie das NOOBS-Installationsprogramm (New Out Of Box Software), indem Sie der Anleitung folgen. Setzen Sie die SD-Karte in den Raspberry Pi ein und legen Sie den Raspberry Pi in das Gehäuse.

Verbinde den Sensor mit den Steckbrückenkabeln gemäß dem Diagramm unten mit dem Raspberry Pi.

Raspberry Pi-Pin	Sensorverbindung
Pin 1 (3,3 V)	FIN
Pin 3 (CPIO2)	SDI
Pin 5 (GPIO3)	SCK
Pin 9 (Masse)	GND

Schließen Sie den Monitor (über den Mini-HDMI-Anschluss), die Tastatur/Maus (über den USB-Hub) und schließlich das Netzteil an.

Raspberry Pi und Sensor konfigurieren

Wenn der Raspberry Pi hochgefahren ist, wählen Sie Raspbian als gewünschtes Betriebssystem aus. Prüfen Sie, ob die gewünschte Sprache richtig ist, und klicken Sie dann auf „Installieren“ (Festplattensymbol oben links im Fenster).

Klicken Sie rechts oben auf dem Display auf das WLAN-Symbol und wählen Sie ein Netzwerk aus. Wenn es sich um ein gesichertes Netzwerk handelt, geben Sie das Passwort (vorinstallierter Schlüssel) ein.

Klicken Sie auf das Himbeersymbol (oben links auf dem Bildschirm), wählen Sie „Einstellungen“ und dann „Raspberry Pi-Konfiguration“ aus. Aktiviere auf dem Tab „Schnittstellen“ die Option „I2C“. Legen Sie auf dem Tab „Lokalisierung“ das Gebietsschema und die Zeitzone fest. Nachdem Sie die Zeitzone festgelegt haben, lassen Sie den Raspberry Pi neu starten.

Klicken Sie nach dem Neustart auf das Terminalsymbol, um ein Terminalfenster zu öffnen.

Geben Sie den folgenden Befehl ein, um sicherzustellen, dass der Sensor richtig angeschlossen ist.

  sudo i2cdetect -y 1

Das Ergebnis sollte so aussehen. Achten Sie darauf, dass dort 77 steht.

Ein Ergebnis von 0 bedeutet, dass der Sensor nicht vom Raspberry Pi gelesen wird. Überprüfen Sie die Verkabelung und die Verbindungen.

Ein anderes Ergebnis als 77 kann darauf hindeuten, dass der Sensortyp nicht dem in diesem Codelab empfohlenen Typ entspricht. In diesem Fall funktioniert der Sensortreiber nicht richtig. Um dieses Problem zu beheben, müssen Sie das Skript „Adafruit_BME280.py“ bearbeiten, das im Abschnitt „Sensorsoftware und Wetterskript installieren“ unten heruntergeladen wird. Wenn im Ergebnis beispielsweise 76 angezeigt wird, müssen Sie BME280_I2CADDR in 0x76 ändern.

Google Cloud SDK installieren

Damit die Tools auf der Google Cloud-Plattform genutzt werden können, muss das Google Cloud SDK auf dem Raspberry Pi installiert sein. Das SDK enthält die Tools, die zum Verwalten und Nutzen der Google Cloud Platform erforderlich sind, und ist für mehrere Programmiersprachen verfügbar.

Weitere Informationen zum Google Cloud SDK

Öffnen Sie ein Terminalfenster auf dem Raspberry Pi, falls noch keines geöffnet ist, und legen Sie eine Umgebungsvariable fest, die der SDK-Version des Betriebssystems auf dem Raspberry Pi entspricht.

  export CLOUD_SDK_REPO="cloud-sdk-$(lsb_release -c -s)"

Fügen Sie nun den Speicherort der Google Cloud SDK-Pakete hinzu, damit die Installationstools wissen, wo sie suchen müssen, wenn sie aufgefordert werden, das SDK zu installieren.

  echo "deb http://packages.cloud.google.com/apt $CLOUD_SDK_REPO main" |  sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

Fügen Sie den öffentlichen Schlüssel aus dem Paket-Repository von Google hinzu, damit der Raspberry Pi die Sicherheit überprüft und den Inhalten während der Installation vertraut.

  curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

Prüfen Sie, ob die gesamte Software auf dem Raspberry Pi auf dem neuesten Stand ist, und installieren Sie das Google Cloud SDK.

  sudo apt-get update && sudo apt-get install google-cloud-sdk

Wenn Sie gefragt werden, ob Sie fortfahren möchten, drücken Sie die Eingabetaste.

Die Installationsgeschwindigkeit des SDK hängt sowohl von der Netzwerkgeschwindigkeit als auch vom Raspberry Pi-Prozessor ab. Die Installation auf dem Raspberry Pi Zero W kann etwa 30 Minuten dauern. Wenn Sie die alternative Hardware (Raspberry Pi 3 Modell B) verwenden, sind die Installationszeiten in der Regel viel kürzer.

Installieren Sie das tendo-Paket mit dem Python-Paketmanager. Dieses Paket wird verwendet, um zu prüfen, ob ein Skript mehr als einmal ausgeführt wird. Es wird für die Anwendung auf das Wetter-Skript installiert.

  pip install tendo

Prüfen Sie mit dem Python-Paketmanager, ob die Google Cloud PubSub- und OAuth2-Pakete für Python installiert und auf dem neuesten Stand sind.

  sudo pip install --upgrade google-cloud-pubsub
  sudo pip install --upgrade oauth2client

Google Cloud SDK initialisieren

Das SDK ermöglicht den authentifizierten Remotezugriff auf die Google Cloud. In diesem Codelab wird es verwendet, um auf den Storage-Bucket zuzugreifen, damit der Sicherheitsschlüssel einfach auf den Raspberry Pi heruntergeladen werden kann.

Geben Sie in der Befehlszeile des Raspberry Pi Folgendes ein:

  gcloud init --console-only

Wenn Sie gefragt werden, ob Sie sich anmelden möchten (Y/n), drücken Sie die Eingabetaste.

Wenn Sie die Meldung „Rufen Sie den folgenden Link in Ihrem Browser auf:“ sehen, gefolgt von einer langen URL, die mit https://accounts.google.com/o/oauth?... beginnt, bewegen Sie den Mauszeiger auf die URL, klicken Sie mit der rechten Maustaste und wählen Sie „URL kopieren“ aus. Öffnen Sie dann den Webbrowser (blaues Globussymbol oben links auf dem Bildschirm), klicken Sie mit der rechten Maustaste auf die Adressleiste und dann auf „Einfügen“.

Wenn Sie versehentlich die Tastenkombination Strg+C verwenden, um die URL zu kopieren, wird der gcloud-Befehl abgebrochen. Versuchen Sie es noch einmal mit dem oben genannten gcloud-Befehl und verwenden Sie die Maus und einen Rechtsklick, um die URL zu kopieren.

Wenn der Anmeldebildschirm angezeigt wird, geben Sie die mit Ihrem Google Cloud-Konto verknüpfte E‑Mail-Adresse ein und drücken Sie die Eingabetaste. Geben Sie dann Ihr Passwort ein und klicken Sie auf die Schaltfläche „Weiter“.

Dieser Ansatz ist einfach gehalten und geht davon aus, dass der Raspberry Pi ein Einzelnutzergerät ist, das nur für Tests verwendet wird. Weitere Informationen zu Google Cloud Identity and Access Management finden Sie in der Dokumentation.

Sie werden aufgefordert, dem Google Cloud SDK Zugriff auf Ihr Google-Konto zu gewähren. Klicken Sie auf die Schaltfläche „Zulassen“.

Der Bestätigungscode wird angezeigt. Markieren Sie den Text mit der Maus, klicken Sie mit der rechten Maustaste darauf und wählen Sie „Kopieren“ aus. Kehren Sie zum Terminalfenster zurück. Achten Sie darauf, dass sich der Cursor rechts neben „Bestätigungscode eingeben:“ befindet, klicken Sie mit der rechten Maustaste und wählen Sie „Einfügen“ aus. Drücken Sie die Eingabetaste.

Wenn Sie aufgefordert werden, ein Cloud-Projekt auszuwählen, geben Sie die Nummer ein, die dem Projektnamen entspricht, den Sie für dieses Codelab verwendet haben, und drücken Sie die Eingabetaste.

Wenn Sie aufgefordert werden, die Compute API zu aktivieren, drücken Sie die Eingabetaste, um sie zu aktivieren. Anschließend werden Sie aufgefordert, die Google Compute Engine-Einstellungen zu konfigurieren. Drücken Sie die Eingabetaste. Es wird eine Liste mit potenziellen Regionen/Zonen angezeigt. Wählen Sie eine in Ihrer Nähe aus, geben Sie die entsprechende Nummer ein und drücken Sie die Eingabetaste.

Gleich werden einige zusätzliche Informationen angezeigt. Das Google Cloud SDK ist jetzt konfiguriert. Sie können das Webbrowserfenster schließen, da Sie es nicht mehr benötigen.

Sensorsoftware und Wetterskript installieren

Klonen Sie über die Befehlszeile auf dem Raspberry Pi die erforderlichen Pakete zum Lesen von Informationen von den Ein-/Ausgabe-Pins.

  git clone https://github.com/adafruit/Adafruit_Python_GPIO

Heruntergeladene Pakete installieren

  cd Adafruit_Python_GPIO

  sudo python setup.py install

  cd ..

Projektcode klonen, der den Wettersensor aktiviert

  git clone https://github.com/googlecodelabs/iot-data-pipeline

Kopieren Sie den Sensortreiber in dasselbe Verzeichnis wie die restliche heruntergeladene Software.

  cd iot-data-pipeline/third_party/Adafruit_BME280

  mv Adafruit_BME280.py ../..

  cd ../..

Bearbeiten Sie das Skript, indem Sie…

  nano checkWeather.py

Ändern Sie das Projekt in Ihre Projekt-ID und das Thema in den Namen Ihres Pub/Sub-Themas (diese wurden in den Abschnitten „Einrichtung“ und „Pub/Sub-Thema erstellen“ dieses Codelabs notiert).

Ändern Sie die Werte für sensorID, sensorZipCode, sensorLat und sensorLong nach Bedarf. Breiten- und Längengradwerte für einen bestimmten Ort oder eine bestimmte Adresse finden Sie hier.

Wenn Sie die erforderlichen Änderungen vorgenommen haben, drücken Sie Strg + X, um den nano-Editor zu schließen. Drücken Sie zur Bestätigung die Taste Y.

# constants - change to fit your project and location
SEND_INTERVAL = 10 #seconds
sensor = BME280(t_mode=BME280_OSAMPLE_8, p_mode=BME280_OSAMPLE_8, h_mode=BME280_OSAMPLE_8)
credentials = GoogleCredentials.get_application_default()
project="myProject" #change this to your Google Cloud project id
topic = "myTopic" #change this to your Google Cloud PubSub topic name
sensorID = "s-Googleplex"
sensorZipCode = "94043"
sensorLat = "37.421655"
sensorLong = "-122.085637"

Sicherheitsschlüssel installieren

Kopieren Sie den Sicherheitsschlüssel (aus dem Abschnitt „Sichere Veröffentlichung in einem Thema“) auf den Raspberry Pi.

Wenn Sie SFTP oder SCP verwendet haben, um den Sicherheitsschlüssel von Ihrem lokalen Computer auf Ihren Raspberry Pi (in das Verzeichnis „/home/pi“) zu kopieren, können Sie den nächsten Schritt überspringen und direkt zum Exportieren des Pfads springen.

Wenn Sie den Sicherheitsschlüssel in einem Speicher-Bucket abgelegt haben, müssen Sie sich den Namen des Speicher-Buckets und den Namen der Datei merken. Kopieren Sie den Sicherheitsschlüssel mit dem gsutil-Befehl. Mit diesem Befehl kann auf Google Storage zugegriffen werden. Daher der Name „gsutil“ und der Pfad zur Datei, der mit „gs://“ beginnt. Achten Sie darauf, den Befehl unten so zu ändern, dass er Ihren Bucket- und Dateinamen enthält.

  gsutil cp gs://nameOfYourBucket/yourSecurityKeyFilename.json .

Es sollte eine Meldung angezeigt werden, dass die Datei kopiert wird, und dann, dass der Vorgang abgeschlossen ist.

Wenn Sie die Fehlermeldung „CommandException: No URLs matched“ (CommandException: Keine übereinstimmenden URLs) sehen, ist der Name Ihres Buckets oder Ihrer Datei höchstwahrscheinlich falsch oder enthält einen Tippfehler.

Exportieren Sie über die Befehlszeile auf dem Raspberry Pi einen Pfad zum Sicherheitsschlüssel. Ändern Sie den Dateinamen entsprechend.

  export GOOGLE_APPLICATION_CREDENTIALS=/home/pi/iot-data-pipeline/yourSecurityKeyFilename.json

Wenn Sie den Raspberry Pi häufig für Wettermessungen verwenden möchten, empfiehlt es sich, die Exportanweisung in die Datei „.profile“ einzufügen, damit sie auch nach einem Neustart erhalten bleibt. Die Datei „.profile“ befindet sich im Verzeichnis „/home/pi“ und kann mit einem beliebigen Editor (z.B. vi oder nano) bearbeitet werden. Setzen Sie die Exportanweisung ans Ende der Datei.

Sie haben jetzt einen vollständigen IoT-Wettersensor, der bereit ist, Daten an Google Cloud zu übertragen.

Wenn das Skript nach dem Hochfahren des Raspberry Pi automatisch gestartet werden soll, fügen Sie nach der Exportanweisung Folgendes zu .profile hinzu:

python /home/pi/iot-data-pipeline/checkWeather.py &

7. Datenpipeline starten

Möglicherweise müssen Sie die Compute API aktivieren

Datenstreaming von einem Raspberry Pi

Wenn Sie einen Raspberry Pi-IoT-Wettersensor gebaut haben, starten Sie das Skript, das die Wetterdaten liest und an Google Cloud Pub/Sub sendet. Wenn Sie sich nicht im Verzeichnis „/home/pi/iot-data-pipeline“ befinden, wechseln Sie zuerst dorthin.

  cd /home/pi/iot-data-pipeline

Wetterscript starten

  python checkWeather.py

Im Terminalfenster sollten die Wetterdaten-Ergebnisse jede Minute angezeigt werden. Wenn Daten übertragen werden, können Sie mit dem nächsten Abschnitt fortfahren (Prüfen, ob Daten übertragen werden).

Simuliertes Datenstreaming

Wenn Sie den IoT-Wettersensor nicht selbst gebaut haben, können Sie das Datenstreaming simulieren, indem Sie ein öffentliches Dataset verwenden, das in Google Cloud Storage gespeichert ist, und es in das vorhandene Pub/Sub-Thema einfügen. Google Dataflow wird zusammen mit einer von Google bereitgestellten Vorlage zum Lesen aus Cloud Storage und zum Veröffentlichen in Pub/Sub verwendet.

Im Rahmen des Prozesses benötigt Dataflow einen temporären Speicherort. Erstellen wir also einen Speicher-Bucket für diesen Zweck.

Wählen Sie in der Cloud Console „Storage“ und dann „Browser“ aus.

Auf die Schaltfläche „Bucket erstellen“ klicken

Wählen Sie einen Namen für den Speicher-Bucket aus. Er muss in Google Cloud global eindeutig sein. Klicken Sie dann auf die Schaltfläche „Erstellen“. Merken Sie sich den Namen dieses Storage-Buckets, da Sie ihn gleich benötigen.

Wählen Sie in der Cloud Console „Dataflow“ aus.

Möglicherweise werden Sie aufgefordert, die Dataflow API zu aktivieren. Klicken Sie in diesem Fall auf die Schaltfläche „APIs aktivieren“. Wenn Sie nicht aufgefordert werden, die API zu aktivieren, und Dataflow noch nicht verwendet haben, kann dies im nächsten Schritt zu einem Fehler führen. Rufen Sie in der Cloud Console „APIs & Dienste“ auf, klicken Sie auf „APIs & Dienste aktivieren“, geben Sie in der Suchleiste „Willkommen in der neuen API-Bibliothek“ „Dataflow“ ein, klicken Sie auf „Google Dataflow API“ und dann auf die Schaltfläche „Aktivieren“. Nachdem die API aktiviert wurde, kehren Sie in der Cloud Console zu Dataflow zurück und fahren Sie mit dem nächsten Schritt unten fort.

Klicken Sie oben auf dem Bildschirm auf „Job aus Vorlage erstellen“.

Geben Sie die Jobdetails wie unten gezeigt ein und beachten Sie dabei Folgendes:

• Geben Sie den Jobnamen „dataflow-gcs-to-pubsub“ ein.
• Ihre Region sollte automatisch entsprechend dem Speicherort Ihres Projekts ausgewählt werden und muss nicht geändert werden.
• Cloud Dataflow-Vorlage „GCS Text to Cloud Pub/Sub“ auswählen
• Geben Sie für die Cloud Storage-Eingabedateien gs://codelab-iot-data-pipeline-sampleweatherdata/*.json ein. Dies ist ein öffentliches Dataset.
• Der genaue Pfad für das Pub/Sub-Ausgabethema hängt von Ihrem Projektnamen ab und sieht in etwa so aus: „projects/yourProjectName/topics/weatherdata“.

Wenn Sie sich nicht mehr an den Namen Ihres Projekts oder Themas erinnern, finden Sie den vollständigen Namen des Pub/Sub-Themas auf der Pub/Sub-Seite. Wenn Sie einen neuen Tab in Ihrem Browser öffnen und dann die Cloud Console verwenden, können Sie ganz einfach zu den Informationen zurückkehren, ohne Ihren Workflow in diesem Codelab zu unterbrechen.

• Legen Sie für „Temporärer Speicherort“ den Namen des Google Cloud Storage-Buckets fest, den Sie gerade erstellt haben, zusammen mit dem Dateinamenpräfix „tmp“. Sie sollte so aussehen: „gs://myStorageBucketName/tmp“.

Wenn Sie sich nicht an den Namen Ihres Buckets erinnern können, finden Sie ihn auf der Seite „Speicher“.

Wenn Sie alle Informationen eingegeben haben (siehe unten), klicken Sie auf die Schaltfläche „Job ausführen“.

Der Dataflow-Job sollte jetzt ausgeführt werden.

Wenn der Dataflow-Job nicht ausgeführt wird, prüfen Sie noch einmal, ob die Dataflow API aktiviert wurde. Rufen Sie in der Cloud Console „APIs & Dienste“ auf, klicken Sie auf „APIs & Dienste aktivieren“, geben Sie in der Suchleiste „Willkommen in der neuen API-Bibliothek“ „Dataflow“ ein, klicken Sie auf „Google Dataflow API“ und dann auf die Schaltfläche „Aktivieren“. Nachdem die API aktiviert wurde, kehren Sie über die Cloud Console zu Dataflow zurück.

Es sollte etwa eine Minute dauern, bis der Dataflow-Job abgeschlossen ist.

8. Prüfen, ob Daten übertragen werden

Cloud Functions-Logs

Prüfen, ob die Cloud Functions-Funktion von Pub/Sub ausgelöst wird

  gcloud beta functions logs read function-weatherPubSubToBQ

Die Logs sollten zeigen, dass die Funktion ausgeführt wird, Daten empfangen werden und dass sie in BigQuery eingefügt werden.

Wenn Sie einen Fehler mit der Meldung „Invalid Project ID 'myProject'“ sehen, bedeutet das, dass die Projekt-ID im index.js-Teil der Funktion nicht vom Standardcode geändert wurde. Kehren Sie zum Abschnitt „Funktion“ zurück und bearbeiten Sie die Funktion. Wenn Sie sich entschieden haben, den Raspberry Pi nicht zu bauen, sondern die Streamingdaten mit Dataflow zu simulieren, wiederholen Sie diesen Abschnitt ebenfalls.

„Insert errors“ (Einfügefehler) mit dem Typ „bigquery#tableDataInsertAllResponse“ sind eher eine Bestätigungsmeldung, dass das Einfügen erfolgreich war.

BigQuery-Daten

Prüfen Sie, ob Daten in die BigQuery-Tabelle fließen. Rufen Sie in der Cloud Console BigQuery (bigquery.cloud.google.com) auf.

Klicken Sie unter dem Projektnamen (auf der linken Seite des Fensters) auf das Dataset (weatherData), dann auf die Tabelle (weatherDataTable) und anschließend auf die Schaltfläche „Tabelle abfragen“.

Fügen Sie der SQL-Anweisung ein Sternchen hinzu, sodass sie wie unten dargestellt SELECT * FROM... lautet, und klicken Sie dann auf die Schaltfläche „ABFRAGE AUSFÜHREN“.

Klicken Sie bei Aufforderung auf die Schaltfläche „Abfrage ausführen“.

Wenn Sie Ergebnisse sehen, werden Daten richtig übertragen.

Nachdem Daten übertragen werden, können Sie jetzt ein Analysedashboard erstellen.

9. Data Studio-Dashboard erstellen

Mit Google Data Studio können Sie aussagekräftige Dashboards und Berichte erstellen, teilen und entsprechend Ihren Anforderungen anpassen.

Rufen Sie in Ihrem Webbrowser https://datastudio.google.com auf.

Klicken Sie unter „Neuen Bericht starten“ auf „Leer“ und dann auf die Schaltfläche „Jetzt starten“.

Klicken Sie auf das Kästchen, um die Nutzungsbedingungen zu akzeptieren, klicken Sie auf die Schaltfläche „Weiter“, wählen Sie aus, welche E‑Mails Sie erhalten möchten, und klicken Sie auf die Schaltfläche „Fertig“. Klicken Sie noch einmal unter „Neuen Bericht starten“ auf „Leer“.

Klicken Sie auf die Schaltfläche „Neue Datenquelle erstellen“.

Klicken Sie auf BigQuery, dann auf die Schaltfläche „Autorisieren“ und wählen Sie das Google-Konto aus, das Sie mit Data Studio verwenden möchten (es sollte dasselbe sein, das Sie für das Codelab verwendet haben).

Klicken Sie auf die Schaltfläche „Zulassen“.

Wählen Sie den Projektnamen, das Dataset und die Tabelle aus. Klicken Sie dann auf die Schaltfläche „Verbinden“.

Ändern Sie die Typfelder wie unten gezeigt. Alle Felder sollten eine Zahl sein, mit Ausnahme von „timecollected“ und „sensorID“. „timecollected“ ist auf „Date Hour“ (Datum und Stunde) und nicht nur auf „Date“ (Datum) festgelegt. Ändern Sie die Aggregationsfelder wie unten dargestellt. Taupunkt, Temperatur, Luftfeuchtigkeit und Druck sollten Durchschnittswerte sein und alles andere sollte auf „Keine“ festgelegt werden. Klicken Sie auf die Schaltfläche „Bericht erstellen“.

Wenn Sie „timecollected“ versehentlich auf „Date“ (Datum) festlegen, wird im Diagramm nur der Durchschnitt pro Tag anstelle des Durchschnitts pro Stunde angezeigt.

Klicken Sie zum Bestätigen auf die Schaltfläche „Zum Bericht hinzufügen“.

Wenn Sie aufgefordert werden, Ihr Google-Konto auszuwählen, tun Sie dies und klicken Sie dann auf die Schaltfläche „Zulassen“, damit Data Studio seine Berichte in Google Drive speichern kann.

Sie sehen einen leeren Canvas, auf dem Sie Ihr Dashboard erstellen können. Wählen Sie in der oberen Symbolleiste „Zeitreihen“ aus.

Zeichnen Sie ein Rechteck in die linke obere Ecke des leeren Blatts. Es sollte etwa ein Viertel des leeren Blatts einnehmen.

Die Menge der Daten, die in den resultierenden Diagrammen angezeigt werden, hängt davon ab, wie viele Daten erhoben wurden. Wenn Sie den IoT-Sensor selbst entwickelt haben und gerade erst mit der Datenerhebung begonnen haben, sehen Sie möglicherweise nur einen Punkt. Wenn Sie die Streamingdaten mit Dataflow simuliert haben, sehen Sie Daten, die sich über etwas mehr als einen ganzen Tag erstrecken.

Wählen Sie auf der rechten Seite des Fensters den Tab „Stil“ aus. „Fehlende Daten“ von „Linie zu Null“ in „Zeilenumbrüche“ ändern Löschen Sie im Bereich „Linke Y-Achse“ die 0 aus „Achse (min.)“, um die Einstellung in „(Autom.)“ zu ändern.

Klicken Sie auf das Diagramm im Tabellenblatt und kopieren/fügen Sie es dreimal ein (Strg+C/Strg+V). Richten Sie die Grafiken so aus, dass jede ein Viertel des Layouts einnimmt.

Klicken Sie auf jedes Diagramm und dann im Bereich „Zeitreiheneigenschaften und Daten“ auf den vorhandenen Messwert (Taupunkt). Wählen Sie einen anderen Messwert aus, der angezeigt werden soll, bis alle vier Wetterdaten (Taupunkt, Temperatur, Luftfeuchtigkeit und Druck) ein eigenes Diagramm haben.

Sie haben jetzt ein einfaches Dashboard erstellt.

Data Studio bietet viele Funktionen, die in diesem Codelab nicht behandelt werden. Sie können Titel, Linienfarben und andere Elemente hinzufügen, die Sie interessieren.

10. Glückwunsch!

Sie haben eine vollständige Datenpipeline erstellt. Dabei haben Sie gelernt, wie Sie Google Pub/Sub verwenden, eine serverlose Funktion bereitstellen, BigQuery nutzen und mit Data Studio ein Analysedashboard erstellen. Außerdem haben Sie gesehen, wie das Google Cloud SDK sicher verwendet werden kann, um Daten in die Google Cloud Platform zu übertragen. Sie haben jetzt praktische Erfahrung mit einem wichtigen Architekturmuster gesammelt, das hohe Datenmengen verarbeiten und gleichzeitig die Verfügbarkeit aufrechterhalten kann.

Klären

Wenn Sie mit den Wetterdaten und der Analysepipeline fertig sind, können Sie die laufenden Ressourcen entfernen.

Wenn Sie den IoT-Sensor selbst gebaut haben, schalten Sie ihn aus. Drücken Sie im Terminalfenster Strg + C, um das Skript zu beenden, und geben Sie dann Folgendes ein, um den Raspberry Pi herunterzufahren:

  shutdown -h now

Rufen Sie Cloud Functions auf, klicken Sie auf das Kästchen neben „function-weatherPubSubToBQ“ und dann auf „Löschen“.

Rufen Sie Pub/Sub auf, klicken Sie auf „Thema“, klicken Sie auf das Kästchen neben dem Thema „weatherdata“ und dann auf „Löschen“.

Rufen Sie „Speicher“ auf, klicken Sie auf die Kästchen neben den Speicher-Buckets und dann auf „Löschen“.

Rufen Sie bigquery.cloud.google.com auf, klicken Sie neben Ihrem Projektnamen auf den Abwärtspfeil, klicken Sie rechts neben dem Dataset „weatherData“ auf den Abwärtspfeil und dann auf „Dataset löschen“.

Geben Sie bei Aufforderung die Dataset-ID (weatherData) ein, um das Löschen der Daten abzuschließen.