1. Genel Bakış
İlk kod laboratuvarında resimleri bir pakette depolayacaksınız. Bu işlem, Cloud Run'da dağıtılan bir hizmet tarafından işlenecek bir dosya oluşturma etkinliği oluşturur. Hizmet, görüntü analizi yapmak için Vision API'yi çağırır ve sonuçları bir veri deposuna kaydeder.
Neler öğreneceksiniz?
- Cloud Storage
- Cloud Run
- Cloud Vision API
- Cloud Firestore
2. Kurulum ve Gereksinimler
Yönlendirmesiz ortam kurulumu
- Google Cloud Console'da oturum açın ve yeni bir proje oluşturun veya mevcut bir projeyi yeniden kullanın. Gmail veya Google Workspace hesabınız yoksa hesap oluşturmanız gerekir.
- Proje adı, bu projenin katılımcıları için görünen addır. Google API'leri tarafından kullanılmayan bir karakter dizesidir. Bu bilgiyi istediğiniz zaman güncelleyebilirsiniz.
- Proje kimliği, tüm Google Cloud projelerinde benzersizdir ve sabittir (ayarlandıktan sonra değiştirilemez). Cloud Console, benzersiz bir dizeyi otomatik olarak oluşturur. Genellikle bu dizenin ne olduğuyla ilgilenmezsiniz. Çoğu codelab'de proje kimliğinize (genellikle
PROJECT_IDolarak tanımlanır) başvurmanız gerekir. Oluşturulan kimliği beğenmezseniz başka bir rastgele kimlik oluşturabilirsiniz. Dilerseniz kendi adınızı deneyerek kullanılabilir olup olmadığını kontrol edebilirsiniz. Bu adım tamamlandıktan sonra değiştirilemez ve proje süresince geçerli kalır. - Bazı API'lerin kullandığı üçüncü bir değer olan Proje Numarası da vardır. Bu üç değer hakkında daha fazla bilgiyi belgelerde bulabilirsiniz.
- Ardından, Cloud kaynaklarını/API'lerini kullanmak için Cloud Console'da faturalandırmayı etkinleştirmeniz gerekir. Bu codelab'i tamamlamak neredeyse hiç maliyetli değildir. Bu eğitimin ötesinde faturalandırılmayı önlemek için kaynakları kapatmak üzere oluşturduğunuz kaynakları veya projeyi silebilirsiniz. Yeni Google Cloud kullanıcıları 300 ABD doları değerinde ücretsiz deneme programından yararlanabilir.
Cloud Shell'i başlatma
Google Cloud, dizüstü bilgisayarınızdan uzaktan çalıştırılabilir. Ancak bu codelab'de, Cloud'da çalışan bir komut satırı ortamı olan Google Cloud Shell'i kullanacaksınız.
Google Cloud Console'da sağ üstteki araç çubuğunda Cloud Shell simgesini tıklayın:
Ortamın temel hazırlığı ve bağlanması yalnızca birkaç dakikanızı alır. İşlem tamamlandığında aşağıdakine benzer bir sonuç görürsünüz:
Bu sanal makine, ihtiyaç duyacağınız tüm geliştirme araçlarını içerir. 5 GB boyutunda kalıcı bir ana dizin sunar ve Google Cloud üzerinde çalışır. Bu sayede ağ performansı ve kimlik doğrulama önemli ölçüde güçlenir. Bu codelab'deki tüm çalışmalarınızı tarayıcıda yapabilirsiniz. Herhangi bir şey yüklemeniz gerekmez.
3. API'leri etkinleştir
Bu laboratuvarda Cloud Functions ve Vision API'yi kullanacaksınız ancak önce bunların Cloud Console'da veya gcloud ile etkinleştirilmesi gerekir.
Cloud Console'da Vision API'yi etkinleştirmek için arama çubuğunda Cloud Vision API simgesini arayın:
Cloud Vision API sayfasına yönlendirilirsiniz:
ENABLE düğmesini tıklayın.
Alternatif olarak, gcloud komut satırı aracını kullanarak Cloud Shell'de de etkinleştirebilirsiniz.
Cloud Shell'de aşağıdaki komutu çalıştırın:
gcloud services enable vision.googleapis.com
İşlemin başarıyla tamamlandığını görmeniz gerekir:
Operation "operations/acf.12dba18b-106f-4fd2-942d-fea80ecc5c1c" finished successfully.
Cloud Run ve Cloud Build'ü de etkinleştirin:
gcloud services enable cloudbuild.googleapis.com \ run.googleapis.com
4. Paketi oluşturma (konsol)
Resimler için bir depolama paketi oluşturun. Bu işlemi Google Cloud Platform Console'dan ( console.cloud.google.com) veya Cloud Shell ya da yerel geliştirme ortamınızdan gsutil komut satırı aracıyla yapabilirsiniz.
Depolama alanına gitme
"Hamburger" (☰) menüsünden Storage sayfasına gidin.
Paketinizi adlandırma
CREATE BUCKET düğmesini tıklayın.
CONTINUE simgesini tıklayın.
Konum seçme
Seçtiğiniz bölgede (burada Europe) çok bölgeli bir paket oluşturun.
CONTINUE simgesini tıklayın.
Varsayılan depolama sınıfını seçme
Verileriniz için Standard depolama sınıfını seçin.
CONTINUE simgesini tıklayın.
Erişim denetimini ayarlama
Herkese açık olarak erişilebilen resimlerle çalışacağınız için bu pakette depolanan tüm resimlerimizin aynı tek tip erişim denetimine sahip olmasını istiyorsunuz.
Uniform erişim denetimi seçeneğini belirleyin.
CONTINUE simgesini tıklayın.
Koruma/Şifreleme Ayarlama
Kendi şifreleme anahtarlarınızı kullanmayacağınız için varsayılanı (Google-managed key)) koruyun.
Paket oluşturma işlemini tamamlamak için CREATE simgesini tıklayın.
allUsers'ı depolama alanı görüntüleyeni olarak ekleme
Permissions sekmesine gidin:
Kovaya aşağıdaki gibi allUsers rolüne sahip bir Storage > Storage Object Viewer üyesi ekleyin:
SAVE simgesini tıklayın.
5. Paketi oluşturma (gsutil)
Paket oluşturmak için Cloud Shell'deki gsutil komut satırı aracını da kullanabilirsiniz.
Cloud Shell'de benzersiz paket adı için bir değişken ayarlayın. Cloud Shell'de GOOGLE_CLOUD_PROJECT, benzersiz proje kimliğinize ayarlanmıştır. Bunu paket adına ekleyebilirsiniz.
Örneğin:
export BUCKET_PICTURES=uploaded-pictures-${GOOGLE_CLOUD_PROJECT}
Avrupa'da standart bir çok bölgeli bölge oluşturun:
gsutil mb -l EU gs://${BUCKET_PICTURES}
Tek tip paket düzeyinde erişim sağlama:
gsutil uniformbucketlevelaccess set on gs://${BUCKET_PICTURES}
Paketi herkese açık hale getirin:
gsutil iam ch allUsers:objectViewer gs://${BUCKET_PICTURES}
Konsolun Cloud Storage bölümüne giderseniz herkese açık bir uploaded-pictures paketi görmeniz gerekir:
Önceki adımda açıklandığı gibi, pakete resim yükleyebildiğinizi ve yüklenen resimlerin herkese açık olduğunu test edin.
6. Pakete herkese açık erişimi test etme
Depolama tarayıcısına geri döndüğünüzde, listenizde "Herkese açık" erişim izniyle (herkesin bu paketin içeriğine erişebileceğini hatırlatan bir uyarı işaretiyle birlikte) paketinizi görürsünüz.
Paketiniz artık resim almaya hazır.
Paket adını tıkladığınızda paket ayrıntılarını görürsünüz.
Burada, pakete resim ekleyebildiğinizi test etmek için Upload files düğmesini deneyebilirsiniz. Dosya seçici pop-up penceresinde bir dosya seçmeniz istenir. Seçilen dosya, bucket'ınıza yüklenir ve bu yeni dosyaya otomatik olarak atanan public erişimini tekrar görürsünüz.
Public erişim etiketinin yanında küçük bir bağlantı simgesi de görürsünüz. Bu URL tıklandığında tarayıcınız, şu biçimde olan resmin herkese açık URL'sine yönlendirilir:
https://storage.googleapis.com/BUCKET_NAME/PICTURE_FILE.png
BUCKET_NAME, paketiniz için seçtiğiniz global olarak benzersiz ad, ardından resminizin dosya adı olmalıdır.
Resim adının yanındaki onay kutusunu tıkladığınızda DELETE düğmesi etkinleştirilir ve bu ilk resmi silebilirsiniz.
7. Veritabanını hazırlama
Vision API tarafından verilen resimle ilgili bilgileri hızlı, tümüyle yönetilen, sunucusuz ve bulutta yerel bir NoSQL belge veritabanı olan Cloud Firestore veritabanında saklayacaksınız. Cloud Console'un Firestore bölümüne giderek veritabanınızı hazırlayın:
İki seçenek sunulur: Native mode veya Datastore mode. Çevrimdışı destek ve gerçek zamanlı senkronizasyon gibi ek özellikler sunan yerel modu kullanın.
SELECT NATIVE MODE simgesini tıklayın.
Çok bölgeli bir konum seçin (burada Avrupa'da, ancak ideal olarak işlevinizin ve depolama paketinizin bulunduğu bölgeyle aynı bölge olmalıdır).
CREATE DATABASE düğmesini tıklayın.
Veritabanı oluşturulduktan sonra aşağıdakileri görürsünüz:
+ START COLLECTION düğmesini tıklayarak yeni bir koleksiyon oluşturun.
pictures adlı koleksiyonu adlandırın.
Doküman oluşturmanız gerekmez. Yeni resimler Cloud Storage'da depolanıp Vision API tarafından analiz edildikçe bunları programatik olarak eklersiniz.
Save simgesini tıklayın.
Firestore, yeni oluşturulan koleksiyonda ilk varsayılan dokümanı oluşturur. Bu doküman herhangi bir faydalı bilgi içermediğinden güvenle silebilirsiniz:
Koleksiyonumuzda programatik olarak oluşturulacak dokümanlar 4 alan içerir:
- name (dize): Yüklenen resmin dosya adı. Bu ad, belgenin anahtarıdır.
- labels (dizeler dizisi): Vision API tarafından tanınan öğelerin etiketleri
- color (dize): Baskın rengin onaltılık renk kodu (ör. #ab12ef)
- created (tarih): Bu resmin meta verilerinin depolandığı zaman damgası
- thumbnail (boolean): Bu resim için küçük resim oluşturulmuşsa mevcut ve doğru olacak isteğe bağlı bir alan
Küçük resimleri olan fotoğrafları bulmak için Firestore'da arama yapacağımız ve oluşturulma tarihine göre sıralama yapacağımız için bir arama dizini oluşturmamız gerekir.
Cloud Shell'de aşağıdaki komutla dizini oluşturabilirsiniz:
gcloud firestore indexes composite create \
--collection-group=pictures \
--field-config field-path=thumbnail,order=descending \
--field-config field-path=created,order=descending
Alternatif olarak, sol taraftaki gezinme sütununda Indexes simgesini tıklayıp aşağıda gösterildiği gibi bir bileşik dizin oluşturarak da Cloud Console'dan yapabilirsiniz:
Create simgesini tıklayın. Dizin oluşturma işlemi birkaç dakika sürebilir.
8. Kodu klonlayın
Önceki kod laboratuvarında henüz yapmadıysanız kodu klonlayın:
git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop
Ardından, laboratuvarı oluşturmaya başlamak için hizmeti içeren dizine gidebilirsiniz:
cd serverless-photosharing-workshop/services/image-analysis/java
Hizmet için aşağıdaki dosya düzenine sahip olursunuz:
9. Hizmet kodunu keşfetme
Öncelikle, Java istemci kitaplıklarının pom.xml içinde BOM kullanılarak nasıl etkinleştirildiğine bakarsınız:
Öncelikle Java uygulamamızın bağımlılıklarını listeleyen pom.xml dosyasını açın. Vision, Cloud Storage ve Firestore API'lerinin kullanımına odaklanacağız.
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>3.2.0-M3</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>services</groupId>
<artifactId>image-analysis</artifactId>
<version>0.0.1</version>
<name>image-analysis</name>
<description>Spring App for Image Analysis</description>
<properties>
<java.version>17</java.version>
<maven.compiler.target>17</maven.compiler.target>
<maven.compiler.source>17</maven.compiler.source>
<spring-cloud.version>2023.0.0-M2</spring-cloud.version>
<testcontainers.version>1.19.1</testcontainers.version>
</properties>
...
<dependencyManagement>
<dependencies>
<dependency>
<groupId>com.google.cloud</groupId>
<artifactId>libraries-bom</artifactId>
<version>26.24.0</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
—
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-function-web</artifactId>
</dependency>
<dependency>
<groupId>com.google.cloud.functions</groupId>
<artifactId>functions-framework-api</artifactId>
<version>1.1.0</version>
<type>jar</type>
</dependency>
<dependency>
<groupId>com.google.cloud</groupId>
<artifactId>google-cloud-firestore</artifactId>
</dependency>
<dependency>
<groupId>com.google.cloud</groupId>
<artifactId>google-cloud-vision</artifactId>
</dependency>
<dependency>
<groupId>com.google.cloud</groupId>
<artifactId>google-cloud-storage</artifactId>
</dependency>
İşlev, EventController sınıfında uygulanır. Pakete her yeni resim yüklendiğinde hizmet, işleme için bir bildirim alır:
@RestController
public class EventController {
private static final Logger logger = Logger.getLogger(EventController.class.getName());
private static final List<String> requiredFields = Arrays.asList("ce-id", "ce-source", "ce-type", "ce-specversion");
@RequestMapping(value = "/", method = RequestMethod.POST)
public ResponseEntity<String> receiveMessage(
@RequestBody Map<String, Object> body, @RequestHeader Map<String, String> headers) throws IOException, InterruptedException, ExecutionException {
...
}
Kod, Cloud Events üstbilgilerini doğrulamaya devam eder:
System.out.println("Header elements");
for (String field : requiredFields) {
if (headers.get(field) == null) {
String msg = String.format("Missing expected header: %s.", field);
System.out.println(msg);
return new ResponseEntity<String>(msg, HttpStatus.BAD_REQUEST);
} else {
System.out.println(field + " : " + headers.get(field));
}
}
System.out.println("Body elements");
for (String bodyField : body.keySet()) {
System.out.println(bodyField + " : " + body.get(bodyField));
}
if (headers.get("ce-subject") == null) {
String msg = "Missing expected header: ce-subject.";
System.out.println(msg);
return new ResponseEntity<String>(msg, HttpStatus.BAD_REQUEST);
}
Artık bir istek oluşturulabilir ve kod, Vision API adresine gönderilecek böyle bir isteği hazırlar:
try (ImageAnnotatorClient vision = ImageAnnotatorClient.create()) {
List<AnnotateImageRequest> requests = new ArrayList<>();
ImageSource imageSource = ImageSource.newBuilder()
.setGcsImageUri("gs://" + bucketName + "/" + fileName)
.build();
Image image = Image.newBuilder()
.setSource(imageSource)
.build();
Feature featureLabel = Feature.newBuilder()
.setType(Type.LABEL_DETECTION)
.build();
Feature featureImageProps = Feature.newBuilder()
.setType(Type.IMAGE_PROPERTIES)
.build();
Feature featureSafeSearch = Feature.newBuilder()
.setType(Type.SAFE_SEARCH_DETECTION)
.build();
AnnotateImageRequest request = AnnotateImageRequest.newBuilder()
.addFeatures(featureLabel)
.addFeatures(featureImageProps)
.addFeatures(featureSafeSearch)
.setImage(image)
.build();
requests.add(request);
Vision API'nin 3 temel özelliğini istiyoruz:
- Etiket algılama: Bu resimlerde ne olduğunu anlamak için
- Resim özellikleri: Resmin ilgi çekici özelliklerini vermek için (Resmin baskın rengiyle ilgileniyoruz)
- Güvenli Arama: Resmin gösterilmesinin güvenli olup olmadığını belirlemek için (yetişkinlere uygun, tıbbi, müstehcen veya şiddet barındıran içerik barındırmamalıdır)
Bu noktada, Vision API'yi çağırabiliriz:
...
logger.info("Calling the Vision API...");
BatchAnnotateImagesResponse result = vision.batchAnnotateImages(requests);
List<AnnotateImageResponse> responses = result.getResponsesList();
...
Referans olarak, Vision API'den gelen yanıtın nasıl göründüğünü aşağıda bulabilirsiniz:
{
"faceAnnotations": [],
"landmarkAnnotations": [],
"logoAnnotations": [],
"labelAnnotations": [
{
"locations": [],
"properties": [],
"mid": "/m/01yrx",
"locale": "",
"description": "Cat",
"score": 0.9959855675697327,
"confidence": 0,
"topicality": 0.9959855675697327,
"boundingPoly": null
},
✄ - - - ✄
],
"textAnnotations": [],
"localizedObjectAnnotations": [],
"safeSearchAnnotation": {
"adult": "VERY_UNLIKELY",
"spoof": "UNLIKELY",
"medical": "VERY_UNLIKELY",
"violence": "VERY_UNLIKELY",
"racy": "VERY_UNLIKELY",
"adultConfidence": 0,
"spoofConfidence": 0,
"medicalConfidence": 0,
"violenceConfidence": 0,
"racyConfidence": 0,
"nsfwConfidence": 0
},
"imagePropertiesAnnotation": {
"dominantColors": {
"colors": [
{
"color": {
"red": 203,
"green": 201,
"blue": 201,
"alpha": null
},
"score": 0.4175916016101837,
"pixelFraction": 0.44456374645233154
},
✄ - - - ✄
]
}
},
"error": null,
"cropHintsAnnotation": {
"cropHints": [
{
"boundingPoly": {
"vertices": [
{ "x": 0, "y": 118 },
{ "x": 1177, "y": 118 },
{ "x": 1177, "y": 783 },
{ "x": 0, "y": 783 }
],
"normalizedVertices": []
},
"confidence": 0.41695669293403625,
"importanceFraction": 1
}
]
},
"fullTextAnnotation": null,
"webDetection": null,
"productSearchResults": null,
"context": null
}
Hata döndürülmezse devam edebiliriz. Bu nedenle, aşağıdaki if bloğunu kullanırız:
if (responses.size() == 0) {
logger.info("No response received from Vision API.");
return new ResponseEntity<String>(msg, HttpStatus.BAD_REQUEST);
}
AnnotateImageResponse response = responses.get(0);
if (response.hasError()) {
logger.info("Error: " + response.getError().getMessage());
return new ResponseEntity<String>(msg, HttpStatus.BAD_REQUEST);
}
Resimde tanınan öğelerin, kategorilerin veya temaların etiketlerini alacağız:
List<String> labels = response.getLabelAnnotationsList().stream()
.map(annotation -> annotation.getDescription())
.collect(Collectors.toList());
logger.info("Annotations found:");
for (String label: labels) {
logger.info("- " + label);
}
Resmin baskın rengini öğrenmek istiyoruz:
String mainColor = "#FFFFFF";
ImageProperties imgProps = response.getImagePropertiesAnnotation();
if (imgProps.hasDominantColors()) {
DominantColorsAnnotation colorsAnn = imgProps.getDominantColors();
ColorInfo colorInfo = colorsAnn.getColors(0);
mainColor = rgbHex(
colorInfo.getColor().getRed(),
colorInfo.getColor().getGreen(),
colorInfo.getColor().getBlue());
logger.info("Color: " + mainColor);
}
Resmin gösterilmesinin güvenli olup olmadığını kontrol edelim:
boolean isSafe = false;
if (response.hasSafeSearchAnnotation()) {
SafeSearchAnnotation safeSearch = response.getSafeSearchAnnotation();
isSafe = Stream.of(
safeSearch.getAdult(), safeSearch.getMedical(), safeSearch.getRacy(),
safeSearch.getSpoof(), safeSearch.getViolence())
.allMatch( likelihood ->
likelihood != Likelihood.LIKELY && likelihood != Likelihood.VERY_LIKELY
);
logger.info("Safe? " + isSafe);
}
Muhtemel veya çok muhtemel olup olmadığını görmek için yetişkinlere uygun içerik, parodi, tıbbi içerik, şiddet ve müstehcenlik özelliklerini kontrol ediyoruz.
Güvenli arama sonucu uygunsa meta verileri Firestore'da saklayabiliriz:
// Saving result to Firestore
if (isSafe) {
ApiFuture<WriteResult> writeResult =
eventService.storeImage(fileName, labels,
mainColor);
logger.info("Picture metadata saved in Firestore at " +
writeResult.get().getUpdateTime());
}
...
public ApiFuture<WriteResult> storeImage(String fileName,
List<String> labels,
String mainColor) {
FirestoreOptions firestoreOptions = FirestoreOptions.getDefaultInstance();
Firestore pictureStore = firestoreOptions.getService();
DocumentReference doc = pictureStore.collection("pictures").document(fileName);
Map<String, Object> data = new HashMap<>();
data.put("labels", labels);
data.put("color", mainColor);
data.put("created", new Date());
return doc.set(data, SetOptions.merge());
}
10. GraalVM ile uygulama görüntüleri oluşturma
Bu isteğe bağlı adımda, GraalVM kullanarak JIT based app image ve ardından Native Java app image oluşturacaksınız.
Derlemeyi çalıştırmak için uygun bir JDK'ya ve native-image oluşturucunun yüklü ve yapılandırılmış olduğundan emin olmanız gerekir. Birkaç seçenek vardır.
To start, GraalVM 22.3.x Community Edition'ı indirin ve GraalVM yükleme sayfasındaki talimatları uygulayın.
Bu süreç, SDKMAN! yardımıyla büyük ölçüde basitleştirilebilir.
SDKman ile uygun JDK dağıtımını yüklemek için önce yükleme komutunu kullanın:
sdk install java 17.0.8-graal
SDKman'e hem JIT hem de AOT derlemeleri için bu sürümü kullanmasını söyleyin:
sdk use java 17.0.8-graal
Cloudshell içinde, kolaylık sağlamak için GraalVM'yi ve native-image yardımcı programını şu basit komutlarla yükleyebilirsiniz:
# download GraalVM wget https://download.oracle.com/graalvm/17/latest/graalvm-jdk-17_linux-x64_bin.tar.gz tar -xzf graalvm-jdk-17_linux-x64_bin.tar.gz ls -lart # configure Java 17 and GraalVM for Java 17 # note the name of the latest GraalVM version, as unpacked by the tar command echo Existing JVM: $JAVA_HOME cd graalvm-jdk-17.0.8+9.1 export JAVA_HOME=$PWD cd bin export PATH=$PWD:$PATH echo JAVA HOME: $JAVA_HOME echo PATH: $PATH cd ../.. # validate the version with java -version # observe Java(TM) SE Runtime Environment Oracle GraalVM 17.0.8+9.1 (build 17.0.8+9-LTS-jvmci-23.0-b14) Java HotSpot(TM) 64-Bit Server VM Oracle GraalVM 17.0.8+9.1 (build 17.0.8+9-LTS-jvmci-23.0-b14, mixed mode, sharing)
Öncelikle GCP proje ortamı değişkenlerini ayarlayın:
export GOOGLE_CLOUD_PROJECT=$(gcloud config get-value project)
Ardından, laboratuvarı oluşturmaya başlamak için hizmeti içeren dizine gidebilirsiniz:
cd serverless-photosharing-workshop/services/image-analysis/java
JIT uygulama görüntüsünü oluşturun:
./mvnw package
Terminaldeki derleme günlüğünü inceleyin:
... [INFO] Results: [INFO] [INFO] Tests run: 6, Failures: 0, Errors: 0, Skipped: 0 [INFO] [INFO] [INFO] --- maven-jar-plugin:3.3.0:jar (default-jar) @ image-analysis --- [INFO] Building jar: /home/user/serverless-photosharing-workshop/services/image-analysis/java/target/image-analysis-0.0.1.jar [INFO] [INFO] --- spring-boot-maven-plugin:3.2.0-M3:repackage (repackage) @ image-analysis --- [INFO] Replacing main artifact /home/user/serverless-photosharing-workshop/services/image-analysis/java/target/image-analysis-0.0.1.jar with repackaged archive, adding nested dependencies in BOOT-INF/. [INFO] The original artifact has been renamed to /home/user/serverless-photosharing-workshop/services/image-analysis/java/target/image-analysis-0.0.1.jar.original [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 15.335 s [INFO] Finished at: 2023-10-10T19:33:25Z [INFO] ------------------------------------------------------------------------
Native(uses AOT) görüntüsünü oluşturun:.
./mvnw native:compile -Pnative
Yerel görüntü derleme günlükleri de dahil olmak üzere terminaldeki derleme günlüğünü inceleyin:
Derlemenin, test ettiğiniz makineye bağlı olarak biraz daha uzun sürebileceğini unutmayın.
...
[2/7] Performing analysis... [*********] (124.5s @ 4.53GB)
29,732 (93.19%) of 31,905 classes reachable
60,161 (70.30%) of 85,577 fields reachable
261,973 (67.29%) of 389,319 methods reachable
2,940 classes, 2,297 fields, and 97,421 methods registered for reflection
81 classes, 90 fields, and 62 methods registered for JNI access
4 native libraries: dl, pthread, rt, z
[3/7] Building universe... (11.7s @ 4.67GB)
[4/7] Parsing methods... [***] (6.1s @ 5.91GB)
[5/7] Inlining methods... [****] (4.5s @ 4.39GB)
[6/7] Compiling methods... [******] (35.3s @ 4.60GB)
[7/7] Creating image... (12.9s @ 4.61GB)
80.08MB (47.43%) for code area: 190,483 compilation units
73.81MB (43.72%) for image heap: 660,125 objects and 189 resources
14.95MB ( 8.86%) for other data
168.84MB in total
------------------------------------------------------------------------------------------------------------------------
Top 10 packages in code area: Top 10 object types in image heap:
2.66MB com.google.cloud.vision.v1p4beta1 18.51MB byte[] for code metadata
2.60MB com.google.cloud.vision.v1 9.27MB java.lang.Class
2.49MB com.google.protobuf 7.34MB byte[] for reflection metadata
2.40MB com.google.cloud.vision.v1p3beta1 6.35MB byte[] for java.lang.String
2.17MB com.google.storage.v2 5.72MB java.lang.String
2.12MB com.google.firestore.v1 4.46MB byte[] for embedded resources
1.64MB sun.security.ssl 4.30MB c.oracle.svm.core.reflect.SubstrateMethodAccessor
1.51MB i.g.xds.shaded.io.envoyproxy.envoy.config.core.v3 4.27MB byte[] for general heap data
1.47MB com.google.cloud.vision.v1p2beta1 2.50MB com.oracle.svm.core.hub.DynamicHubCompanion
1.34MB i.g.x.shaded.io.envoyproxy.envoy.config.route.v3 1.17MB java.lang.Object[]
58.34MB for 977 more packages 9.19MB for 4667 more object types
------------------------------------------------------------------------------------------------------------------------
13.5s (5.7% of total time) in 75 GCs | Peak RSS: 9.44GB | CPU load: 6.13
------------------------------------------------------------------------------------------------------------------------
Produced artifacts:
/home/user/serverless-photosharing-workshop/services/image-analysis/java/target/image-analysis (executable)
/home/user/serverless-photosharing-workshop/services/image-analysis/java/target/image-analysis.build_artifacts.txt (txt)
========================================================================================================================
Finished generating '/home/user/serverless-photosharing-workshop/services/image-analysis/java/target/image-analysis' in 3m 57s.
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 04:28 min
[INFO] Finished at: 2023-10-10T19:53:30Z
[INFO] ------------------------------------------------------------------------
11. Kapsayıcı görüntüleri oluşturma ve yayınlama
Bir kapsayıcı görüntüsünü iki farklı sürümde oluşturalım: biri JIT image, diğeri ise Native Java image olarak.
Öncelikle GCP proje ortamı değişkenlerini ayarlayın:
export GOOGLE_CLOUD_PROJECT=$(gcloud config get-value project)
JIT görüntüsünü oluşturun:
./mvnw spring-boot:build-image -Pji
Terminaldeki derleme günlüğünü inceleyin:
[INFO] [creator] Timer: Saving docker.io/library/image-analysis-maven-jit:latest... started at 2023-10-10T20:00:31Z [INFO] [creator] *** Images (4c84122a1826): [INFO] [creator] docker.io/library/image-analysis-maven-jit:latest [INFO] [creator] Timer: Saving docker.io/library/image-analysis-maven-jit:latest... ran for 6.975913605s and ended at 2023-10-10T20:00:38Z [INFO] [creator] Timer: Exporter ran for 8.068588001s and ended at 2023-10-10T20:00:38Z [INFO] [creator] Timer: Cache started at 2023-10-10T20:00:38Z [INFO] [creator] Reusing cache layer 'paketo-buildpacks/syft:syft' [INFO] [creator] Adding cache layer 'buildpacksio/lifecycle:cache.sbom' [INFO] [creator] Timer: Cache ran for 200.449002ms and ended at 2023-10-10T20:00:38Z [INFO] [INFO] Successfully built image 'docker.io/library/image-analysis-maven-jit:latest' [INFO] [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 43.887 s [INFO] Finished at: 2023-10-10T20:00:39Z [INFO] ------------------------------------------------------------------------
AOT(Native) görüntüsünü oluşturun:
./mvnw spring-boot:build-image -Pnative
Yerel görüntü derleme günlükleri de dahil olmak üzere terminaldeki derleme günlüğünü inceleyin.
Not:
- Derlemenin, test ettiğiniz makineye bağlı olarak biraz daha uzun sürdüğünü
- Resimler UPX ile daha da sıkıştırılabilir ancak bu durum başlangıç performansı üzerinde küçük bir olumsuz etkiye sahiptir. Bu nedenle bu derlemede UPX kullanılmaz. Bu her zaman küçük bir ödünleşmedir.
... [INFO] [creator] Saving docker.io/library/image-analysis-maven-native:latest... [INFO] [creator] *** Images (13167702674e): [INFO] [creator] docker.io/library/image-analysis-maven-native:latest [INFO] [creator] Adding cache layer 'paketo-buildpacks/bellsoft-liberica:native-image-svm' [INFO] [creator] Adding cache layer 'paketo-buildpacks/syft:syft' [INFO] [creator] Adding cache layer 'paketo-buildpacks/native-image:native-image' [INFO] [creator] Adding cache layer 'buildpacksio/lifecycle:cache.sbom' [INFO] [INFO] Successfully built image 'docker.io/library/image-analysis-maven-native:latest' [INFO] [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 03:37 min [INFO] Finished at: 2023-10-10T20:05:16Z [INFO] ------------------------------------------------------------------------
Resimlerin oluşturulduğunu doğrulayın:
docker images | grep image-analysis
İki resmi etiketleyin ve GCR'ye gönderin:
# JIT image
docker tag image-analysis-maven-jit gcr.io/${GOOGLE_CLOUD_PROJECT}/image-analysis-maven-jit
docker push gcr.io/${GOOGLE_CLOUD_PROJECT}/image-analysis-maven-jit
# Native(AOT) image
docker tag image-analysis-maven-native gcr.io/${GOOGLE_CLOUD_PROJECT}/image-analysis-maven-native
docker push gcr.io/${GOOGLE_CLOUD_PROJECT}/image-analysis-maven-native
12. Cloud Run'a dağıt
Hizmeti dağıtma zamanı.
Hizmeti iki kez dağıtırsınız. Bir kez JIT görüntüsünü, ikinci kez ise AOT(Native) görüntüsünü kullanarak. Her iki hizmet dağıtımı da karşılaştırma amacıyla aynı resmi paralel olarak işler.
Öncelikle GCP proje ortamı değişkenlerini ayarlayın:
export GOOGLE_CLOUD_PROJECT=$(gcloud config get-value project)
gcloud config set project ${GOOGLE_CLOUD_PROJECT}
gcloud config set run/region
gcloud config set run/platform managed
gcloud config set eventarc/location europe-west1
JIT görüntüsünü dağıtın ve konsoldaki dağıtım günlüğünü inceleyin:
gcloud run deploy image-analysis-jit \
--image gcr.io/${GOOGLE_CLOUD_PROJECT}/image-analysis-maven-jit \
--region europe-west1 \
--memory 2Gi --allow-unauthenticated
...
Deploying container to Cloud Run service [image-analysis-jit] in project [...] region [europe-west1]
✓ Deploying... Done.
✓ Creating Revision...
✓ Routing traffic...
✓ Setting IAM Policy...
Done.
Service [image-analysis-jit] revision [image-analysis-jvm-00009-huc] has been deployed and is serving 100 percent of traffic.
Service URL: https://image-analysis-jit-...-ew.a.run.app
Yerel görüntüyü dağıtın ve konsoldaki dağıtım günlüğünü inceleyin:
gcloud run deploy image-analysis-native \
--image gcr.io/${GOOGLE_CLOUD_PROJECT}/image-analysis-maven-native \
--region europe-west1 \
--memory 2Gi --allow-unauthenticated
...
Deploying container to Cloud Run service [image-analysis-native] in project [...] region [europe-west1]
✓ Deploying... Done.
✓ Creating Revision...
✓ Routing traffic...
✓ Setting IAM Policy...
Done.
Service [image-analysis-native] revision [image-analysis-native-00005-ben] has been deployed and is serving 100 percent of traffic.
Service URL: https://image-analysis-native-...-ew.a.run.app
13. Eventarc tetikleyicilerini ayarlama
Eventarc, ayrılmış mikro hizmetler arasında durum değişikliklerinin akışını (etkinlikler) yönetmek için standartlaştırılmış bir çözüm sunar. Eventarc, tetiklendiğinde bu etkinlikleri Pub/Sub abonelikleri aracılığıyla çeşitli hedeflere (bu belgedeki Etkinlik hedefleri bölümüne bakın) yönlendirirken sizin için teslimat, güvenlik, yetkilendirme, gözlemlenebilirlik ve hata işlemeyi yönetir.
Cloud Run hizmetinizin, belirtilen bir etkinlik veya etkinlik grubuyla ilgili bildirimler alması için Eventarc tetikleyicisi oluşturabilirsiniz. Tetikleyici için filtreler belirterek etkinlik kaynağı ve hedef Cloud Run hizmeti de dahil olmak üzere etkinliğin yönlendirilmesini yapılandırabilirsiniz.
Öncelikle GCP proje ortamı değişkenlerini ayarlayın:
export GOOGLE_CLOUD_PROJECT=$(gcloud config get-value project)
gcloud config set project ${GOOGLE_CLOUD_PROJECT}
gcloud config set run/region
gcloud config set run/platform managed
gcloud config set eventarc/location europe-west1
Cloud Storage hizmet hesabına pubsub.publisher izni verin:
SERVICE_ACCOUNT="$(gsutil kms serviceaccount -p ${GOOGLE_CLOUD_PROJECT})"
gcloud projects add-iam-policy-binding ${GOOGLE_CLOUD_PROJECT} \
--member="serviceAccount:${SERVICE_ACCOUNT}" \
--role='roles/pubsub.publisher'
Görüntüyü işlemek için hem JIT hem de Native hizmet görüntüleri için Eventarc tetikleyicilerini ayarlayın:
gcloud eventarc triggers list --location=eu
gcloud eventarc triggers create image-analysis-jit-trigger \
--destination-run-service=image-analysis-jit \
--destination-run-region=europe-west1 \
--location=eu \
--event-filters="type=google.cloud.storage.object.v1.finalized" \
--event-filters="bucket=uploaded-pictures-${GOOGLE_CLOUD_PROJECT}" \
--service-account=${PROJECT_NUMBER}-compute@developer.gserviceaccount.com
gcloud eventarc triggers create image-analysis-native-trigger \
--destination-run-service=image-analysis-native \
--destination-run-region=europe-west1 \
--location=eu \
--event-filters="type=google.cloud.storage.object.v1.finalized" \
--event-filters="bucket=uploaded-pictures-${GOOGLE_CLOUD_PROJECT}" \
--service-account=${PROJECT_NUMBER}-compute@developer.gserviceaccount.com
İki tetikleyicinin oluşturulduğunu gözlemleyin:
gcloud eventarc triggers list --location=eu
14. Hizmet Sürümlerini Test Etme
Hizmet dağıtımları başarılı olduktan sonra Cloud Storage'a bir resim gönderecek, hizmetlerimizin çağrılıp çağrılmadığını, Vision API'nin ne döndürdüğünü ve meta verilerin Firestore'da depolanıp depolanmadığını göreceksiniz.
Cloud Storage simgesine geri gidin ve laboratuvarın başında oluşturduğumuz paketi tıklayın:
Paket ayrıntıları sayfasına geldiğinizde resim yüklemek için Upload files düğmesini tıklayın.
Örneğin, GeekHour.jpeg resmi, /services/image-analysis/java altında kod tabanınızla birlikte sağlanır. Bir resim seçin ve Open button tuşuna basın:
Artık hizmetin yürütülmesini kontrol edebilirsiniz. Önce image-analysis-jit, ardından image-analysis-native ile başlayın.
"Hamburger" (☰) menüsünden Cloud Run > image-analysis-jit hizmetine gidin.
Günlükler'i tıklayın ve çıkışı inceleyin:
Günlükler listesinde, JIT hizmetinin image-analysis-jit çağrıldığını görebiliyorum.
Günlükler, hizmet yürütülmesinin başlangıcını ve sonunu gösterir. Ayrıca, aradaki bölümde INFO düzeyindeki günlük ifadeleriyle işlevimize yerleştirdiğimiz günlükleri görebiliriz. Gördüğümüz:
- İşlevimizi tetikleyen etkinliğin ayrıntıları,
- Vision API çağrısından alınan ham sonuçlar,
- Yüklediğimiz resimde bulunan etiketler,
- Baskın renkler bilgisi,
- Resmin gösterilmesinin güvenli olup olmadığı,
- Sonunda resimle ilgili bu meta veriler Firestore'da depolanır.
image-analysis-native hizmeti için işlemi tekrarlarsınız.
"Hamburger" (☰) menüsünden Cloud Run > image-analysis-native hizmetine gidin.
Günlükler'i tıklayın ve çıkışı inceleyin:
Resim meta verilerinin Firestore'da depolanıp depolanmadığını kontrol edin.
Yine "hamburger" (☰) menüsünden Firestore bölümüne gidin. Data alt bölümünde (varsayılan olarak gösterilir), yeni bir doküman eklenmiş pictures koleksiyonunu görmeniz gerekir. Bu doküman, az önce yüklediğiniz resme karşılık gelir:
15. Temizleme (isteğe bağlı)
Serideki diğer laboratuvarlara devam etmeyi düşünmüyorsanız maliyetleri düşürmek ve genel olarak iyi bir bulut kullanıcısı olmak için kaynakları temizleyebilirsiniz. Kaynakları tek tek aşağıdaki şekilde temizleyebilirsiniz.
Paketi silme:
gsutil rb gs://${BUCKET_PICTURES}
İşlevi silme:
gcloud functions delete picture-uploaded --region europe-west1 -q
Koleksiyondan Koleksiyonu sil'i seçerek Firestore koleksiyonunu silin:
Alternatif olarak, projenin tamamını silebilirsiniz:
gcloud projects delete ${GOOGLE_CLOUD_PROJECT}
16. Tebrikler!
Tebrikler! Projenin ilk anahtar hizmetini başarıyla uyguladınız.
İşlediğimiz konular
- Cloud Storage
- Cloud Run
- Cloud Vision API
- Cloud Firestore
- Yerel Java Görüntüleri