BigQuery kod laboratuvarındaki yapay zeka ajanslarıyla verileri hazırlama

1. Giriş

Kodlama uzmanı olmanıza gerek kalmadan verilerinizi analize daha hızlı ve verimli bir şekilde hazırlayabilmeyi hayal edin. BigQuery Veri Hazırlama ile bu artık mümkün. Bu güçlü özellik, veri beslemeyi, dönüştürmeyi ve temizlemeyi basitleştirerek veri hazırlığını kuruluşunuzdaki tüm veri uzmanlarının kullanımına sunar.

Ürün verilerinizin sunduğu fırsatlardan yararlanmaya hazır mısınız?

Ön koşullar

• Google Cloud Console hakkında temel düzeyde bilgi
• SQL hakkında temel düzeyde bilgi

Neler öğreneceksiniz?

• Moda ve güzellik sektöründen gerçekçi bir örnek kullanarak BigQuery veri hazırlama özelliğinin ham verilerinizi nasıl temizleyip uygulanabilir iş zekasına dönüştürebileceğini öğrenin.
• Temizlenmiş verileriniz için veri hazırlığını çalıştırma ve planlama

Gerekenler

• Google Cloud hesabı ve Google Cloud projesi
• Chrome gibi bir web tarayıcısı

2. Temel kurulum ve şartlar

Kendine ait tempoda ortam oluşturma

1. Google Cloud Console'da oturum açın ve yeni bir proje oluşturun veya mevcut bir projeyi yeniden kullanın. Gmail veya Google Workspace hesabınız yoksa hesap oluşturmanız gerekir.

• Proje adı, bu projenin katılımcılarının görünen adıdır. Google API'leri tarafından kullanılmayan bir karakter dizesidir. Dilediğiniz zaman güncelleyebilirsiniz.
• Proje kimliği, tüm Google Cloud projelerinde benzersizdir ve değiştirilemez (ayarlandıktan sonra değiştirilemez). Cloud Console, benzersiz bir dize otomatik olarak oluşturur. Bu dizenin ne olduğu genellikle önemli değildir. Çoğu kod laboratuvarında proje kimliğinize (genellikle PROJECT_ID olarak tanımlanır) referans vermeniz gerekir. Oluşturulan kimliği beğenmezseniz rastgele başka bir kimlik oluşturabilirsiniz. Alternatif olarak, kendi anahtarınızı deneyerek kullanılabilir olup olmadığını görebilirsiniz. Bu adımdan sonra değiştirilemez ve proje boyunca geçerli kalır.
• Bazı API'lerin kullandığı üçüncü bir değer (Proje Numarası) olduğunu belirtmek isteriz. Bu değerlerin üçü hakkında daha fazla bilgiyi dokümanlar bölümünde bulabilirsiniz.

Dikkat: Proje kimliği dünya genelinde benzersizdir ve seçtikten sonra başkaları tarafından kullanılamaz. Bu kimliğin tek kullanıcısı siz olmalısınız. Proje silinse bile kimlik tekrar kullanılamaz.

Not: Gmail hesabı kullanıyorsanız varsayılan konumu Kuruluş yok olarak ayarlayabilirsiniz. Google Workspace hesabı kullanıyorsanız kuruluşunuz için uygun bir konum seçin.

2. Ardından, Cloud kaynaklarını/API'lerini kullanmak için Cloud Console'da faturalandırmayı etkinleştirmeniz gerekir. Bu codelab'i çalıştırmak çok pahalı değildir. Bu eğitimden sonra faturalandırılmamak için kaynakları kapatmak istiyorsanız oluşturduğunuz kaynakları veya projeyi silebilirsiniz. Yeni Google Cloud kullanıcıları 300 ABD doları değerinde ücretsiz deneme programına uygundur.

3. Başlamadan önce

API'yi etkinleştirme

Gemini'yi BigQuery'de kullanmak için Google Cloud API için Gemini'yi etkinleştirmeniz gerekir. Bu adımı genellikle serviceusage.services.enable IAM iznine sahip bir hizmet yöneticisi veya proje sahibi gerçekleştirir.

1. Google Cloud için Gemini API'yi etkinleştirmek üzere Google Cloud Marketplace'teki Google Cloud için Gemini sayfasına gidin. Google Cloud için Gemini'ye gitme
2. Proje seçicide bir proje seçin.
3. Etkinleştir'i tıklayın. Sayfa güncellenir ve Etkin durumunu gösterir. BigQuery'deki Gemini, gerekli IAM izinlerine sahip tüm kullanıcılar tarafından seçili Google Cloud projesinde kullanılabilir.

Veri hazırlıklarını geliştirmek için rolleri ve izinleri ayarlama

1. IAM ve Yönetici bölümünde IAM'ı seçin.

2. Kullanıcınızı seçin ve "Baş kullanıcıyı düzenle" için kalem simgesini tıklayın.

BigQuery Veri Hazırlama'yı kullanmak için aşağıdaki rollere ve izinlere sahip olmanız gerekir:

• BigQuery Veri Düzenleyicisi (roles/bigquery.dataEditor)
• Hizmet Kullanımı Tüketicisi (roles/serviceusage.serviceUsageConsumer)

4. BigQuery Analytics Hub'da "bq data preparation demo" listelemesini bulma ve listeye abone olma

Bu eğitimde bq data preparation demo veri kümesini kullanacağız. BigQuery Analytics Hub'da, verilerini okuyacağımız bağlı bir veri kümesidir.

Veri hazırlama işlemi hiçbir zaman kaynağa geri yazmaz. Yazılacak bir hedef tablo tanımlamanızı isteriz. Bu alıştırmada kullanacağımız tabloda,maliyetleri en aza indirmek için yalnızca 1.000 satır vardır ancak veri hazırlama işlemi BigQuery'de çalışır ve ölçeklendirilir.

Bağlı veri kümesini bulup abone olmak için aşağıdaki adımları uygulayın:

1. Analytics Hub'a erişin: Google Cloud Console'da BigQuery'ye gidin.
2. BigQuery gezinme menüsünde "Yönetim" bölümünde "Analytics Hub"ı seçin.

3. Giriş için arama yapın: Analytics Hub kullanıcı arayüzünde Girişleri Ara'yı tıklayın."
4. Arama çubuğuna bq data preparation demo yazıp Enter tuşuna basın.

5. Girişlere abone olma: Arama sonuçlarından bq data preparation demo girişini seçin.
6. Giriş ayrıntıları sayfasında Abone ol düğmesini tıklayın.
7. Onay iletişim kutularını inceleyin ve gerekirse projeyi/veri kümesini güncelleyin. Varsayılan değerler doğru olmalıdır.

8. BigQuery'de veri kümesine erişme: Başarılı bir şekilde abone olduktan sonra, girişteki veri kümeleri BigQuery projenize bağlanır.

BigQuery Studio'ya dönün.

5. Verileri keşfetme ve veri hazırlama işlemini başlatma

1. Veri kümesini ve tabloyu bulun: Gezgin panelinde projenizi seçin ve ardından bq data preparation demo listesine eklenen veri kümesini bulun. stg_product tablosunu seçin.
2. Veri Hazırlama'da aç: Tablo adının yanındaki üç dikey noktayı tıklayın ve Open in Data Preparation simgesini seçin.

Enable data preparation yapmanızı istenirse düğmeyi tıklayarak etkinleştirin ve istemleri takip edin.

Bu işlem, tabloyu Veri Hazırlama arayüzünde açar ve verilerinizi dönüştürmeye başlamanıza olanak tanır.

Aşağıdaki veri önizlemesinde görebileceğiniz gibi, çözmemiz gereken bazı veri sorunları var. Bunlar arasında şunlar yer alıyor:

• Fiyat sütunu hem tutarı hem de para birimini içerdiğinden analizi zorlaştırır.
• Ürün sütununda ürün adı ve kategorisi (dikey çizgi sembolü | ile ayrılmış) birlikte yer alır.

Gemini, verilerinizi hemen analiz eder ve çeşitli dönüşümler önerir. Bu örnekte birkaç öneri görüyoruz. Sonraki adımlarda ihtiyacımız olanları uygulayacağız.

6. Fiyat sütununu işleme

Fiyat sütunuyla ilgilenelim. Gördüğümüz gibi, hem para birimini hem de tutarı içerir. Amacımız, bunları iki ayrı sütuna (Para Birimi ve Tutar) ayırmaktır.

Gemini, Fiyat sütunu için birkaç öneri belirledi.

Not: Aşağıda listelenen talimatları içeren bir öneri kartı bulamıyorsanız aşağıdaki adımları uygulayarak bir öneri kartı oluşturun:

1. Adım Ekle > Dönüşüm'ü seçme
2. Aradığınız açıklamayı Description alanına yazma

1. Aşağıdakine benzer bir öneri bulun:

Açıklama: "Bu ifade, belirtilen alandaki "USD" ön ekini kaldırır"

REGEXP_REPLACE(Price,` `r'^USD\s',` `r'')

2. Önizlemeyi seçin

3. Uygula'yı seçin.

Ardından Fiyat sütununun veri türünü STRING'den NUMERIC'e dönüştürelim.

1. Aşağıdakine benzer bir öneri bulun:

Açıklama: "Fiyat sütununu dize türünden float64 türüne dönüştürür"

SAFE_CAST(Price AS float64)

2. Uygula'yı seçin.

Adım listenizde artık uygulanmış üç adım görebilirsiniz.

Not: Yukarıdaki önerileri bulamıyorsanız bunları eklemek ve uygulamak için yukarıdaki ipucu bölümünde açıklanan Add Step iş akışını kullanın.

7. Ürün sütununu işleme

Ürün sütunu, hem ürün adını hem de kategoriyi bir boru (|) ile ayrılmış şekilde içerir.

Doğal dili tekrar kullanabiliriz ancak önce Gemini'nin güçlü özelliklerinden bir diğerine göz atalım.

Ürün adını temizleme

1. Ürün girişinin | karakteri dahil kategori bölümünü seçip silin.

Gemini bu kalıbı akıllıca tanır ve sütunun tamamına uygulanacak bir dönüşüm önerir.

2. "Düzenle"yi seçin.

Gemini'nin önerisi tam olarak doğru: "|" karakterinden sonra gelen her şey kaldırılarak ürün adı etkili bir şekilde izole edilir.

Ancak bu sefer orijinal verilerimizin üzerine yazmak istemiyoruz.

3. Hedef sütun açılır listesinde "Yeni sütun oluştur"u seçin.
4. Adı ProductName olarak ayarlayın.

4. Her şeyin yolunda olduğundan emin olmak için değişiklikleri önizleyin.
5. Dönüşümü uygulayın.

Ürün kategorisini ayıklayın

Doğal dil kullanarak Gemini'ye Ürün sütunundaki dikey çizgiden (|) sonraki kelimeyi ayıklaması talimatını vereceğiz. Ayıklanan bu değerin üzerine Ürün adlı mevcut sütunda yazılır.

1. Yeni bir dönüşüm adımı eklemek için Add Step simgesini tıklayın.

2. Açılır menüden Transformation simgesini seçin.
3. Doğal dil istemi alanına "Ürün sütununda boru işaretinden (|) sonraki kelimeyi ayıklayın." yazın ve SQL'i oluşturmak için Return tuşuna basın.

4. Hedef sütununu "Ürün" olarak bırakın.
5. Uygula'yı tıklayın.

Dönüşüm aşağıdaki sonuçları verir.

8. Verileri zenginleştirmek için birleştirme

Verilerinizi genellikle diğer kaynaklardan alınan bilgilerle zenginleştirmek istersiniz. Örneğimizde, ürün verileri ile üçüncü taraf tablosundaki genişletilmiş ürün özelliklerini (stg_extended_product) birleştireceğiz. Bu tabloda marka ve lansman tarihi gibi ayrıntılar yer alır.

1. Add Step simgesini tıklayın.
2. Join adlı yolu seç
3. stg_extended_product tablosuna gidin.

BigQuery'deki Gemini, ürün kimliği birleştirme anahtarını bizim için otomatik olarak seçti ve anahtar adı aynı olduğundan sol ve sağ tarafları niteliklendirdi.

Not: Açıklama alanında "productid'ye göre birleştir" ifadesinin yer aldığından emin olun. Ek birleştirme anahtarları içeriyorsa açıklama alanının üzerine "productid'ye göre birleştirme" yazın ve birleştirme ifadesini aşağıdaki koşulla L yeniden oluşturmak için açıklama alanındaki oluştur düğmesini seçin.

productid

= R.

productid.

4. Dilerseniz sonuçları önizlemek için Önizle'yi seçin.
5. Apply simgesini tıklayın.

Genişletilmiş özellikleri temizleme

Birleştirme işlemi başarılı olsa da genişletilmiş özellikler verileri biraz temizlenmelidir. LaunchDate sütununda tutarsız tarih biçimleri, Brand sütununda ise eksik değerler var.

LaunchDate sütununu ele alarak başlayacağız.

Dönüşüm oluşturmadan önce Gemini'nin önerilerini kontrol edin.

1. LaunchDate sütun adını tıklayın. Aşağıdaki resimdekine benzer bazı öneriler görürsünüz.

2. Aşağıdaki SQL'yi içeren bir öneri görürseniz öneriyi Uygula ve sonraki adımları atlayın.

COALESCE(SAFE.PARSE_DATE('%Y-%m-%d',
LaunchDate),SAFE.PARSE_DATE('%Y/%m/%d', LaunchDate))

3. Yukarıdaki SQL ile eşleşen bir öneri görmüyorsanız Add Step simgesini tıklayın.
4. Transformation simgesini seçin.
5. SQL alanına şunları girin:

COALESCE(SAFE.PARSE_DATE('%Y-%m-%d',
LaunchDate),SAFE.PARSE_DATE('%Y/%m/%d', LaunchDate))

6. Target Columns öğesini LaunchDate olarak ayarlayın.
7. Apply simgesini tıklayın.

LaunchDate sütununda artık tutarlı bir tarih biçimi kullanılıyor.

9. Hedef tablo ekleme

Veri kümemiz artık temiz ve veri ambarzımızdaki bir boyut tablosuna yüklenmeye hazır.

1. ADD STEP simgesini tıklayın.
2. Destination simgesini seçin.
3. Gerekli parametreleri doldurun: Veri kümesi: bq_data_preparation_demo Tablo: DimProduct
4. Save simgesini tıklayın.

Artık "Veriler" ve "Şema" sekmeleriyle çalışıyoruz. BigQuery Veri Hazırlama, bunlara ek olarak ardışık düzeninizdeki dönüşüm adımlarının sırasını görsel olarak gösteren bir "Grafi" görünümü sunar.

Not: Başlıktaki veri hazırlama adını tıklayarak grafiği görüntüleyebilirsiniz.

10. Bonus A: Üretici sütununu işleme ve hata tablosu oluşturma

Ayrıca Manufacturer sütununda boş değerler tespit ettik. Bu kayıtlar için bir veri kalitesi kontrolü uygulamak ve daha ayrıntılı inceleme için bunları bir hata tablosuna taşımak istiyoruz.

Hata tablosu oluşturma

1. stg_product data preparation başlığının yanındaki More düğmesini tıklayın.
2. Setting bölümünün altında Error Table simgesini seçin.
3. Enable error table kutusunu işaretleyin, ayarları aşağıdaki gibi yapılandırın:

• Veri kümesi: bq_data_preparation_demo seçin
• Tablo: err_dataprep yazın
• Define duration for keeping errors bölümünde 30 days (default)'i seçin.

4. Save simgesini tıklayın.

Üretici sütununda doğrulama ayarlama

1. Üretici sütununu seçin.
2. Gemini büyük olasılıkla alakalı bir dönüşüm tespit etmiş olacaktır. Yalnızca Üretici alanının boş olmadığı satırları koruyan öneriyi bulun. Aşağıdakine benzer bir SQL içerir:

Manufacturer IS NOT NULL

2.İncelemek için bu önerideki "Düzenle" düğmesini tıklayın.

3. "Doğrulanamayan satırlar hata tablosuna yönlendirilir" seçeneğini işaretleyin (işaretli değilse)
4. Apply simgesini tıklayın.

"Uygulanan adımlar" düğmesini tıklayarak istediğiniz zaman uyguladığınız dönüşümleri inceleyebilir, değiştirebilir veya silebilirsiniz.

Gereksiz ProductID_1 sütununu temizleme

Birleştirilmiş tablomuzdaki ProductID sütununu kopyalayan ProductID_1 sütunu artık silinebilir.

1. Schema sekmesine gidin
2. ProductID_1 sütununun yanındaki 3 noktayı tıklayın.
3. Drop simgesini tıklayın.

Artık veri hazırlama işini çalıştırmaya ve veri akışımızın tamamını doğrulamaya hazırız. Sonuçlardan memnun kaldıktan sonra işi otomatik olarak çalışacak şekilde planlayabiliriz.

4. Veri hazırlama görünümünden ayrılmadan önce hazırlıklarınızı kaydedin. stg_product data preparation başlığının yanında bir Save düğmesi görürsünüz. Kaydetmek için düğmeyi tıklayın.

11. Ortamı temizleme

• stg_product data preparation dosyasını silin.
• bq data preparation demo veri kümesini silme

12. Tebrikler

Codelab'i tamamladığınız için tebrikler.

Ele aldığımız konular

• Veri hazırlama işlemini ayarlama
• Tabloları açma ve veri hazırlama bölümünde gezinme
• Sayısal ve birim tanımlayıcı verileri içeren sütunları bölme
• Tarih biçimlerini standartlaştırma
• Veri hazırlama işlemlerini çalıştırma