Etkileşimli Analytics ve Looker ile sohbet uygulaması oluşturma

1. Başlamadan önce

Bu codelab'de, verileri sorgulamak için kendi sohbet uygulamanızı oluşturmak üzere Looker ile Conversational Analytics API'yi (CA API) kullanma konusunda size yol gösterilecektir. En iyi değeri elde etmek için BigQuery, Looker, LLM'ler ve aracılar ile Python hakkında bilgi sahibi olmanız gerekir.

Neler öğreneceksiniz?

Bu codelab'i tamamladığınızda şunları öğrenmiş olacaksınız:

• Etkileşimli Analytics'i Looker ile kullanma
• Etkileşimli Analytics Python hızlı başlangıç uygulamasını ayarlama ve kullanma (ve uygulamanın işleyiş şekli)
• Konuşma Analizi ile semantik modelleme için Looker'ı kullanmanın avantajları

Gerekenler

Bu codelab'i tamamlamak için şunlar gerekir:

• ASC Demografik Veri Looker Bloğu'nun yüklü olduğu bir Looker örneği
• Looker örneğinize API ve geliştirici erişimi
• Python 3.11 veya sonraki sürümlerin, Git'in ve gcloud'un yüklü olduğu bir yerel ortam.
• Kullanıcı hesabınız için bu IAM rollerinin ayarlandığı bir Cloud projesi:
• roles/bigquery.dataViewer BigQuery Veri Görüntüleyicisi
• roles/bigquery.user BigQuery Kullanıcısı
• roles/looker.instanceUser Looker örneği kullanıcısı

2. BigQuery ile sohbet uygulamanızı oluşturma ve deneme

Öncelikle BigQuery'yi veri kaynağı olarak kullanarak Etkileşimli Analiz hızlı başlangıç uygulamasını ayarlayıp deneyelim.

Cloud API'lerinin kimliğini doğrulama ve etkinleştirme

1. Kullanıcı hesabınızla yerel olarak kimlik doğrulama:

gcloud auth login

2. Cloud projesi API'lerini etkinleştirin. Lütfen YOUR_PROJECT_ID kısmını Google Cloud projenizin kimliğiyle değiştirin:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. Uygulama varsayılan kimlik bilgilerini (ADC) ve faturalandırmayı ayarlayın:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

Hızlı başlangıç uygulamasını kurma

4. Hızlı başlangıç GitHub deposunu yerel ortamınıza klonlayın. Aşağıdaki örnek komuta bakın:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. Klonladığınız ca-api-quickstarts dizinine gidin:

cd ca-api-quickstarts

6. .streamlit dizininde bir secrets.toml dosyası oluşturun. YOUR_LOOKER_CLIENT_ID ve YOUR_LOOKER_CLIENT_SECRET, Looker örneğinizdeki Looker istemci kimliğiniz ve Looker istemci gizli anahtarınız olmalıdır. Dosya içerikleri aşağıdaki gibi olmalıdır:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

Dosyayı oluşturmak için aşağıdaki örnek komutu kullanabilirsiniz. Değerleri proje kimliğiniz, istemci kimliğiniz ve istemci gizli anahtarınızla değiştirdiğinizden emin olun:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. Hızlı başlangıç uygulamasının Python gereksinimlerini yükleyin:

pip install -r requirements.txt

8. Hızlı başlangıç uygulamasını çalıştırın:

streamlit run app.py

Etkileşimli veri uygulamaları prototipi oluşturmanıza olanak tanıyan açık kaynaklı bir Python uygulama çerçevesi olan özel olarak oluşturulmuş bir Streamlit uygulaması çalıştırıyorsunuz. Daha fazla bilgi edinmek için Streamlit belgelerine göz atın.

9. Seçtiğiniz tarayıcıda https://localhost:8501 adresini açın.

Hızlı başlangıç uygulamasını deneyin

Artık hızlı başlangıç uygulamasının aracılar sayfasındasınız. Kullanılabilir veri aracınız yok.

Veri yapay zeka aracısı nedir? Yapay zeka temsilcileri, kullanıcılar adına hedeflere ulaşmak ve görevleri tamamlamak için yapay zekadan yararlanan yazılım sistemleridir. Muhakeme, planlama ve hafıza yetenekleri vardır. Karar verme, öğrenme ve uyum sağlama konusunda özerk bir düzeydedirler. Kullanım alanımızda, verilerimizi anlamak için yapay zeka temsilcilerini kullanıyoruz. Bir aracının davranışı, kendisi için tanımlanan sistem talimatlarına göre belirlenir. Daha fazla bilgi için Yapay zeka aracı nedir? başlıklı makaleyi inceleyin.

10. Şimdi Create Agent (Aracı Oluştur) formunda korsan gibi konuşan bir veri aracısı oluşturalım:
11. Görünen ad alanını ayarlayın:

Pirate BQ Agent

2. Sistem Talimatları alanını ayarlayın:

You are a pirate. Answer questions like a pirate

3. BigQuery seçeneğini belirleyin.
4. Proje alanını ayarlayın:

bigquery-public-data

5. Veri kümesi alanını ayarlayın:

google_trends

6. Tablo alanını ayarlayın:

top_rising_terms

11. Temsilci oluştur'u seçin.

Hızlı başlangıç uygulamasının Create Agent (Temsilci Oluştur) formu, gcloud'un Python SDK'sı aracılığıyla CA API'nin create dataAgent uç noktasını çağırarak temsilcinin sistem talimatlarını ve veri kaynağını iletir. Uygulama, tüm CA API çağrıları için gcloud Python SDK'sını kullanır.

12. Şimdi soldaki ana gezinme menüsünden sohbet sayfasına gidelim. Yeni oluşturulan temsilcimizle sohbet edebilirsiniz. "Merhaba, nasılsın?" istemini/mesajını ekleyerek sohbet başlatalım.
13. Şimdi bu veri kümesi hakkında biraz bilgi edinelim: "Bu veri kümesi ne hakkında?"

Sohbette istem (veya mesaj) gönderdiğinizde ne olur? Uygulama, mesajınızı CA API'lerinin sohbet uç noktasına yük olarak gönderir. Arka planda CA API, isteminiz için bağlam olarak veri aracısının sistem talimatlarını ve veri kaynağından gelen bilgileri kullanır. Ardından istemi ve bağlamı Gemini'a gönderir. Ardından CA API, Gemini'ın yanıtını geri yayınlar.

14. Şuna benzer başka bir soru sorun:
15. "Veri kümesinde hangi [Eyalet girin] konumları var?"
16. "[Şehir, Eyalet] için son 2 haftanın verilerini verebilir misin?"
17. "Görselleştirme oluşturabilir misin?"

Kendi sohbet uygulamanızda veri temsilciniz ve BigQuery verilerinizle çok turlu bir görüşme yaptınız.

3. Looker'da verilerinizi modelleme ve keşfetme

Şimdi de aynı BigQuery verilerini Looker'da modelleyip inceleyelim.

BigQuery nüfus sayımı verilerini sorgulama

Daha büyük ve ilişkisel bir veri kümesine bağlandığımızda ne olur? Öncelikle yeni bir aracı oluşturacağız.

1. Aracılar sayfasının Temsilci Oluştur formuna geri dönün.
2. Görünen ad alanını ayarlayın:

BQ Census Agent

2. Sistem Talimatları alanını ayarlayın:

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. BigQuery seçeneğini belirleyin.
4. Proje alanını ayarlayın:

bigquery-public-data

5. Veri kümesi alanını ayarlayın:

census_bureau_acs

6. Tablo alanını ayarlayın:

blockgroup_2018_5yr

2. Temsilci oluştur'u seçin.
3. Yeni oluşturulan temsilciye şu iki soruyu sorun:
4. "Hangi verilere sahipsin?"
5. "Verilerimin önizlemesini gösterebilir misin?"

Aracıdan verilerin önizlemesini istediğinizde, tabloda insan tarafından okunabilir bir konumun olmadığını, yalnızca coğrafi tanımlayıcının (geo_id) bulunduğunu görebilirsiniz.

Nüfus sayımı verilerini modellemek için Looker'ı kullanma

Şimdi BigQuery nüfus sayımı verilerini tanımlamak için bir LookML modeli kullanacağız. Az önce gördüğümüz sorunları çözeceğiz.

4. Looker örneğinize giriş yapın
5. Sol taraftaki ana gezinme menüsüne gidip Geliştir'i ve ardından marketplace_acs_census-v2'yi seçerek ACS demografik veri bloğu dosyalarınıza gidin.
6. Şimdi bir Looker görünümüne göz atalım. imported_project dizinini, acs_census-v2 dizinini ve geography dizinini açın.
7. Son olarak cbsa.view dosyasını açın.
8. 17. satırda, LookML'nin türetilmiş bir tablo oluşturduğunu görüyoruz. Başka bir deyişle, bu kod, biri nüfus sayımı verilerini, diğeri ise coğrafi sınır verilerini içeren iki herkese açık BigQuery veri kümesini birleştirerek yeni ve birleştirilmiş bir tablo oluşturuyor. LookML, sorgulanacak kalıcı bir türetilmiş tablo oluşturarak birden fazla veri kümesini birleştirmemize olanak tanır.

Kalıcı türetilmiş tablo (PDT), Looker tarafından oluşturulan ve veritabanınızda (bu örnekte BigQuery) depolanan bir tablodur. Karmaşık bir sorgunun gerçekleştirilmiş görünümüdür. Looker, bir kullanıcı rapor istediğinde aynı pahalı sorguyu her seferinde çalıştırmak yerine, performansı artırmak ve sorgu süresini kısaltmak için önceden hesaplanmış PDT'yi daha verimli bir şekilde sorgulayabilir.

Ayrıca birleştirme, sistem talimatları yerine sürüm oluşturulabilir kodda (LookML) tanımlandığından aracı geliştirme daha ölçeklenebilir hale gelir. LookML ile, kullanıcıların bir veri aracısı aracılığıyla verilerinizle sohbet etmesini desteklemek için verilerinizle ilgili belirli varsayımlar ve kısıtlamalar tanımlayabilirsiniz.

Looker'da modellenmiş nüfus sayımı verilerini keşfetme

Sorgulanacak tek bir merkezi veri kaynağımız olduğunu göstermek için Keşfet'te hızlı bir sorgu çalıştıralım.

9. Soldaki ana gezinme menüsünde Keşfet'i, ardından Nüfus Sayımı Veri Bloğu'nu, ardından Eyalet ve İlçe'yi seçin.
10. Eğitim > Ön Lisans Derecesi ölçüsünü seçin.
11. Aşağıdaki boyutları seçin:
12. Coğrafya > Blok Grubu
13. Coğrafya > İlçe > İlçe Adı
14. Coğrafya > Eyalet > Eyalet.
15. Sorguyu çalıştırın (sağ üst) ve artık bu Coğrafya Kimliklerinin ("Blok Grubu" olarak adlandırılır) insan tarafından okunabilir dizelerle ilişkilendirildiğini göreceksiniz.
16. Görselleştirme sekmesini açtığınızda bu verileri bir haritada görürsünüz.

4. Looker ile sohbet uygulamasını deneme

Şimdi Looker için bir veri aracısı oluşturalım.

1. Hızlı başlangıç uygulamanızın temsilci sayfasındaki Temsilci Oluştur formuna gidin:
2. Görünen ad alanını ayarlayın:

Cartoon character data analyst

2. Sistem Talimatları alanını ayarlayın:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. Looker seçeneğini belirleyin.
4. Url alanını Looker örneğinizin URL'si ("https://...") olarak ayarlayın.
5. Model alanını ayarlayın:

data_block_acs_bigquery

6. Keşfet alanını ayarlayın:

cbsa

7. Temsilci oluştur'u seçin.
8. Sohbet sayfasına gidin ve yeni oluşturulan temsilciyi seçin.
9. "Merhaba, nasılsın?" istemini/mesajını ekleyerek sohbet başlatalım.
10. Aracıya veri kümesini açıklamasını isteyelim: "Hangi veriler mevcut?"
11. Birkaç soru daha soralım:
12. "Which county in NY has the biggest population?" (New York'ta en büyük nüfusa sahip ilçe hangisidir?)
13. "Peki, kişi başına en çok lise mezunu veren ülke hangisi?"
14. "Cinsiyete ve eyalete göre nüfusu verebilir misin?"
15. "En kalabalık 10 eyaletin çubuk grafiğini görmek istiyorum."

Sohbetinizde bu çubuk grafik görselleştirmesini görüyor musunuz? CA API, uygulamaya bir Vega grafiği spesifikasyonu içeren bir mesaj gönderdi. Vega grafik spesifikasyonu, görselleştirmenin verilerini ve renkler, eksen, grafik türü gibi yapılandırmalarını içerir. Spesifikasyon sayesinde Streamlit uygulaması, bu verileri görüntüleyip etkileşim kurabileceğiniz etkileşimli bir Vega grafiği olarak oluşturur. CA API, kolay görselleştirme için standart görselleştirme yapılandırmaları oluşturarak verilerinizi sorgulamanıza ve veri aracılarıyla görselleştirmenize olanak tanır.

5. Hızlı başlangıç uygulaması başka neler yapabilir?

Artık:

• Sohbet uygulamasını yerel olarak ayarlama
• BigQuery veri aracısı ve Looker veri aracısı oluşturma
• Veri temsilcilerinizle sohbet etme
• Sohbetleriniz için bağlam olarak Looker semantik modellemenin avantajları hakkında bilgi edinme

Hızlı başlangıç uygulamasının diğer özelliklerini deneyelim:

1. Hızlı başlangıç uygulamasının web sayfasını yeniden yükleyin ve sohbet sayfasına gidin.
2. Hem BigQuery hem de Looker temsilcilerinizle yaptığınız geçmiş sohbetleri ilgili tüm mesajlarıyla birlikte görebilirsiniz. Uygulamanın ön ucu, geçmiş görüşmeleri veya mesajları depolamıyor ancak bunları CA API'den getiriyor.

CA API, geçmişteki tüm görüşmeler ve mesajları için uç noktalar sağlar. Uygulama, CA API'nin list conversations endpoint uç noktasından geçmiş görüşmeleri getirir. Uygulama daha sonra list messages endpoint'ten görüşmenin tüm geçmiş mesajlarını getirir. Bir görüşmeye mesaj gönderdiğinizde CA API, mesajları görüşmeyle ilişkilendirerek görüşmedeki tüm eski mesajları daha faydalı çok adımlı görüşme için bağlam olarak ekleyebilir.

3. Şimdi aracılar sayfasına gidin ve listeden Looker aracınızı seçin.
4. İsterseniz temsilcinin yapılandırmalarını güncelleyebilir veya temsilciyi silebilirsiniz. Uygulamanın ön ucunda hiçbir aracı depolanmaz.

Uygulama, aracıları listelemek, oluşturmak, güncellemek ve silmek için CA API'nin sağladığı uç noktaları çağırır. Uygulama, CA API'nin aracılarını depolama ve yönetme özelliğinden yararlanır. CA API, aracılarla ilgili başka işlemler de sunar.

6. İsteğe bağlı zorluklar ve daha fazla keşif

İsterseniz bu fırsatı kullanarak Sohbet Analizi ve hızlı başlangıç uygulaması hakkında bilgi edinebilirsiniz. Ayrıca, hızlı başlangıç uygulamasını değiştirmek için kendinize bir meydan okuma da sunabilirsiniz. Aşağıdaki öneri ve zorluklardan bazılarını deneyebilir veya doğrudan son bölüme geçebilirsiniz.

CA API ve hızlı başlangıç uygulaması hakkında daha fazla bilgi edinin

• Ajanınızın davranışını kontrol etmek için ayrıntılı sistem talimatları hakkında daha fazla bilgi edinin.
• Yeni bir BigQuery veri kümesini işaret eden başka bir veri aracısı ayarlayın.
• Looker örneğinize yeni bir Looker bloğu yükleyin, bir aracı oluşturun ve bu aracı yeni bir Looker veri kümesine yönlendirin.

Uygulama değişikliğiyle ilgili hızlı başlangıç sorunları

• Looker yerleştirme özelliğini biliyor musunuz? Bu durumda, hızlı başlangıç uygulamasının içine bir Looker kontrol paneli yerleştirmeyi deneyin. Streamlit'in iframe bileşenini kullanabilirsiniz.
• Video URL'leri içeren herkese açık bir veri kümesi bulun ve uygulamadaki sohbet oluşturma mantığını, sohbette video gösterecek şekilde güncelleyin.

7. Sonuç ve ana fikirler

Sonuna kadar geldiniz. Etkileşimli Analytics API'si ile sohbet uygulaması oluşturdunuz, veri temsilcileri oluşturdunuz ve verilerinizle sohbet ettiniz. Bazı temel özellikleri ve kavramları inceleyelim.

Etkileşimli Analytics özellikleri

Konuşma Analizi'nin birçok özelliğinden bahsettik. Örneğin:

• Veri aracılarını oluşturma, güncelleme, listeleme, alma ve silme.
• Veri aracılarını veri kaynağı olarak BigQuery veya Looker'a yönlendirin.
• Görüşme oluşturma, listeleme ve alma ile görüşmelerin ilgili mesajlarını alma.
• Görüşmelerde etkileyici görselleştirme için Vega grafiği özellikleri üretin.
• Görüşmedeki önceki mesajları, gelecekteki mesajlar için faydalı bağlam olarak kullanma

Looker'ı CA API ile kullanmanın avantajları

Looker, verilerinizin merkezi, test edilebilir ve yönetilebilir semantik modellemesini sağlar. Looker, Etkileşimli Analytics ile birlikte kullanıldığında veri aracılarınız için bağlam sağlamanın ölçeklenebilir bir yolunu sunar.

Sırada ne var?

• Daha fazla kılavuz, özellik ve kullanım alanı için Etkileşimli Analytics belgelerine göz atın.
• Hızlı başlangıç uygulama deposu ile ilgili güncel bilgilere ulaşın ve bu depoya katkıda bulunun.