Gemini ile çok formatlı video transkripsiyonu

1. Genel Bakış

Bu laboratuvarda, tek bir Gemini istemi kullanarak çok formatlı video transkripsiyonu gibi karmaşık bir sorunu çözmeyi öğreneceksiniz.

Aşağıdaki soruların tümünü aynı anda yanıtlamak için videoları analiz edeceksiniz:

  • 1️⃣ Ne zaman ne söylendi?
  • 2️⃣ Konuşmacılar kimler?
  • 3️⃣ Kim ne dedi?

Elde edeceğiniz sonuçlara dair bir örnek:

7ed458bd4f8c849a.gif

Neler öğreneceksiniz?

  • Yeni veya karmaşık çok formatlı sorunları ele alma metodolojisi
  • Verileri ayırmak ve dikkati korumak için istem tekniği: Tablo çıkarma
  • Tek bir istekte Gemini'ın 1 milyon parçalık bağlamından en iyi şekilde yararlanma stratejileri
  • Çok formatlı video transkripsiyonlarıyla ilgili pratik örnekler
  • İpuçları ve optimizasyonlar

Gerekenler

  • Not defterinde (Colab'de veya başka bir Jupyter ortamında) Python çalıştırma konusunda bilgi sahibi olma
  • Google Cloud projesi (Vertex AI) veya Gemini API anahtarı (Google AI Studio)
  • 20-90 dakika (hızlı çalıştırmanıza veya her şeyi okuyup test etmenize bağlı olarak)

ℹ️ Bu laboratuvarı Google Cloud'da çalıştırmanın toplam maliyeti 5 ABD dolarından azdır.

ed255bd97afbedca.png fc7e616a26c8fa40.png c0b9ecec49c859f2.png fc7e616a26c8fa40.png 8f240cd033d2cc65.png

Haydi başlayalım...

2. Başlamadan önce

Gemini API'yi kullanmak için iki ana seçeneğiniz vardır:

  1. Google Cloud projesiyle Vertex AI üzerinden
  2. Gemini API anahtarıyla Google AI Studio üzerinden

🛠️ 1. seçenek: Vertex AI üzerinden Gemini API

Koşullar:

  • Google Cloud projesi
  • Bu proje için Vertex AI API etkinleştirilmelidir.

🛠️ 2. seçenek: Google AI Studio üzerinden Gemini API

Koşul:

  • Gemini API anahtarı

Google AI Studio'dan Gemini API anahtarı edinme hakkında daha fazla bilgi edinin.

3. Not defterini çalıştırma

Not defterini açmak için tercih ettiğiniz aracı seçin:

🧰 1. Araç: Not defterini Colab'de açın

🧰 2. Araç: Not defterini Colab Enterprise veya Vertex AI Workbench'te açma

💡 Colab Enterprise veya Vertex AI Workbench örneğiyle yapılandırılmış bir Google Cloud projeniz varsa bu yöntemi tercih edebilirsiniz.

🧰 C Aracı: Not defterini GitHub'dan alın ve kendi ortamınızda çalıştırın

⚠️ Not defterini GitHub'dan almanız (veya depoyu kopyalamanız) ve kendi Jupyter ortamınızda çalıştırmanız gerekir.

🗺️ Not defteri içindekiler tablosu

Daha kolay gezinmek için içindekiler bölümünü genişletip kullandığınızdan emin olun. Örnek:

392ef60165a94bba.png

🏁 Not defterini çalıştırma

Hazırsınız. Artık not defterini takip edebilir ve çalıştırabilirsiniz. İyi eğlenceler!...

4. Tebrikler!

b9a6147d9c7f89bb.gif

Tebrikler, codelab'i tamamladınız.

Bu karmaşık sorunu aşağıdaki teknikleri kullanarak ele aldınız:

  • Gemini'ın doğal güçlü yönleri hakkında sezgi geliştirmek için açık istemlerle prototip oluşturma
  • LLM'lerin işleyiş şeklini göz önünde bulundurma
  • Tablo çıkarma stratejisi kullanarak giderek daha ayrıntılı istemler oluşturma
  • Üretime hazır kod oluşturmak için yapılandırılmış çıkışlar üretme
  • Yanıtların daha kolay yorumlanması ve daha sorunsuz yinelemeler için veri görselleştirme ekleme
  • Sonuçları optimize etmek için varsayılan parametreleri uyarlama
  • Daha fazla test yapma, yineleme ve hatta çıkarılan verileri zenginleştirme

Bu ilkeler, diğer birçok veri ayıklama alanında da geçerli olmalı ve kendi karmaşık sorunlarınızı çözmenize olanak tanımalıdır.

Daha fazla bilgi