Gemini ile çok formatlı video transkripsiyonu

1. Genel Bakış

Bu laboratuvarda, tek bir Gemini istemi kullanarak çok formatlı video transkripsiyonu gibi karmaşık bir sorunu çözmeyi öğreneceksiniz.

Aşağıdaki soruların tümünü aynı anda yanıtlamak için videoları analiz edeceksiniz:

  • 1️⃣ Ne zaman ne söylendi?
  • 2️⃣ Konuşmacılar kimler?
  • 3️⃣ Kim ne dedi?

Elde edeceğiniz sonuçlara dair bir örnek:

7ed458bd4f8c849a.gif

Neler öğreneceksiniz?

  • Yeni veya karmaşık çok formatlı sorunları ele alma metodolojisi
  • Verileri ayırmak ve dikkati korumak için istem tekniği: Tablo çıkarma
  • Tek bir istekte Gemini'ın 1 milyon parçalık bağlamından en iyi şekilde yararlanma stratejileri
  • Çok formatlı video transkripsiyonlarıyla ilgili pratik örnekler
  • İpuçları ve optimizasyonlar

Gerekenler

  • Not defterinde (Colab veya başka bir Jupyter ortamında) Python çalıştırma konusunda bilgi sahibi olma
  • Google Cloud projesi (Vertex AI) veya Gemini API anahtarı (Google AI Studio)
  • 20-90 dakika (her şeyi hızlıca çalıştırıp çalıştırmanıza veya okuyup test etmenize bağlı olarak)

95557c237d172e1f.png 8173aa8cca5ce8e2.png 3a82b6ec76ca4557.png 8173aa8cca5ce8e2.png 95dfef766eb02938.png

Haydi başlayalım...

2. Başlamadan önce

Gemini API'yi kullanmak için iki ana seçeneğiniz vardır:

  1. Google Cloud projesiyle Vertex AI üzerinden
  2. Gemini API anahtarıyla Google AI Studio üzerinden

🛠️ 1. seçenek: Vertex AI aracılığıyla Gemini API

Koşullar:

  • Google Cloud projesi
  • Bu proje için Vertex AI API etkinleştirilmelidir.

🛠️ 2. seçenek: Google AI Studio üzerinden Gemini API

Gereksinim:

  • Gemini API anahtarı

Google AI Studio'dan Gemini API anahtarı alma hakkında daha fazla bilgi edinin.

3. Not defterini çalıştırma

Not defterini açmak için tercih ettiğiniz aracı seçin:

🧰 1. Araç: Not defterini Colab'de açın

🧰 2. Araç: Not defterini Colab Enterprise veya Vertex AI Workbench'te açma

💡 Colab Enterprise veya Vertex AI Workbench örneğiyle yapılandırılmış bir Google Cloud projeniz varsa bu yöntemi tercih edebilirsiniz.

🧰 C Aracı: Not defterini GitHub'dan alın ve kendi ortamınızda çalıştırın

⚠️ Not defterini GitHub'dan almanız (veya depoyu kopyalamanız) ve kendi Jupyter ortamınızda çalıştırmanız gerekir.

🗺️ Not defteri içindekiler tablosu

Daha kolay gezinmek için içindekiler tablosunu genişletip kullandığınızdan emin olun. Örnek:

d47b1f3032661dab.png

🏁 Not defterini çalıştırma

Hazırsınız. Artık not defterini takip edebilir ve çalıştırabilirsiniz. İyi eğlenceler!...

4. Tebrikler!

fd6d669c4cef4c43.gif

Bu karmaşık sorunu aşağıdaki teknikleri kullanarak ele aldınız:

  • Gemini'ın doğal güçlü yönleri hakkında sezgi geliştirmek için açık istemlerle prototip oluşturma
  • LLM'lerin işleyiş şeklini göz önünde bulundurma
  • Tablo çıkarma stratejisi kullanarak giderek daha ayrıntılı istemler oluşturma
  • Üretime hazır kodlara geçmek için yapılandırılmış çıkışlar oluşturma
  • Yanıtların daha kolay yorumlanması ve daha sorunsuz yinelemeler için veri görselleştirme ekleme
  • Sonuçları optimize etmek için varsayılan parametreleri uyarlama
  • Daha fazla test yapma, yineleme ve hatta çıkarılan verileri zenginleştirme

Bu ilkeler, diğer birçok veri ayıklama alanında da geçerli olmalı ve kendi karmaşık sorunlarınızı çözmenize olanak tanımalıdır.

Daha fazla bilgi