رونویسی ویدیوی چندوجهی با Gemini

۱. مرور کلی

در این آزمایش، شما یاد خواهید گرفت که مسئله پیچیده رونویسی ویدیوی چندوجهی را با استفاده از یک دستور Gemini حل کنید!

شما ویدیوها را تجزیه و تحلیل خواهید کرد و به دنبال پاسخ به سوالات زیر به طور همزمان خواهید بود:

  • 1️⃣ چه چیزی و چه زمانی گفته شد؟
  • 2️⃣ سخنرانان چه کسانی هستند؟
  • 3️⃣ کی چی گفت؟

در اینجا مثالی از آنچه به دست خواهید آورد، آورده شده است:

7ed458bd4f8c849a.gif

آنچه یاد خواهید گرفت

  • روشی برای پرداختن به مسائل چندوجهی جدید یا پیچیده
  • یک تکنیک سریع برای جداسازی داده‌ها و حفظ توجه: استخراج جدولی
  • استراتژی‌هایی برای بهره‌برداری حداکثری از ۱ میلیون توکن Gemini در یک درخواست واحد
  • نمونه‌های عملی از رونویسی‌های ویدیویی چندوجهی
  • نکات و بهینه‌سازی‌ها

آنچه نیاز دارید

  • آشنایی با اجرای پایتون در یک نوت‌بوک (در Colab یا هر محیط Jupyter دیگر)
  • یک پروژه گوگل کلود (Vertex AI) یا یک کلید API جمینی (Google AI Studio)
  • ۲۰ تا ۹۰ دقیقه (بسته به اینکه سریع می‌دوید یا همه چیز را می‌خوانید و تست می‌کنید)

ℹ️ کل هزینه اجرای این آزمایشگاه در گوگل کلود کمتر از ۵ دلار آمریکا است.

ed255bd97afbedca.pngf7e616a26c8fa40.pngc0b9ecec49c859f2.pngf7e616a26c8fa40.png8f240cd033d2cc65.png

بیایید شروع کنیم...

۲. قبل از شروع

برای استفاده از API جمینی ، دو گزینه اصلی دارید:

  1. از طریق Vertex AI با یک پروژه Google Cloud
  2. از طریق Google AI Studio با کلید API Gemini

🛠️ گزینه ۱ - رابط برنامه‌نویسی کاربردی Gemini از طریق هوش مصنوعی Vertex

الزامات:

  • یک پروژه ابری گوگل
  • API هوش مصنوعی Vertex باید برای این پروژه فعال باشد.

🛠️ گزینه ۲ - رابط برنامه‌نویسی کاربردی Gemini از طریق استودیوی هوش مصنوعی گوگل

مورد نیاز:

  • یک کلید API جمینی

درباره دریافت کلید API Gemini از Google AI Studio بیشتر بدانید.

۳. نوت‌بوک را اجرا کنید

ابزار مورد نظر خود را برای باز کردن دفترچه یادداشت انتخاب کنید:

🧰 ابزار الف - باز کردن دفترچه یادداشت در Colab

🧰 ابزار B - دفترچه یادداشت را در Colab Enterprise یا Vertex AI Workbench باز کنید

💡 اگر از قبل یک پروژه Google Cloud با نمونه Colab Enterprise یا Vertex AI Workbench پیکربندی کرده‌اید، ممکن است این گزینه ترجیح داده شود.

🧰 ابزار C - دفترچه یادداشت را از گیت‌هاب دریافت کنید و آن را در محیط خودتان اجرا کنید

⚠️ شما باید دفترچه یادداشت را از گیت‌هاب دریافت کنید (یا مخزن را کلون کنید) و آن را در محیط ژوپیتر خود اجرا کنید.

🗺️ فهرست مطالب دفترچه یادداشت

برای پیمایش آسان‌تر، حتماً فهرست مطالب را باز کرده و از آن استفاده کنید. مثال:

392ef60165a94bba.png

🏁 دفترچه یادداشت را اجرا کنید

شما آماده هستید. اکنون می‌توانید دفترچه یادداشت را دنبال و اجرا کنید. از آن لذت ببرید!...

۴. تبریک می‌گویم!

b9a6147d9c7f89bb.gif

تبریک می‌گویم که آزمایشگاه کد را تمام کردید!

شما با استفاده از تکنیک‌های زیر به این مشکل پیچیده پرداختید:

  • نمونه‌سازی اولیه با سوالات باز برای ایجاد شهود در مورد نقاط قوت طبیعی جوزا
  • با در نظر گرفتن نحوه عملکرد LLM ها در پشت صحنه
  • ایجاد دستورالعمل‌های خاص‌تر با استفاده از یک استراتژی استخراج جدولی
  • تولید خروجی‌های ساختاریافته برای حرکت به سمت کد آماده برای تولید
  • افزودن تجسم داده‌ها برای تفسیر آسان‌تر پاسخ‌ها و تکرارهای روان‌تر
  • تطبیق پارامترهای پیش‌فرض برای بهینه‌سازی نتایج
  • انجام آزمایش‌های بیشتر، تکرار و حتی غنی‌سازی داده‌های استخراج‌شده

این اصول باید در بسیاری از حوزه‌های استخراج داده دیگر نیز اعمال شوند و به شما امکان دهند مشکلات پیچیده خود را حل کنید.

بیشتر بدانید