1. نظرة عامة
في هذا الدرس التطبيقي، ستتعلم كيفية حلّ المشكلة المعقّدة المتمثّلة في تحويل الفيديو المتعدد الوسائط إلى نص، وذلك باستخدام طلب واحد من Gemini.
ستحلّل الفيديوهات بهدف الإجابة عن الأسئلة التالية في آنٍ واحد:
- 1️⃣ ما هي الرسالة التي تم إرسالها ومتى؟
- 2️⃣ مَن هم المتحدثون؟
- 3️⃣ مَن قال ماذا؟
في ما يلي مثال على ما ستحقّقه:
ما ستتعلمه
- منهجية للتعامل مع المشاكل الجديدة أو المعقّدة المتعددة الوسائط
- تقنية طلب لفصل البيانات والحفاظ على الانتباه: الاستخراج الجدولي
- استراتيجيات للاستفادة إلى أقصى حدّ من سياق Gemini الذي يضم مليون رمز مميز في طلب واحد
- أمثلة عملية على تحويل الصوت إلى نص للفيديوهات المتعددة الوسائط
- نصائح وتحسينات
المتطلبات
- معرفة كيفية تشغيل Python في دفتر ملاحظات (في Colab أو أي بيئة Jupyter أخرى)
- مشروع على Google Cloud (Vertex AI) أو مفتاح Gemini API (Google AI Studio)
- 20-90 دقيقة (حسب ما إذا كنت ستجري اختبارًا سريعًا أو ستقرأ كل شيء وتختبره)
لنبدأ...
2. قبل البدء
لاستخدام Gemini API، لديك خياران رئيسيان:
- من خلال Vertex AI باستخدام مشروع Google Cloud
- من خلال Google AI Studio باستخدام مفتاح Gemini API
🛠️ الخيار 1: استخدام Gemini API من خلال Vertex AI
المتطلبات:
- مشروع Google Cloud
- يجب تفعيل واجهة برمجة التطبيقات Vertex AI API لهذا المشروع
🛠️ الخيار 2: استخدام Gemini API من خلال Google AI Studio
المتطلبات:
- مفتاح Gemini API
مزيد من المعلومات حول الحصول على مفتاح Gemini API من Google AI Studio
3- تشغيل دفتر الملاحظات
اختَر الأداة المفضّلة لفتح دفتر الملاحظات:
🧰 الأداة A: فتح ورقة الملاحظات في Colab
🧰 الأداة "ب" - فتح ورقة الملاحظات في Colab Enterprise أو Vertex AI Workbench
💡 قد يكون هذا الخيار مفضّلاً إذا كان لديك مشروع على Google Cloud تم إعداده باستخدام مثيل من Colab Enterprise أو Vertex AI Workbench.
🧰 الأداة C: الحصول على دفتر الملاحظات من GitHub وتشغيله في بيئتك الخاصة
⚠️ عليك الحصول على دفتر الملاحظات من GitHub (أو استنساخ المستودع) وتشغيله في بيئة Jupyter الخاصة بك.
🗺️ جدول محتويات دفتر الملاحظات
لتسهيل التنقّل، احرص على توسيع جدول المحتويات واستخدامه. مثال:
🏁 تشغيل دفتر الملاحظات
أنت جاهز. يمكنك الآن متابعة دفتر الملاحظات وتنفيذه. استمتع بوقتك!...
4. تهانينا!
لقد عالجت هذه المشكلة المعقّدة باستخدام التقنيات التالية:
- إنشاء نماذج أولية باستخدام طلبات مفتوحة لتطوير فهم بديهي لنقاط القوة الطبيعية في Gemini
- مع الأخذ في الاعتبار طريقة عمل النماذج اللغوية الكبيرة
- صياغة طلبات أكثر تحديدًا باستخدام استراتيجية الاستخراج الجدولية
- إنشاء نواتج منظَّمة للوصول إلى رمز برمجي جاهز للنشر
- إضافة تصور البيانات لتسهيل تفسير الردود وإجراء التكرارات بسلاسة
- تعديل المَعلمات التلقائية لتحسين النتائج
- إجراء المزيد من الاختبارات والتكرار وحتى تحسين البيانات المستخرَجة
يجب أن تنطبق هذه المبادئ على العديد من مجالات استخراج البيانات الأخرى وأن تسمح لك بحلّ المشاكل المعقّدة بنفسك.
مزيد من المعلومات
- تشغيل دفاتر ملاحظات Gemini الأخرى من مستودع الذكاء الاصطناعي التوليدي في Google Cloud
- استكشاف حالات استخدام إضافية في معرض الطلبات في Vertex AI
- يمكنك البقاء على اطّلاع على آخر الأخبار من خلال متابعة ملاحظات إصدار Vertex AI.