إنشاء تطبيق محادثات باستخدام Conversational Analytics API لـ Looker وBigQuery

1. قبل البدء

سيرشدك هذا الدرس التطبيقي حول الترميز إلى كيفية استخدام Conversational Analytics API (CA API) مع Looker وBigQuery لإنشاء تطبيق دردشة خاص بك لإجراء طلبات بحث عن البيانات. لتحقيق أقصى استفادة، يجب أن تكون على دراية بخدمات BigQuery وLooker ونماذج اللغات الكبيرة والوكلاء وPython.

ما ستتعلمه

بعد اتّباع هذا الدرس التطبيقي، ستتعرّف على ما يلي:

• كيفية استخدام "تحليلات المحادثات" مع Looker
• كيفية إعداد واستخدام تطبيق البدء السريع في Conversational Analytics Python‏ (وطريقة عمل التطبيق)
• مزايا استخدام Looker في وضع النماذج الدلالية مع "التحليلات الحوارية"

المتطلبات

لإكمال هذا الدرس التطبيقي حول الترميز، ستحتاج إلى:

• مثيل Looker مثبَّت عليه حزمة Looker Block لبيانات الخصائص الديمغرافية في "متجر Play"
• إمكانية وصول واجهة برمجة التطبيقات والمطوّرين إلى نسخة Looker
• بيئة محلية مثبَّت عليها الإصدار 3.11 من Python أو إصدار أحدث وGit وgcloud
• مشروع على السحابة الإلكترونية تمّ إعداد أدوار إدارة الهوية وإمكانية الوصول هذه لحسابك:
• roles/bigquery.dataViewer عارِض بيانات في BigQuery
• roles/bigquery.user مستخدم BigQuery
• roles/looker.instanceUser مستخدم نسخة Looker

2. إنشاء تطبيق محادثات وتجربته باستخدام BigQuery

لنبدأ أولاً بإعداد تطبيق التشغيل السريع لـ Conversational Analytics وتجربته باستخدام BigQuery كمصدر بيانات.

المصادقة على واجهات Cloud API وتفعيلها

1. المصادقة محليًا باستخدام حسابك كمستخدم:

gcloud auth login

2. فعِّل واجهات برمجة التطبيقات لمشروع على السحابة الإلكترونية. يُرجى استبدال YOUR_PROJECT_ID بمعرّف مشروعك على Google Cloud:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. اضبط بيانات الاعتماد التلقائية للتطبيق (ADC) والفوترة:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

إعداد تطبيق Quickstart

4. استنسِخ مستودع quickstart github في بيئتك المحلية. اطّلِع على مثال الأمر التالي أدناه:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. انتقِل إلى الدليل ca-api-quickstarts الذي نسخته:

cd ca-api-quickstarts

6. أنشئ ملف secrets.toml في الدليل .streamlit. يجب أن يكون YOUR_LOOKER_CLIENT_ID وYOUR_LOOKER_CLIENT_SECRET هما معرّف عميل Looker وسر عميل Looker من مثيل Looker. يجب أن يكون محتوى الملف على النحو التالي:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

يمكنك استخدام مثال الأمر التالي لإنشاء الملف. احرص على استبدال القيم برقم تعريف مشروعك ومعرّف العميل وسر العميل:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. ثبِّت متطلبات Python لتطبيق البدء السريع:

pip install -r requirements.txt

8. شغِّل تطبيق البدء السريع:

streamlit run app.py

أنت تستخدم تطبيق Streamlit مخصّصًا، وهو إطار عمل لتطبيقات Python مفتوحة المصدر يتيح لك إنشاء نماذج أولية لتطبيقات البيانات التفاعلية. يمكنك الاطّلاع على مستندات Streamlit لمعرفة المزيد من المعلومات.

9. افتح https://localhost:8501 في المتصفّح الذي تختاره.

تجربة تطبيق البدء السريع

أنت الآن في صفحة الوكلاء في تطبيق Quickstart. ليس لديك أي وكلاء بيانات متاحين.

ما هو وكيل الذكاء الاصطناعي للبيانات؟ وكلاء الذكاء الاصطناعي هم أنظمة برمجية تستخدم الذكاء الاصطناعي لتحقيق الأهداف وإكمال المهام نيابةً عن المستخدمين. وتُظهر هذه الأنظمة قدرات على الاستدلال والتخطيط والتذكّر، كما تتمتّع بمستوى من الاستقلالية لاتخاذ القرارات والتعلّم والتكيّف. في حالة الاستخدام هذه، نستعين بوكلاء الذكاء الاصطناعي لفهم بياناتنا. يتم تحديد سلوك الوكيل من خلال تعليمات النظام المحدّدة له. يمكنك الاطّلاع على المقالة ما هي وكلاء الذكاء الاصطناعي؟ لمزيد من المعلومات.

10. لننشئ الآن وكيل بيانات يتحدث مثل القرصان في نموذج إنشاء وكيل:
11. اضبط حقل الاسم المعروض:

Pirate BQ Agent

2. اضبط حقل تعليمات النظام:

You are a pirate. Answer questions like a pirate

3. اختَر الخيار BigQuery.
4. اضبط حقل المشروع:

bigquery-public-data

5. اضبط حقل مجموعة البيانات:

google_trends

6. اضبط حقل الجدول:

top_rising_terms

11. انقر على إنشاء وكيل.

يستدعي نموذج إنشاء وكيل في تطبيق التشغيل السريع نقطة نهاية create dataAgent في واجهة برمجة التطبيقات CA API من خلال حزمة تطوير البرامج (SDK) الخاصة بلغة Python في gcloud، مع تمرير تعليمات النظام ومصدر البيانات الخاصَّين بالوكيل. يستخدم التطبيق حزمة تطوير البرامج (SDK) الخاصة بلغة Python في gcloud لجميع طلبات البيانات من واجهة برمجة التطبيقات CA.

12. لننتقل الآن إلى صفحة المحادثة من خلال قائمة التنقّل الرئيسية اليمنى. موظّف الدعم الذي أنشأناه حديثًا متاح للدردشة. لنبدأ محادثة بإضافة طلب/رسالة: "مرحبًا، كيف حالك؟"
13. لنتعرّف الآن على بعض المعلومات حول مجموعة البيانات هذه: "ما هي المعلومات التي تتضمّنها مجموعة البيانات هذه؟"

ماذا يحدث عند إرسال طلب (أو رسالة) في المحادثة؟ يرسل التطبيق رسالتك كحمولة إلى نقطة نهاية المحادثة في CA API. تستخدم واجهة برمجة التطبيقات CA وراء الكواليس تعليمات النظام الخاصة بوكيل البيانات والمعلومات من مصدر البيانات كسياق لطلبك، ثم ترسل الطلب والسياق إلى Gemini. بعد ذلك، يعرض CA API ردّ Gemini.

14. اطرح سؤالاً آخر، مثل:
15. "ما هي المواقع الجغرافية في [أدخِل الولاية] التي تتضمّنها مجموعة البيانات؟"
16. "هل يمكنك تزويدي ببيانات آخر أسبوعَين في [المدينة، الولاية؟]"
17. "هل يمكنك إنشاء عرض مرئي؟"

لقد أجريت للتو محادثة متعدّدة الأدوار مع وكيل البيانات وبيانات BigQuery في تطبيق الدردشة الخاص بك.

3- تصميم نماذج لبياناتك واستكشافها في Looker

لننمذج الآن بيانات BigQuery نفسها ونستكشفها في Looker.

طلب البحث عن بيانات التعداد السكاني في BigQuery

ماذا يحدث عند الربط بمجموعة بيانات أكبر ذات صلة؟ سننشئ أولاً وكيلاً جديدًا.

1. انتقِل مرة أخرى إلى نموذج إنشاء وكيل في صفحة الوكلاء.
2. اضبط حقل الاسم المعروض:

BQ Census Agent

2. اضبط حقل تعليمات النظام:

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. اختَر الخيار BigQuery.
4. اضبط حقل المشروع:

bigquery-public-data

5. اضبط حقل مجموعة البيانات:

census_bureau_acs

6. اضبط حقل الجدول:

blockgroup_2018_5yr

2. انقر على إنشاء وكيل.
3. اطرح على الوكيل الذي تم إنشاؤه حديثًا السؤالَين التاليَين:
4. "ما هي البيانات المتوفّرة لديك؟"
5. "هل يمكنك عرض معاينة لبياناتي؟"

عندما تطلب من الوكيل معاينة البيانات، يمكنك ملاحظة أنّ الجدول لا يتضمّن موقعًا جغرافيًا يمكن قراءته، بل يتضمّن معرّفًا جغرافيًا فقط (geo_id).

استخدام Looker لإنشاء نموذج لبيانات التعداد السكاني

سنستخدم الآن نموذج LookML لتحديد بيانات التعداد السكاني في BigQuery. سنحلّ المشاكل التي رأيناها للتو سابقًا.

4. تسجيل الدخول إلى نسخة Looker
5. انتقِل إلى ملفات حزمة بيانات ACS الديمغرافية من خلال الانتقال إلى قائمة التنقّل الرئيسية على اليمين، واختَر تطوير، ثمّ marketplace_acs_census-v2.
6. لنلقِ نظرة على إحدى طرق العرض في Looker. افتح الدليل imported_project والدليل acs_census-v2 والدليل geography.
7. أخيرًا، افتح ملف cbsa.view.
8. في السطر 17، يمكننا أن نرى أنّ LookML ينشئ جدولاً مشتقًا. بعبارة أخرى، ينشئ هذا الرمز جدولاً جديدًا مدمجًا من خلال ضمّ مجموعتَي بيانات عامتَين من BigQuery، إحداهما تتضمّن بيانات التعداد والأخرى تتضمّن بيانات الحدود الجغرافية. تتيح لنا LookML الربط بين مجموعات بيانات متعددة من خلال إنشاء جدول مشتق دائم للاستعلام.

الجدول المشتق الدائم (PDT) هو جدول تنشئه Looker ويتم تخزينه في قاعدة البيانات (في هذه الحالة، BigQuery). وهي طريقة عرض مخزّنة لطلب بحث معقّد. بدلاً من تنفيذ طلب البحث المكلف نفسه في كل مرة يطلب فيها المستخدم تقريرًا، يمكن أن يطلب Looker بشكل أكثر فعالية من جدول البيانات الدائم (PDT) الذي تم حسابه مسبقًا لزيادة الأداء وتقليل وقت طلب البحث.

بالإضافة إلى ذلك، يتم تحديد عملية الربط في رمز قابل للتعديل (LookML) بدلاً من تعليمات النظام، ما يجعل عملية تطوير الوكيل أكثر قابلية للتوسّع. باستخدام LookML، يمكنك تحديد افتراضات وقيود معيّنة حول بياناتك لمساعدة المستخدمين أثناء التحدّث مع بياناتك من خلال وكيل بيانات.

استكشاف بيانات التعداد السكاني المستندة إلى نماذج Looker

لننفّذ استعلامًا سريعًا في "استكشاف" لتوضيح أنّ لدينا مصدر بيانات مركزيًا واحدًا للاستعلام.

9. في قائمة التنقّل الرئيسية اليمنى، انقر على استكشاف، ثمّ على مربّع بيانات التعداد السكاني، ثمّ على الولاية والمقاطعة.
10. اختَر المقياس التعليم > شهادة جامعية لمدة عامين.
11. اختَر السمات التالية:
12. الموقع الجغرافي > مجموعة الحظر
13. الموقع الجغرافي > المحافظة > اسم المحافظة
14. الموقع الجغرافي > الولاية > الولاية
15. نفِّذ طلب البحث (أعلى يسار الصفحة)، وستلاحظ الآن أنّ أرقام تعريف المناطق الجغرافية هذه (المعروفة باسم "مجموعة المباني") مرتبطة الآن بسلاسل يمكن قراءتها.
16. افتح علامة تبويب التصور وستظهر لك هذه البيانات في خريطة.

4. تجربة تطبيق محادثات مع Looker

لننشئ الآن وكيل بيانات لـ Looker.

1. انتقِل إلى نموذج إنشاء وكيل في صفحة الوكيل لتطبيق التشغيل السريع:
2. اضبط حقل الاسم المعروض:

Cartoon character data analyst

2. اضبط حقل تعليمات النظام:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. انقر على Looker.
4. اضبط حقل عنوان URL على عنوان URL لنسخة Looker: "https://...".
5. اضبط حقل النموذج:

data_block_acs_bigquery

6. اضبط حقل الاستكشاف:

cbsa

7. انقر على إنشاء وكيل.
8. انتقِل إلى صفحة المحادثة واختَر الوكيل الذي تم إنشاؤه حديثًا.
9. لنبدأ محادثة بإضافة طلب/رسالة: "مرحبًا، كيف حالك؟"
10. لنطلب من الوكيل وصف مجموعة البيانات: "ما هي البيانات المتوفّرة لديك؟"
11. لنطرح بعض الأسئلة الأخرى:
12. "ما هي المقاطعة في نيويورك التي تضمّ أكبر عدد من السكان؟"
13. "ماذا عن أعلى نسبة من خرّيجي المدارس الثانوية للفرد؟"
14. "هل يمكنك تزويدي بعدد السكان حسب الجنس والولاية؟"
15. "أريد الاطّلاع على رسم بياني شريطي لأكثر 10 ولايات من حيث عدد السكان".

هل ترى هذا الرسم البياني الشريطي في محادثتك؟ أرسلت واجهة برمجة التطبيقات CA API رسالة إلى التطبيق تتضمّن مواصفات مخطط vega. يحتوي مواصفات الرسم البياني فيغا على بيانات العرض المرئي وإعداداته، مثل الألوان والمحور ونوع الرسم البياني وما إلى ذلك. وباستخدام المواصفات، يعرض تطبيق Streamlit الرسم البياني كرسومات بيانية تفاعلية فيغا لتتمكّن من عرضها والتفاعل معها. تتيح لك واجهة برمجة التطبيقات CA API ليس فقط طلب البحث عن بياناتك، بل أيضًا عرضها بشكل مرئي باستخدام وكلاء البيانات، وذلك من خلال إنشاء إعدادات عرض مرئي عادية لتسهيل عملية العرض.

5- ما هي المهام الأخرى التي يمكن لتطبيق Quickstart تنفيذها؟

يمكنك الآن:

• إعداد تطبيق المحادثة على الجهاز
• إنشاء وكيل بيانات BigQuery ووكيل بيانات Looker
• إجراء محادثات مع وكلاء البيانات
• التعرّف على مزايا نمذجة المعاني في Looker كسياق لمحادثاتك

لنجرِّب إمكانات تطبيق البدء السريع الأخرى:

1. أعِد تحميل صفحة الويب الخاصة بتطبيق التشغيل السريع وانتقِل إلى صفحة المحادثة.
2. يمكنك الاطّلاع على محادثاتك السابقة مع جميع الرسائل ذات الصلة من وكيلَي BigQuery وLooker. لا يخزّن الواجهة الأمامية للتطبيق المحادثات أو الرسائل السابقة، بل يسترجعها من واجهة برمجة التطبيقات CA.

توفّر واجهة برمجة التطبيقات CA نقاط نهاية لجميع المحادثات السابقة ورسائلها. يجلب التطبيق المحادثات السابقة من نقطة نهاية "قائمة المحادثات" في واجهة برمجة التطبيقات CA. يجلب التطبيق بعد ذلك جميع الرسائل السابقة للمحادثة من نقطة نهاية الرسائل في القائمة. عند إرسال رسالة إلى محادثة، يمكن لواجهة برمجة تطبيقات "المحادثات الآلية" ربط الرسائل بمحادثة لتضمين جميع الرسائل السابقة في المحادثة كسياق لإجراء محادثة متعددة الأدوار أكثر فائدة.

3. انتقِل الآن إلى صفحة البرامج الوكيلة واختَر برنامج Looker الوكيل من القائمة.
4. يمكنك تعديل إعدادات الوكيل أو حذفه إذا أردت ذلك. لا يتم تخزين أي وكلاء في الواجهة الأمامية للتطبيق.

يطلب التطبيق نقاط النهاية التي توفّرها واجهات برمجة التطبيقات الخاصة بـ "هيئة إصدار الشهادات" من أجل إدراج وإنشاء وتعديل وحذف الوكلاء. يستفيد التطبيق من إمكانية واجهات برمجة التطبيقات الخاصة بـ "هيئة إصدار الشهادات" في تخزين وإدارة وكلائها. توفّر واجهة برمجة التطبيقات CA API أيضًا عمليات أخرى على البرامج الآلية.

6. تحديات اختيارية واستكشاف المزيد

يمكنك الاستفادة من هذه الفرصة للتعرّف على "إحصاءات المحادثات" وتطبيق التشغيل السريع، أو يمكنك تحدّي نفسك لتعديل تطبيق التشغيل السريع. يمكنك تجربة بعض الاقتراحات والتحديات التالية أو الانتقال إلى القسم الأخير.

التعرّف أكثر على واجهة برمجة التطبيقات CA وتطبيق التشغيل السريع

• مزيد من المعلومات حول تعليمات النظام التفصيلية للتحكّم في سلوك الوكيل
• إعداد وكيل بيانات آخر يشير إلى مجموعة بيانات جديدة في BigQuery
• ثبِّت حزمة Looker جديدة في مثيل Looker، وأنشئ وكيلاً، ووجِّهه إلى مجموعة بيانات Looker جديدة.

تحديات تعديل تطبيق Quickstart

• هل أنت على دراية بميزة تضمين Looker؟ إذا كان الأمر كذلك، جرِّب تضمين لوحة بيانات Looker داخل تطبيق التشغيل السريع. ننصحك باستخدام مكوّن iframe في Streamlit.
• ابحث عن مجموعة بيانات عامة تحتوي على عناوين URL للفيديوهات، وعدِّل منطق عرض المحادثة في التطبيق لعرض فيديو في المحادثة.

7. الخاتمة والنقاط الرئيسية

لقد وصلت إلى النهاية! لقد أنشأت تطبيق دردشة، وأنشأت وكلاء بيانات، وتحدّثت مع بياناتك باستخدام Conversational Analytics API. لنراجع بعض الإمكانات والمفاهيم الأساسية.

إمكانات "تحليلات المحادثات"

لقد تناولنا الكثير من إمكانات "الإحصاءات الحوارية"، مثل القدرة على:

• إنشاء وكلاء البيانات وتعديلهم وإدراجهم والحصول عليهم وحذفهم
• توجيه وكلاء البيانات إلى BigQuery أو Looker كمصدر بيانات
• إنشاء المحادثات وإدراجها والحصول عليها وعلى الرسائل الخاصة بها
• إنشاء مواصفات رسومات بيانية بتنسيق Vega لعرض مرئي غامر في المحادثات
• استخدام الرسائل السابقة في محادثة كسياق مفيد للرسائل المستقبلية

مزايا استخدام Looker مع CA API

توفّر Looker نمذجة دلالية مركزية وقابلة للاختبار ويمكن التحكّم فيها لبياناتك. بالإضافة إلى "الإحصاءات الحوارية"، يوفّر Looker طريقة قابلة للتوسّع لتوفير سياق لوكلاء البيانات.

الخطوات التالية

• يمكنك الاطّلاع على مستندات Conversational Analytics للحصول على المزيد من الأدلة والميزات وحالات الاستخدام.
• يمكنك البقاء على اطّلاع دائم على مستودع تطبيقات البدء السريع والمساهمة فيه.