ساخت یک برنامه چت با استفاده از Conversational Analytics و Looker

۱. قبل از شروع

این آزمایشگاه کد شما را در استفاده از API تحلیل مکالمه‌ای (CA API) با Looker راهنمایی می‌کند تا بتوانید برنامه چت خود را برای جستجوی داده‌ها بسازید. برای به دست آوردن بیشترین ارزش، باید با BigQuery، Looker، LLMها و agentها و پایتون آشنا باشید.

آنچه یاد خواهید گرفت

بعد از دنبال کردن این مجموعه کد، شما موارد زیر را یاد خواهید گرفت:

• نحوه استفاده از تحلیل مکالمه‌ای با Looker
• نحوه راه‌اندازی و استفاده از برنامه شروع سریع پایتون Conversational Analytics (و نحوه عملکرد برنامه)
• مزایای استفاده از Looker برای مدل‌سازی معنایی با استفاده از Conversational Analytics

آنچه نیاز دارید

برای تکمیل این آزمایشگاه کد، به موارد زیر نیاز دارید:

• یک نمونه Looker با بلوک Looker داده‌های جمعیتی ASC نصب شده
• دسترسی API و توسعه‌دهنده به نمونه Looker شما
• یک محیط محلی با پایتون نسخه ۳.۱۱+، گیت و جی‌کلاود نصب شده.
• یک پروژه ابری با این نقش‌های IAM که برای حساب کاربری شما تنظیم شده‌اند:
• roles/bigquery.dataViewer نمایشگر داده‌های BigQuery
• roles/bigquery.user کاربر BigQuery
• roles/looker.instanceUser کاربر نمونه‌ی Looker

۲. برنامه چت خود را با BigQuery بسازید و امتحان کنید

بیایید ابتدا برنامه شروع سریع Conversational Analytics را با BigQuery به عنوان منبع داده راه‌اندازی و امتحان کنیم.

احراز هویت و فعال‌سازی APIهای ابری

1. با حساب کاربری خود به صورت محلی احراز هویت کنید:

gcloud auth login

2. فعال کردن APIهای پروژه ابری. لطفاً YOUR_PROJECT_ID را با شناسه پروژه گوگل ابری خود جایگزین کنید:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. تنظیم اعتبارنامه‌های پیش‌فرض برنامه (ADC) و صورتحساب:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

برنامه شروع سریع را تنظیم کنید

4. مخزن گیت‌هاب Quickstart را در محیط محلی خود کلون کنید. به مثال زیر توجه کنید:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. به دایرکتوری ca-api-quickstarts که کلون کرده‌اید بروید:

cd ca-api-quickstarts

6. یک فایل secrets.toml در پوشه .streamlit ایجاد کنید. YOUR_LOOKER_CLIENT_ID و YOUR_LOOKER_CLIENT_SECRET باید شناسه کلاینت Looker شما و رمز کلاینت Looker از نمونه Looker شما باشند. محتوای فایل باید به شرح زیر باشد:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

می‌توانید از دستور مثال زیر برای ایجاد فایل استفاده کنید. مطمئن شوید که مقادیر را با شناسه پروژه، شناسه کلاینت و رمز کلاینت خود جایگزین می‌کنید:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. پیش‌نیازهای پایتون برنامه‌ی شروع سریع را نصب کنید:

pip install -r requirements.txt

8. برنامه شروع سریع را اجرا کنید:

streamlit run app.py

شما در حال اجرای یک برنامه‌ی Streamlit سفارشی هستید، یک چارچوب برنامه‌ی پایتون متن‌باز که به شما امکان می‌دهد برنامه‌های داده‌ی تعاملی را به صورت نمونه‌ی اولیه (prototype) اجرا کنید. برای کسب اطلاعات بیشتر ، مستندات Streamlit را بررسی کنید.

9. آدرس https://localhost:8501 را در مرورگر مورد نظر خود باز کنید.

برنامه شروع سریع را امتحان کنید

شما اکنون در صفحه عوامل برنامه شروع سریع هستید. هیچ عامل داده‌ای در دسترس نیست.

عامل هوش مصنوعی داده چیست؟ عامل‌های هوش مصنوعی سیستم‌های نرم‌افزاری هستند که از هوش مصنوعی برای دنبال کردن اهداف و انجام وظایف به نمایندگی از کاربران استفاده می‌کنند. آن‌ها استدلال، برنامه‌ریزی و حافظه را نشان می‌دهند و سطحی از استقلال برای تصمیم‌گیری، یادگیری و سازگاری دارند. در مورد استفاده ما، ما از عامل‌های هوش مصنوعی برای درک داده‌های خود استفاده می‌کنیم. رفتار یک عامل توسط دستورالعمل‌های سیستمی تعریف شده برای آن تعیین می‌شود. برای اطلاعات بیشتر، به «عامل‌های هوش مصنوعی چیستند؟» مراجعه کنید.

10. حالا بیایید یک عامل داده ایجاد کنیم که در فرم Create Agent مانند یک دزد دریایی صحبت کند:
11. فیلد نام نمایشی را تنظیم کنید:

Pirate BQ Agent

2. فیلد دستورالعمل‌های سیستم را تنظیم کنید:

You are a pirate. Answer questions like a pirate

3. گزینه BigQuery را انتخاب کنید.
4. فیلد پروژه را تنظیم کنید:

bigquery-public-data

5. فیلد Dataset را تنظیم کنید:

google_trends

6. فیلد جدول را تنظیم کنید:

top_rising_terms

11. ایجاد عامل را انتخاب کنید.

فرم Create Agent در برنامه‌ی Quickstart، از طریق Python SDK مربوط به gcloud، نقطه‌ی پایانی create dataAgent مربوط به CA API را فراخوانی می‌کند و دستورالعمل‌های سیستمی و منبع داده‌ی agent را ارسال می‌کند. این برنامه از gcloud Python SDK برای تمام فراخوانی‌های CA API استفاده می‌کند.

12. حالا بیایید از طریق منوی اصلی سمت چپ به صفحه چت برویم. عامل تازه ایجاد شده ما برای چت در دسترس است. بیایید با اضافه کردن یک پیام/پیام "سلام، حالتان چطور است؟" چت را شروع کنیم.
13. حالا بیایید کمی در مورد این مجموعه داده یاد بگیریم: «این مجموعه داده در مورد چیست؟»

وقتی یک اعلان (یا پیام) را در چت ارسال می‌کنید چه اتفاقی می‌افتد؟ برنامه پیام شما را به عنوان یک payload به نقطه پایانی چت CA API ارسال می‌کند. CA API در پشت صحنه از دستورالعمل‌های سیستم عامل داده و اطلاعات منبع داده به عنوان زمینه برای اعلان شما استفاده می‌کند و اعلان و زمینه را به Gemini ارسال می‌کند. سپس CA API پاسخ Gemini را به صورت استریم برمی‌گرداند.

14. یک سوال دیگر بپرسید - چیزی شبیه به این:
15. «کدام مکان‌ها [نام ایالت] در مجموعه داده‌ها وجود دارند؟»
16. «می‌توانید داده‌های دو هفته گذشته برای [شهر، ایالت] را به من بدهید؟»
17. «می‌توانی یک تصویرسازی ذهنی ایجاد کنی؟»

شما همین الان یک مکالمه چند مرحله‌ای با عامل داده و داده‌های BigQuery خود در برنامه چت خودتان داشتید.

۳. داده‌ها را در Looker مدل‌سازی و کاوش کنید

حالا بیایید همان داده‌های BigQuery را در Looker مدل‌سازی و بررسی کنیم.

جستجوی داده‌های سرشماری BigQuery

وقتی به یک مجموعه داده رابطه‌ای بزرگتر متصل می‌شویم چه اتفاقی می‌افتد؟ ابتدا یک عامل جدید ایجاد می‌کنیم.

1. به فرم ایجاد نماینده در صفحه نمایندگان برگردید.
2. فیلد نام نمایشی را تنظیم کنید:

BQ Census Agent

2. فیلد دستورالعمل‌های سیستم را تنظیم کنید:

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. گزینه BigQuery را انتخاب کنید.
4. فیلد پروژه را تنظیم کنید:

bigquery-public-data

5. فیلد Dataset را تنظیم کنید:

census_bureau_acs

6. فیلد جدول را تنظیم کنید:

blockgroup_2018_5yr

2. ایجاد عامل را انتخاب کنید.
3. از عامل تازه ایجاد شده هر دو سوال زیر را بپرسید:
4. «چه داده‌هایی دارید؟»
5. «می‌توانید پیش‌نمایشی از داده‌های من را به من نشان دهید»؟

وقتی از اپراتور پیش‌نمایشی از داده‌ها را می‌خواهید، می‌توانید ببینید که جدول هیچ موقعیت مکانی قابل خواندن توسط انسان ندارد و فقط یک شناسه جغرافیایی (geo_id) دارد.

استفاده از Looker برای مدل‌سازی داده‌های سرشماری

حالا می‌خواهیم از یک مدل LookML برای تعریف داده‌های سرشماری BigQuery استفاده کنیم. ما مشکلاتی را که قبلاً دیدیم حل خواهیم کرد.

4. به نمونه Looker خود وارد شوید
5. با رفتن به منوی ناوبری اصلی سمت چپ، انتخاب گزینه Develop و سپس انتخاب marketplace_acs_census-v2 ، به فایل‌های بلوک داده‌های جمعیتی ACS خود بروید.
6. بیایید نگاهی به نمای Looker بیندازیم. پوشه‌های imported_project ، acs_census-v2 و geography را باز کنید.
7. در نهایت، فایل cbsa.view را باز کنید.
8. در خط ۱۷، می‌توانیم ببینیم که LookML در حال ایجاد یک جدول مشتق شده است. به عبارت دیگر، این کد با اتصال دو مجموعه داده عمومی BigQuery، یکی با داده‌های سرشماری و دیگری با داده‌های مرز جغرافیایی، یک جدول ترکیبی جدید ایجاد می‌کند. LookML به ما این امکان را می‌دهد که با ایجاد یک جدول مشتق شده پایدار برای پرس و جو، چندین مجموعه داده را به هم متصل کنیم.

یک جدول مشتق‌شده‌ی پایدار یا PDT، جدولی است که توسط Looker ایجاد شده و در پایگاه داده شما (در این مورد، BigQuery) ذخیره می‌شود. این یک نمای مادی از یک پرس‌وجوی پیچیده است. Looker به جای اجرای یک پرس‌وجوی پرهزینه هر بار که کاربر درخواست گزارش می‌کند، می‌تواند PDT از پیش محاسبه‌شده را به طور مؤثرتری پرس‌وجو کند تا عملکرد را افزایش و زمان پرس‌وجو را کاهش دهد.

علاوه بر این، اتصال به جای دستورالعمل‌های سیستمی، در کد قابل نسخه‌بندی (LookML) تعریف می‌شود که توسعه عامل را مقیاس‌پذیرتر می‌کند. با LookML، می‌توانید فرضیات و محدودیت‌های خاصی را در مورد داده‌های خود تعریف کنید تا از کاربران خود در هنگام چت با داده‌های شما از طریق یک عامل داده پشتیبانی کنید.

داده‌های سرشماری مدل‌سازی‌شده‌ی Looker را بررسی کنید

بیایید یک کوئری سریع در Explore اجرا کنیم تا نشان دهیم که یک منبع داده متمرکز برای کوئری داریم.

9. در منوی ناوبری اصلی سمت چپ، گزینه کاوش (Explore )، سپس بلوک داده‌های سرشماری (Census Data Block)، و در نهایت ایالت و شهرستان (State and County) را انتخاب کنید.
10. گزینه تحصیلات > مدرک کاردانی را انتخاب کنید.
11. ابعاد زیر را انتخاب کنید:
12. جغرافیا > گروه بلوک
13. جغرافیا > شهرستان > نام شهرستان
14. جغرافیا > ایالت > ایالت .
15. کوئری (بالا سمت راست) را اجرا کنید و اکنون خواهید دید که آن شناسه‌های جغرافیایی (به نام "گروه بلوک") اکنون با رشته‌های قابل خواندن توسط انسان مرتبط شده‌اند.
16. برگه تجسم را باز کنید و این داده‌ها را در یک نقشه مشاهده خواهید کرد.

۴. برنامه چت Looker را امتحان کنید

حالا بیایید یک عامل داده برای Looker ایجاد کنیم.

1. به فرم ایجاد نماینده در صفحه نماینده برنامه Quickstart خود بروید:
2. فیلد نام نمایشی را تنظیم کنید:

Cartoon character data analyst

2. فیلد System Instruction را تنظیم کنید:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. گزینه‌ی «نگاه‌کننده» را انتخاب کنید.
4. فیلد آدرس اینترنتی (URL) را روی آدرس اینترنتی (URL) نمونه‌ی مرورگر خود تنظیم کنید: "https://..."
5. فیلد مدل را تنظیم کنید:

data_block_acs_bigquery

6. فیلد کاوش را تنظیم کنید:

cbsa

7. ایجاد عامل را انتخاب کنید.
8. به صفحه چت بروید و نماینده تازه ایجاد شده را انتخاب کنید.
9. بیایید با اضافه کردن یک پیام/سوال چت را شروع کنیم: «سلام، حالتان چطور است؟»
10. بیایید از عامل بخواهیم مجموعه داده‌ها را توصیف کند: «چه داده‌هایی در دسترس دارید؟»
11. بیایید چند سوال دیگر بپرسیم:
12. «کدام شهرستان در نیویورک بیشترین جمعیت را دارد؟»
13. «در مورد بیشترین تعداد فارغ‌التحصیلان دبیرستان به ازای هر نفر چطور؟»
14. «می‌توانید جمعیت را بر اساس جنسیت و ایالت به من بدهید؟»
15. «می‌خواهم نمودار میله‌ای از 10 ایالت پرجمعیت را ببینم؟»

آیا نمودار میله‌ای را در مکالمه خود می‌بینید؟ رابط برنامه‌نویسی کاربردی CA پیامی حاوی مشخصات نمودار وگا به برنامه ارسال کرده است. مشخصات نمودار وگا شامل داده‌ها و پیکربندی‌های مربوط به این نمودار مانند رنگ‌ها، محورها، نوع نمودار و غیره است. با استفاده از این مشخصات، برنامه Streamlit آن را به عنوان یک نمودار وگا تعاملی برای مشاهده و تعامل شما ارائه می‌دهد. رابط برنامه‌نویسی کاربردی CA با ایجاد پیکربندی‌های استاندارد برای تجسم آسان، نه تنها به شما امکان می‌دهد داده‌های خود را با استفاده از عوامل داده پرس‌وجو کنید، بلکه آنها را تجسم نیز نمایید.

۵. برنامه شروع سریع چه کارهای دیگری می‌تواند انجام دهد؟

شما الان:

• برنامه چت را به صورت محلی تنظیم کنید
• یک عامل داده BigQuery و یک عامل داده Looker ایجاد کرد.
• با نمایندگان داده شما گفتگوهایی انجام شد
• با مزایای مدل‌سازی معنایی Looker به عنوان زمینه‌ای برای چت‌هایتان آشنا شدید.

بیایید سایر قابلیت‌های برنامه‌ی شروع سریع (quickstart) را امتحان کنیم:

1. صفحه وب برنامه شروع سریع را مجدداً بارگیری کنید و به صفحه چت بروید.
2. شما می‌توانید مکالمات گذشته خود را به همراه تمام پیام‌های مربوط به آنها از هر دو عامل BigQuery و Looker خود مشاهده کنید. بخش جلویی برنامه، مکالمات یا پیام‌های گذشته را ذخیره نمی‌کند، بلکه آنها را از API CA دریافت می‌کند.

رابط برنامه‌نویسی کاربردی CA، نقاط پایانی برای تمام مکالمات گذشته و پیام‌های آنها فراهم می‌کند. برنامه، مکالمات گذشته را از نقطه پایانی مکالمات فهرست رابط برنامه‌نویسی کاربردی CA دریافت می‌کند. سپس برنامه تمام پیام‌های گذشته مکالمه را از نقطه پایانی پیام‌های فهرست دریافت می‌کند. وقتی پیامی را به یک مکالمه ارسال می‌کنید، رابط برنامه‌نویسی کاربردی CA می‌تواند پیام‌ها را با یک مکالمه مرتبط کند تا تمام پیام‌های گذشته در مکالمه را به عنوان زمینه‌ای برای مکالمه چند نوبتی مفیدتر در نظر بگیرد.

3. اکنون به صفحه نمایندگان بروید و نماینده Looker خود را از لیست انتخاب کنید.
4. در صورت تمایل می‌توانید پیکربندی‌های عامل را به‌روزرسانی کنید یا عامل را حذف کنید. هیچ عاملی در ظاهر برنامه ذخیره نمی‌شود.

این برنامه، نقاط پایانی ارائه شده توسط CA API را برای فهرست کردن ، ایجاد ، به‌روزرسانی و حذف عامل‌ها فراخوانی می‌کند. این برنامه از توانایی CA API برای ذخیره و مدیریت عامل‌های خود استفاده می‌کند. CA API همچنین عملیات دیگری را نیز روی عامل‌ها ارائه می‌دهد!

۶. چالش‌های اختیاری و کاوش بیشتر

اگر مایل باشید، می‌توانید از این فرصت برای آشنایی با Conversational Analytics و برنامه‌ی Quickstart استفاده کنید. یا برای خودتان چالشی ایجاد کنید تا برنامه‌ی Quickstart را تغییر دهید. می‌توانید برخی از پیشنهادات و چالش‌های زیر را امتحان کنید یا به بخش پایانی بروید.

با رابط برنامه‌نویسی کاربردی CA و برنامه شروع سریع بیشتر آشنا شوید

• درباره دستورالعمل‌های سیستمی عمیق‌تر برای کنترل رفتار نماینده خود بیشتر بیاموزید.
• یک عامل داده دیگر تنظیم کنید که به یک مجموعه داده جدید BigQuery اشاره کند.
• یک بلوک Looker جدید در نمونه Looker خود نصب کنید، یک عامل ایجاد کنید و آن را به یک مجموعه داده Looker جدید ارجاع دهید.

چالش‌های اصلاح برنامه با شروع سریع

• آیا با جاسازی Looker آشنا هستید؟ اگر چنین است، سعی کنید یک داشبورد Looker را در داخل برنامه Quickstart جاسازی کنید. استفاده از کامپوننت iframe مربوط به Streamlit را در نظر بگیرید.
• یک مجموعه داده عمومی حاوی URL های ویدیو پیدا کنید و منطق رندر چت برنامه را برای نمایش یک ویدیو در چت به‌روزرسانی کنید.

۷. نتیجه‌گیری و نکات کلیدی

شما به پایان رسیدید! شما یک برنامه چت ساختید، عوامل داده ایجاد کردید و با داده‌های خود با استفاده از API تجزیه و تحلیل مکالمه‌ای چت کردید. بیایید برخی از قابلیت‌ها و مفاهیم کلیدی را مرور کنیم!

قابلیت‌های تحلیل مکالمه‌ای

ما بسیاری از قابلیت‌های تحلیل مکالمه‌ای مانند موارد زیر را پوشش داده‌ایم:

• ایجاد، به‌روزرسانی، فهرست‌بندی، دریافت و حذف عامل‌های داده.
• عامل‌های داده را به عنوان منبع داده به BigQuery یا Looker ارجاع دهید.
• مکالمات و پیام‌های مربوط به آنها را ایجاد، فهرست و دریافت کنید.
• مشخصات نمودار وگا را برای تجسم همه‌جانبه در مکالمات تولید کنید.
• از پیام‌های گذشته در یک مکالمه به عنوان زمینه‌ای مفید برای پیام‌های آینده استفاده کنید.

مزایای استفاده از Looker با رابط برنامه‌نویسی کاربردی CA

Looker مدل‌سازی معنایی متمرکز، قابل آزمایش و قابل مدیریت از داده‌های شما را ارائه می‌دهد. Looker در ترکیب با تحلیل مکالمه‌ای، روشی مقیاس‌پذیر برای فراهم کردن زمینه برای عوامل داده شما فراهم می‌کند.

قدم بعدی چیست؟

• برای راهنماها، ویژگی‌ها و موارد استفاده بیشتر ، مستندات Conversational Analytics را بررسی کنید.
• با مخزن برنامه‌های شروع سریع به‌روز باشید و در آن مشارکت کنید.