איך יוצרים אפליקציית צ'אט באמצעות Conversational Analytics API ל-Looker ול-BigQuery

1. לפני שמתחילים

ב-codelab הזה נסביר איך להשתמש ב-Conversational Analytics API ‏ (CA API) עם Looker ו-BigQuery כדי ליצור אפליקציית צ'אט משלכם להרצת שאילתות על נתונים. כדי להפיק את הערך המרבי, מומלץ להכיר את BigQuery, ‏ Looker, ‏ LLM וסוכנים, ו-Python.

מה תלמדו

אחרי שתעברו על ה-Codelab הזה, תלמדו:

• איך משתמשים בניתוח נתוני השיחות עם Looker
• איך מגדירים ומשתמשים באפליקציית Python של Conversational Analytics Streamlit Quickstart (והסבר על אופן הפעולה של האפליקציה)
• היתרונות של שימוש ב-Looker לבניית מודלים סמנטיים עם ניתוח נתונים שיחתי

מה תצטרכו

כדי להשלים את ה-codelab הזה, תצטרכו:

• מכונת Looker עם בלוק Lookר של נתונים דמוגרפיים של ASC מותקן
• גישה לממשקי API ולמפתחים במופע Looker
• סביבה מקומית עם Python בגרסה 3.11 ומעלה, Git ו-gcloud מותקנים.
• פרויקט בענן עם התפקידים הבאים ב-IAM שמוגדרים בחשבון המשתמש:
• roles/bigquery.dataViewer צפייה בנתוני BigQuery
• roles/bigquery.user BigQuery User
• roles/looker.instanceUser משתמש במופע Looker

2. פיתוח אפליקציית צ'אט והתנסות בה באמצעות BigQuery

קודם נגדיר את אפליקציית ההפעלה המהירה של Conversational Analytics וננסה אותה עם BigQuery כמקור נתונים.

אימות והפעלה של Cloud APIs

1. אימות מקומי באמצעות חשבון המשתמש:

gcloud auth login

2. מפעילים ממשקי API של פרויקט בענן. צריך להחליף את YOUR_PROJECT_ID במזהה הפרויקט ב-Google Cloud:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. מגדירים Application Default Credentials‏ (ADC) וחיוב:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

הגדרת האפליקציה למתחילים

4. משכפלים את מאגר ה-GitHub של המדריך למתחילים לסביבה המקומית. דוגמה לפקודה:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. מנווטים לספרייה ca-api-quickstarts ששיבטתם:

cd ca-api-quickstarts

6. יוצרים קובץ secrets.toml בספרייה .streamlit. ‫YOUR_LOOKER_CLIENT_ID ו-YOUR_LOOKER_CLIENT_SECRET צריכים להיות מזהה הלקוח וסוד הלקוח של Looker ממופע Looker שלכם. תוכן הקובץ צריך להיות כזה:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

כדי ליצור את הקובץ, אפשר להשתמש בפקודת הדוגמה הבאה. חשוב להחליף את הערכים במזהה הפרויקט, במזהה הלקוח ובסוד הלקוח:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. מתקינים את דרישות Python של אפליקציית המדריך למתחילים:

pip install -r requirements.txt

8. מריצים את האפליקציה למתחילים:

streamlit run app.py

אתם מריצים אפליקציית Streamlit בהתאמה אישית, שהיא מסגרת אפליקציות Python בקוד פתוח שמאפשרת ליצור אב טיפוס של אפליקציות אינטראקטיביות לנתונים. מידע נוסף זמין במאמרי העזרה של Streamlit.

9. פותחים את https://localhost:8501 בדפדפן הרצוי.

התנסות באפליקציה למתחילים

עכשיו אתם נמצאים בדף הסוכנים של אפליקציית ההפעלה המהירה. אין סוכני נתונים זמינים.

מהו סוכן AI לנתונים? סוכני AI הם מערכות תוכנה שמשתמשות ב-AI כדי להשיג מטרות ולהשלים משימות בשם המשתמשים. הם מציגים חשיבה רציונלית, תכנון וזיכרון, ויש להם רמה מסוימת של אוטונומיה לקבלת החלטות, למידה והתאמה. בתרחיש השימוש שלנו, אנחנו משתמשים בסוכני AI כדי להבין את הנתונים שלנו. ההתנהגות של סוכן נקבעת לפי הוראות המערכת שהוגדרו עבורו. מידע נוסף זמין במאמר מהם סוכני AI?.

10. עכשיו ניצור סוכן נתונים שמדבר כמו פיראט בטופס יצירת סוכן:
11. מגדירים את השדה שם מוצג:

Pirate BQ Agent

2. מגדירים את השדה הוראות למערכת:

You are a pirate. Answer questions like a pirate

3. בוחרים באפשרות BigQuery.
4. מגדירים את השדה Project:

bigquery-public-data

5. מגדירים את השדה Dataset (מערך נתונים):

google_trends

6. מגדירים את השדה Table (טבלה):

top_rising_terms

11. בוחרים באפשרות יצירת סוכן.

הטופס Create Agent באפליקציית מדריך למתחילים קורא ל-create dataAgent endpoint של CA API דרך Python SDK של gcloud, ומעביר את הוראות המערכת ומקור הנתונים של הסוכן. האפליקציה משתמשת ב-Python SDK של gcloud לכל הקריאות ל-CA API.

12. עכשיו נעבור לדף הצ'אט דרך תפריט הניווט הראשי שמימין. הנציג/ה החדש/ה שלנו זמין/ה לצ'אט. כדי להתחיל שיחה, מוסיפים הצעה לפעולה או הודעה: "שלום, מה שלומך?"
13. עכשיו נלמד קצת על מערך הנתונים הזה: "What's this dataset about?"

מה קורה כששולחים הנחיה (או הודעה) בצ'אט? האפליקציה שולחת את ההודעה שלכם כמטען ייעודי (payload) לנקודת הקצה של הצ'אט ב-CA API. מאחורי הקלעים, ה-CA API משתמש בהוראות המערכת של סוכן הנתונים ובמידע ממקור הנתונים כהקשר להנחיה שלכם, ושולח את ההנחיה וההקשר ל-Gemini. לאחר מכן, Gemini API של CA מעביר את התשובה של Gemini בחזרה בסטרימינג.

14. לשאול שאלה אחרת – למשל:
15. ‫"What [Enter State] locations are in the dataset?‎" ‏(אילו מיקומים ב[מדינה] נמצאים במערך הנתונים?)
16. "אפשר לקבל את הנתונים מ[שם העיר, שם המדינה] בשבועיים האחרונים?"
17. "תצור תרשים?"

ניהלתם שיחה מרובת תפניות עם סוכן הנתונים ועם נתוני BigQuery באפליקציית הצ'אט שלכם.

3. מודלים וסקירה של הנתונים ב-Looker

עכשיו נבנה מודל של אותם נתונים מ-BigQuery ונבדוק אותם ב-Looker.

הרצת שאילתות על נתוני מפקד האוכלוסין ב-BigQuery

מה קורה כשמתחברים למערך נתונים רלציוני גדול יותר? קודם ניצור סוכן חדש.

1. חוזרים לטופס יצירת סוכן בדף הסוכנים.
2. מגדירים את השדה שם מוצג:

BQ Census Agent

2. מגדירים את השדה הוראות למערכת:

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. בוחרים באפשרות BigQuery.
4. מגדירים את השדה Project:

bigquery-public-data

5. מגדירים את השדה Dataset (מערך נתונים):

census_bureau_acs

6. מגדירים את השדה Table (טבלה):

blockgroup_2018_5yr

2. בוחרים באפשרות יצירת סוכן.
3. שואלים את הסוכן החדש שתי שאלות:
4. "What data do you have?‎"
5. ‫"Can you show me a preview of my data"?

כשמבקשים מהסוכן תצוגה מקדימה של הנתונים, אפשר לראות שלטבלה לא משויך מיקום שניתן לקריאה על ידי אדם, אלא רק מזהה גיאוגרפי (geo_id).

שימוש ב-Looker כדי ליצור מודל של נתוני המפקד

עכשיו נשתמש במודל LookML כדי להגדיר את נתוני מפקד האוכלוסין ב-BigQuery. נפתור את הבעיות שראינו קודם.

4. כניסה לחשבון במכונה של Looker
5. כדי לעבור לקבצים של בלוק נתוני הדמוגרפיה של ACS, עוברים לתפריט הניווט הראשי בצד ימין, בוחרים באפשרות Develop ואז בוחרים באפשרות marketplace_acs_census-v2.
6. בואו נסתכל על תצוגה ב-Looker. פותחים את הספרייה imported_project, את הספרייה acs_census-v2 ואת הספרייה geography.
7. לבסוף, פותחים את הקובץ cbsa.view.
8. בשורה 17, אפשר לראות שקוד ה-LookML יוצר טבלה נגזרת. במילים אחרות, הקוד הזה יוצר טבלה חדשה משולבת על ידי צירוף של שני מערכי נתונים ציבוריים ב-BigQuery, אחד עם נתוני מפקד האוכלוסין ואחד עם נתוני גבולות גיאוגרפיים. ‫LookML מאפשרת לנו לבצע הצטרפות למספר מערכי נתונים על ידי יצירת טבלה נגזרת מתמשכת לביצוע שאילתות.

טבלה נגזרת מתמשכת (PDT) היא טבלה שנוצרת על ידי Looker ומאוחסנת במסד הנתונים (במקרה הזה, BigQuery). זו תצוגה מהותית של שאילתה מורכבת. במקום להריץ את אותה שאילתה יקרה בכל פעם שמשתמש מבקש דוח, Looker יכולה לבצע שאילתה בצורה יעילה יותר ב-PDT שחושב מראש כדי לשפר את הביצועים ולקצר את זמן השאילתה.

בנוסף, ההצטרפות מוגדרת בקוד שאפשר ליצור לו גרסאות (LookML) במקום בהוראות מערכת, כך שפיתוח הסוכנים ניתן להרחבה. באמצעות LookML, אתם יכולים להגדיר הנחות ומגבלות ספציפיות לגבי הנתונים שלכם כדי לתמוך במשתמשים בזמן שהם מנהלים שיחה עם הנתונים באמצעות סוכן נתונים.

עיון בנתוני מפקד האוכלוסין לפי מודל ב-Looker

נריץ שאילתה מהירה ב'ניתוח' כדי להראות שיש לנו מקור נתונים מרכזי אחד שאפשר להריץ עליו שאילתות.

9. בתפריט הניווט הראשי שמימין, בוחרים באפשרות ניתוח נתונים, ואז בבלוק נתוני מפקד האוכלוסין ואז במדינה ומחוז.
10. בוחרים במדד Education (השכלה) > Associates Degree (תואר חבר).
11. בוחרים את המאפיינים הבאים:
12. מיקום גיאוגרפי > חסימת קבוצה
13. מיקום גיאוגרפי > מחוז > שם המחוז
14. מיקום גיאוגרפי > מדינה > מדינה.
15. מריצים את השאילתה (בפינה השמאלית העליונה) ועכשיו אפשר לראות שמזהי המיקום הגיאוגרפי האלה (שנקראים 'קבוצת בלוקים') משויכים למחרוזות שניתנות לקריאה על ידי בני אדם.
16. פותחים את כרטיסיית ההמחשה ורואים את הנתונים במפה.

4. התנסות באפליקציית הצ'אט עם Looker

עכשיו ניצור סוכן נתונים ל-Looker.

1. עוברים לטופס יצירת סוכן בדף הסוכן של האפליקציה למדריך למתחילים:
2. מגדירים את השדה שם מוצג:

Cartoon character data analyst

2. מגדירים את השדה הוראות למערכת:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. בוחרים באפשרות Looker.
4. מגדירים את השדה Url לכתובת ה-URL של מופע Looker: "https://..."
5. מגדירים את השדה Model (מודל):

data_block_acs_bigquery

6. מגדירים את השדה ניתוח:

cbsa

7. בוחרים באפשרות יצירת סוכן.
8. עוברים לדף הצ'אט ובוחרים את הסוכן החדש שנוצר.
9. כדי להתחיל שיחה, מוסיפים הצעה לפעולה או הודעה: "שלום, מה שלומך?"
10. נבקש מהסוכן לתאר את מערך הנתונים: "What data do you have available?" (אילו נתונים זמינים לך?).
11. אשאל אותך עוד כמה שאלות:
12. "באיזה מחוז בניו יורק יש את האוכלוסייה הכי גדולה?"
13. "What about the most graduates from high school per capita?"
14. "אפשר לקבל את נתוני האוכלוסייה לפי מגדר ומדינה?"
15. "אני רוצה לראות תרשים עמודות של 10 המדינות עם האוכלוסייה הגדולה ביותר".

רואה את ההמחשה באמצעות תרשים העמודות בשיחה? ה-API של CA שלח הודעה לאפליקציה עם מפרט של תרשים וגה. מפרט תרשים ה-Vega מכיל את הנתונים וההגדרות של הוויזואליזציה, כמו צבעים, ציר, סוג התרשים וכו'. באמצעות המפרט, אפליקציית Streamlit מעבדת את הנתונים כתרשים Vega אינטראקטיבי שתוכלו לצפות בו ולבצע בו פעולות. ממשק ה-API של CA מאפשר לכם לא רק לשלוח שאילתות אלא גם להציג את הנתונים שלכם באמצעות סוכני נתונים, על ידי יצירת הגדרות סטנדרטיות של ויזואליזציה להצגה קלה.

5. מה עוד אפשר לעשות עם האפליקציה למתחילים?

עכשיו יש לכם:

• הגדרת אפליקציית הצ'אט באופן מקומי
• יצירת סוכן נתונים של BigQuery וסוכן נתונים של Looker
• לנהל שיחות עם סוכני הנתונים
• הסבר על היתרונות של מודלים סמנטיים ב-Looker כהקשר לשיחות

ננסה את היכולות האחרות של אפליקציית ההפעלה המהירה:

1. טוענים מחדש את דף האינטרנט של אפליקציית ההפעלה המהירה ועוברים לדף הצ'אט.
2. אתם יכולים לראות את השיחות הקודמות עם כל ההודעות הרלוונטיות מהסוכנים של BigQuery ו-Looker. הקצה הקדמי של האפליקציה לא שומר את השיחות או ההודעות הקודמות, אלא מאחזר אותן מ-CA API.

ממשק ה-API של CA מספק נקודות קצה לכל השיחות הקודמות וההודעות שלהן. האפליקציה מאחזרת שיחות קודמות מנקודת הקצה של רשימת השיחות ב-CA API. האפליקציה מאחזרת את כל ההודעות הקודמות בשיחה מנקודת הקצה list messages. כששולחים הודעה לשיחה, ה-API של CA יכול לשייך את ההודעות לשיחה כדי לכלול את כל ההודעות הקודמות בשיחה כהקשר לשיחה רב-שלבית מועילה יותר.

3. עכשיו עוברים לדף הסוכנים ובוחרים את סוכן Looker מהרשימה.
4. אם רוצים, אפשר לעדכן את ההגדרות של הנציג או למחוק אותו. אף נציג לא מאוחסן בחלק הקדמי של האפליקציה.

האפליקציה קוראת לנקודות הקצה שסופקו על ידי CA API כדי לרשום, ליצור, לעדכן ולמחוק סוכנים. האפליקציה משתמשת ביכולת של CA API לאחסן ולנהל את הסוכנים שלה. ממשק ה-API של CA מספק גם פעולות אחרות בסוכנים.

6. אתגרים אופציונליים וחקירה נוספת

אם רוצים, אפשר לנצל את ההזדמנות הזו כדי להכיר את ניתוח השיחות ואת אפליקציית ההפעלה המהירה, או לנסות לשנות את אפליקציית ההפעלה המהירה. אפשר לנסות את ההצעות והאתגרים הבאים או לדלג לקטע האחרון.

מידע נוסף על CA API ואפליקציית ההפעלה המהירה

• הוראות מפורטות למערכת לשליטה בהתנהגות של הסוכן
• מגדירים סוכן נתונים נוסף שמפנה למערך נתונים חדש ב-BigQuery.
• מתקינים בלוק חדש של Looker במופע Looker, יוצרים סוכן ומפנים אותו למערך נתונים חדש של Looker.

אתגרים בשינוי אפליקציות למתחילים

• האם יש לך ניסיון בהטמעה של Looker? אם כן, נסו להטמיע לוח בקרה של Looker באפליקציית ההפעלה המהירה. אפשר להשתמש ברכיב ה-iframe של Streamlit.
• מוצאים מערך נתונים ציבורי שכולל כתובות URL של סרטונים, ומעדכנים את לוגיקת העיבוד של הצ'אט באפליקציה כדי להציג סרטון בצ'אט.

7. סיכום ומסקנות

הגעת לסוף! יצרתם אפליקציית צ'אט, יצרתם סוכני נתונים וניהלתם צ'אט עם הנתונים שלכם – והכול באמצעות Conversational Analytics API. נתחיל בסקירת כמה יכולות ומושגים חשובים.

היכולות של ניתוח נתוני השיחות

הסברנו על הרבה מהיכולות של ניתוח נתונים שיחתי, כמו היכולת:

• יצירה, עדכון, הצגה ברשימה, קבלה ומחיקה של סוכני נתונים.
• מפנים את סוכני הנתונים אל BigQuery או אל Looker כמקור נתונים.
• יצירה, הצגה וקבלת שיחות וההודעות שמשויכות להן.
• יצירת מפרטים של תרשימי Vega להמחשה סוחפת בשיחות.
• שימוש בהודעות קודמות בשיחה כהקשר שימושי להודעות עתידיות.

היתרונות של שימוש ב-Looker עם CA API

‫Looker מספקת מודלים סמנטיים מרכזיים, ניתנים לבדיקה וניתנים לניהול של הנתונים שלכם. בשילוב עם ניתוח שיחות, Looker מספק דרך ניתנת להרחבה לספק הקשר לסוכני הנתונים שלכם.

השלבים הבאים

• במאמרי העזרה בנושא ניתוח נתונים בשיחה מפורטים מדריכים נוספים, תכונות ותרחישי שימוש.
• כדאי להתעדכן במאגר האפליקציות למתחילים ולתרום לו.