פיתוח אפליקציית צ'אט באמצעות ניתוח נתוני שיחות ו-Looker

1. לפני שמתחילים

בסדנת התכנות הזו נלמד איך להשתמש ב-Conversational Analytics API ‏ (CA API) עם Looker כדי לבנות אפליקציית צ'אט משלכם לשליחת שאילתות לגבי נתונים. כדי להפיק את הערך המרבי, מומלץ להכיר את BigQuery, ‏ Looker, ‏ LLM וסוכנים, ו-Python.

מה תלמדו

אחרי שתסיימו את ה-Codelab הזה, תדעו:

• איך משתמשים בניתוח נתוני השיחות עם Looker
• איך מגדירים את אפליקציית ההפעלה המהירה של Conversational Analytics Python ומשתמשים בה (והסבר על אופן הפעולה של האפליקציה)
• היתרונות של שימוש ב-Looker ליצירת מודלים סמנטיים באמצעות ניתוח שיחות

מה תצטרכו

כדי להשלים את שיעור ה-Codelab הזה, תצטרכו:

• מכונת Looker עם בלוק Looker של נתונים דמוגרפיים של ASC מותקן
• גישה לממשקי API ולמפתחים במופע Looker
• סביבה מקומית עם Python בגרסה 3.11 ומעלה, Git ו-gcloud מותקנים.
• פרויקט ב-Cloud עם התפקידים הבאים ב-IAM שהוגדרו לחשבון המשתמש שלכם:
• roles/bigquery.dataViewer צפייה בנתוני BigQuery
• roles/bigquery.user משתמש BigQuery
• roles/looker.instanceUser משתמש במופע Looker

2. פיתוח אפליקציית צ'אט והתנסות בה באמצעות BigQuery

קודם נגדיר את אפליקציית ההפעלה המהירה של Conversational Analytics וננסה אותה עם BigQuery כמקור נתונים.

אימות והפעלה של Cloud APIs

1. אימות מקומי באמצעות חשבון המשתמש:

gcloud auth login

2. מפעילים ממשקי API של פרויקט בענן. צריך להחליף את YOUR_PROJECT_ID במזהה הפרויקט ב-Google Cloud:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. מגדירים Application Default Credentials‏ (ADC) וחיוב:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

הגדרת אפליקציית המדריך למתחילים

4. משכפלים את מאגר GitHub למתחילים לסביבה המקומית. דוגמה לפקודה:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. מנווטים לספרייה ca-api-quickstarts ששיבטתם:

cd ca-api-quickstarts

6. יוצרים קובץ secrets.toml בספרייה .streamlit. ‫YOUR_LOOKER_CLIENT_ID ו-YOUR_LOOKER_CLIENT_SECRET צריכים להיות מזהה הלקוח וסוד הלקוח של Looker ממופע Looker שלכם. תוכן הקובץ צריך להיות כזה:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

כדי ליצור את הקובץ, אפשר להשתמש בפקודה לדוגמה הבאה. חשוב להחליף את הערכים במזהה הפרויקט, במזהה הלקוח ובסוד הלקוח:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. מתקינים את דרישות Python של אפליקציית המדריך למתחילים:

pip install -r requirements.txt

8. מריצים את האפליקציה מהמדריך למתחילים:

streamlit run app.py

אתם מריצים אפליקציית Streamlit בהתאמה אישית, שהיא מסגרת אפליקציות Python בקוד פתוח שמאפשרת ליצור אב טיפוס של אפליקציות נתונים אינטראקטיביות. מידע נוסף זמין במאמרי העזרה של Streamlit.

9. פותחים את https://localhost:8501 בדפדפן הרצוי.

התנסות באפליקציה למתחילים

עכשיו אתם נמצאים בדף הסוכנים של אפליקציית ההפעלה המהירה. אין לכם סוכני נתונים זמינים.

מהו נציג תמיכה מבוסס-AI לנתונים? סוכני AI הם מערכות תוכנה שמשתמשות ב-AI כדי להשיג מטרות ולהשלים משימות בשם המשתמשים. הם מציגים נימוקים, תכנון וזיכרון, ויש להם רמה מסוימת של אוטונומיה לקבלת החלטות, ללמידה ולהתאמה. בתרחיש השימוש שלנו, אנחנו משתמשים בסוכני AI כדי להבין את הנתונים שלנו. ההתנהגות של סוכן נקבעת על ידי ההוראות למערכת שהוגדרו עבורו. מידע נוסף זמין במאמר מהם סוכני AI?.

10. עכשיו ניצור סוכן נתונים שמדבר כמו פיראט בטופס Create Agent (יצירת סוכן):
11. מגדירים את השדה שם מוצג:

Pirate BQ Agent

2. מגדירים את השדה הוראות למערכת:

You are a pirate. Answer questions like a pirate

3. בוחרים באפשרות BigQuery.
4. מגדירים את השדה Project (פרויקט):

bigquery-public-data

5. מגדירים את השדה Dataset (מערך נתונים):

google_trends

6. מגדירים את השדה Table (טבלה):

top_rising_terms

11. בוחרים באפשרות יצירת סוכן.

הטופס Create Agent באפליקציית ההפעלה המהירה קורא ל-create dataAgent endpoint של CA API דרך Python SDK של gcloud, ומעביר את הוראות המערכת של הסוכן ואת מקור הנתונים. האפליקציה משתמשת ב-Python SDK של gcloud לכל הקריאות ל-CA API.

12. עכשיו נעבור לדף הצ'אט דרך תפריט הניווט הראשי שמימין. נציג התמיכה החדש שלנו זמין לצ'אט. נתחיל שיחה על ידי הוספת הנחיה או הודעה: "שלום, מה שלומך?"
13. עכשיו נלמד קצת על מערך הנתונים הזה: "What's this dataset about?"

מה קורה כששולחים הנחיה (או הודעה) בצ'אט? האפליקציה שולחת את ההודעה שלכם כמטען ייעודי (payload) לנקודת הקצה של הצ'אט ב-CA API. מאחורי הקלעים, ה-CA API משתמש בהוראות המערכת של סוכן הנתונים ובמידע ממקור הנתונים כהקשר להנחיה שלכם, ושולח את ההנחיה וההקשר ל-Gemini. לאחר מכן, Gemini API של CA מעביר את התשובה של Gemini בסטרימינג.

14. אפשר לשאול שאלה אחרת, למשל:
15. "What [Enter State] locations are in the dataset?" (אילו מיקומים ב[מדינה] נמצאים במערך הנתונים?)
16. "אפשר לקבל את הנתונים מ-2 השבועות האחרונים לגבי [עיר, מדינה?]"
17. "תצור תרשים?"

הרגע ניהלתם שיחה מרובת תפניות עם סוכן הנתונים ועם נתוני BigQuery באפליקציית הצ'אט שלכם.

3. מודלים וסקירה של הנתונים ב-Looker

עכשיו נבנה מודל של אותם נתונים מ-BigQuery ונבדוק אותם ב-Looker.

הרצת שאילתות על נתוני מפקד האוכלוסין ב-BigQuery

מה קורה כשמתחברים למערך נתונים רלציוני גדול יותר? קודם ניצור סוכן חדש.

1. חוזרים לטופס יצירת סוכן בדף הסוכנים.
2. מגדירים את השדה שם מוצג:

BQ Census Agent

2. מגדירים את השדה הוראות למערכת:

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. בוחרים באפשרות BigQuery.
4. מגדירים את השדה Project (פרויקט):

bigquery-public-data

5. מגדירים את השדה Dataset (מערך נתונים):

census_bureau_acs

6. מגדירים את השדה Table (טבלה):

blockgroup_2018_5yr

2. בוחרים באפשרות יצירת סוכן.
3. שואלים את הסוכן החדש את שתי השאלות הבאות:
4. "What data do you have?‎"
5. ‫"Can you show me a preview of my data"?

כשמבקשים מהסוכן תצוגה מקדימה של הנתונים, אפשר לראות שלטבלה לא משויך מיקום שניתן לקריאה על ידי בני אדם, אלא רק מזהה גיאוגרפי (geo_id).

שימוש ב-Looker כדי ליצור מודל של נתוני המפקד

עכשיו נשתמש במודל LookML כדי להגדיר את נתוני מפקד האוכלוסין ב-BigQuery. נפתור את הבעיות שראינו קודם.

4. כניסה לחשבון במכונה
5. כדי לעבור לקבצים של בלוק הנתונים הדמוגרפיים של ACS, עוברים לתפריט הניווט הראשי בצד ימין, בוחרים באפשרות פיתוח ואז בוחרים באפשרות marketplace_acs_census-v2.
6. בואו נסתכל על תצוגה ב-Looker. פותחים את הספרייה imported_project, את הספרייה acs_census-v2 ואת הספרייה geography.
7. לבסוף, פותחים את הקובץ cbsa.view.
8. בשורה 17 אפשר לראות שקוד ה-LookML יוצר טבלה נגזרת. במילים אחרות, הקוד הזה יוצר טבלה חדשה משולבת על ידי צירוף של שני מערכי נתונים ציבוריים ב-BigQuery, אחד עם נתוני מפקד אוכלוסין ואחד עם נתוני גבולות גיאוגרפיים. ‫LookML מאפשרת לנו לבצע הצטרפות למספר מערכי נתונים על ידי יצירת טבלה נגזרת מתמשכת לביצוע שאילתות.

טבלת נתונים נגזרת מתמשכת (PDT) היא טבלה שנוצרת על ידי Looker ומאוחסנת במסד הנתונים (במקרה הזה, BigQuery). זו תצוגה מהותית של שאילתה מורכבת. במקום להריץ את אותה שאילתה יקרה בכל פעם שמשתמש מבקש דוח, Looker יכול להריץ שאילתה בצורה יעילה יותר ב-PDT שחושב מראש כדי לשפר את הביצועים ולקצר את זמן השאילתה.

בנוסף, ההצטרפות מוגדרת בקוד שאפשר ליצור לו גרסאות (LookML) במקום בהוראות מערכת, כך שפיתוח הסוכן ניתן להרחבה. באמצעות LookML, אתם יכולים להגדיר הנחות ומגבלות ספציפיות לגבי הנתונים שלכם כדי לתמוך במשתמשים בזמן שהם מנהלים שיחה עם הנתונים באמצעות סוכן נתונים.

עיון בנתוני מפקד האוכלוסין לפי מודל ב-Looker

כדי להמחיש שיש לנו מקור נתונים מרכזי אחד שאפשר להריץ עליו שאילתות, נריץ שאילתה מהירה בניתוח.

9. בתפריט הניווט הראשי שמימין, בוחרים באפשרות ניתוח נתונים, ואז באפשרות בלוק נתוני מפקד האוכלוסין,ואז באפשרות מדינה ומחוז.
10. בוחרים במדד Education (השכלה) > Associates Degree (תואר חבר).
11. בוחרים את המאפיינים הבאים:
12. מיקום גיאוגרפי > קבוצת בלוקים
13. מיקום גיאוגרפי > מחוז > שם המחוז
14. מיקום גיאוגרפי > מדינה > מדינה.
15. מריצים את השאילתה (בפינה השמאלית העליונה) ועכשיו אפשר לראות שמזהי המיקום הגיאוגרפי האלה (שנקראים 'קבוצת בלוקים') משויכים למחרוזות שקל לקרוא.
16. פותחים את כרטיסיית התצוגה החזותית ורואים את הנתונים במפה.

4. איך משתמשים באפליקציית הצ'אט עם Looker

עכשיו ניצור סוכן נתונים ל-Looker.

1. עוברים לטופס יצירת סוכן בדף הסוכן של האפליקציה להפעלה מהירה:
2. מגדירים את השדה שם מוצג:

Cartoon character data analyst

2. מגדירים את השדה הוראות למערכת:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. בוחרים באפשרות Looker.
4. מגדירים את השדה Url לכתובת ה-URL של מופע Looker: ‏"https://..."
5. מגדירים את השדה Model (מודל):

data_block_acs_bigquery

6. מגדירים את השדה ניתוח:

cbsa

7. בוחרים באפשרות יצירת סוכן.
8. עוברים לדף הצ'אט ובוחרים את הסוכן החדש שנוצר.
9. נתחיל שיחה על ידי הוספת הנחיה או הודעה: "שלום, מה שלומך?"
10. נבקש מהסוכן לתאר את מערך הנתונים: "What data do you have available?"
11. אשאל אותך עוד כמה שאלות:
12. "באיזה מחוז בניו יורק יש את האוכלוסייה הכי גדולה?"
13. "What about the most graduates from high school per capita?"
14. "Can you give me the population by gender and state?"
15. "אני רוצה לראות תרשים עמודות של 10 המדינות עם האוכלוסייה הכי גדולה".

רואה את התצוגה החזותית של תרשים העמודות בשיחה? ה-API של CA שלח הודעה לאפליקציה עם מפרט של תרשים וגה. מפרט תרשים ה-Vega מכיל את הנתונים וההגדרות של הוויזואליזציה, כמו צבעים, צירים, סוג התרשים וכו'. באמצעות המפרט, אפליקציית Streamlit מעבדת את הנתונים כתרשים Vega אינטראקטיבי שתוכלו לצפות בו ולבצע בו אינטראקציה. ממשק ה-API של CA מאפשר לכם לא רק לשלוח שאילתות לנתונים, אלא גם להציג אותם באופן חזותי באמצעות סוכני נתונים, על ידי יצירת הגדרות סטנדרטיות להמחשה.

5. מה עוד אפשר לעשות באפליקציה למתחילים?

עכשיו יש לכם:

• הגדרת אפליקציית הצ'אט באופן מקומי
• יצירת סוכן נתונים של BigQuery וסוכן נתונים של Looker
• לנהל שיחות עם סוכני הנתונים
• הסבר על היתרונות של מודלים סמנטיים ב-Looker כהקשר לשיחות

ננסה את היכולות האחרות של האפליקציה למתחילים:

1. טוענים מחדש את דף האינטרנט של אפליקציית ההפעלה המהירה ועוברים לדף הצ'אט.
2. אתם יכולים לראות את השיחות הקודמות עם כל ההודעות הרלוונטיות מהסוכנים של BigQuery ו-Looker. החלק הקדמי של האפליקציה לא שומר את השיחות או ההודעות הקודמות, אלא מאחזר אותן מ-CA API.

ממשק ה-API של CA מספק נקודות קצה לכל השיחות הקודמות וההודעות שלהן. האפליקציה מאחזרת שיחות קודמות מנקודת הקצה list conversations של CA API. לאחר מכן האפליקציה מאחזרת את כל ההודעות הקודמות בשיחה מנקודת הקצה של רשימת ההודעות. כששולחים הודעה לשיחה, ה-API של CA יכול לשייך את ההודעות לשיחה כדי לכלול את כל ההודעות הקודמות בשיחה כהקשר לשיחה רב-תורית מועילה יותר.

3. עכשיו עוברים לדף הסוכנים ובוחרים את סוכן Looker מהרשימה.
4. אם רוצים, אפשר לעדכן את ההגדרות של הנציג או למחוק אותו. אף נציג לא מאוחסן בחלק הקדמי של האפליקציה.

האפליקציה קוראת לנקודות הקצה שסופקו על ידי CA API כדי לרשום, ליצור, לעדכן ולמחוק סוכנים. האפליקציה משתמשת ביכולת של CA API לאחסן ולנהל את הסוכנים שלה. ממשק ה-API של CA מספק גם פעולות אחרות בסוכנים.

6. אתגרים אופציונליים וחקירה נוספת

אם רוצים, אפשר לנצל את ההזדמנות הזו כדי להכיר את ניתוח השיחות ואת אפליקציית ההפעלה המהירה. אפשר גם לנסות לשנות את אפליקציית ההפעלה המהירה. אפשר לנסות את ההצעות והאתגרים הבאים או לדלג לקטע האחרון.

מידע נוסף על CA API ואפליקציית ההפעלה המהירה

• הוראות מפורטות למערכת לשליטה בהתנהגות של הסוכן
• מגדירים סוכן נתונים נוסף שמפנה למערך נתונים חדש ב-BigQuery.
• מתקינים בלוק חדש של Looker במופע Looker, יוצרים סוכן ומפנים אותו לקבוצת נתונים חדשה של Looker.

אתגרים בשינוי אפליקציות למתחילים

• האם יש לך ניסיון בהטמעה של Looker? אם כן, נסו להטמיע לוח בקרה של Looker באפליקציית ההפעלה המהירה. אפשר להשתמש ברכיב ה-iframe של Streamlit.
• מוצאים מערך נתונים ציבורי שכולל כתובות URL של סרטונים, ומעדכנים את הלוגיקה של עיבוד הצ'אט באפליקציה כדי להציג סרטון בצ'אט.

7. מסקנות ונקודות חשובות

הגעת לסוף! יצרתם אפליקציית צ'אט, יצרתם סוכני נתונים וניהלתם צ'אט עם הנתונים שלכם – והכול באמצעות Conversational Analytics API. נתחיל בסקירת כמה יכולות ומושגים חשובים.

היכולות של ניתוח נתוני השיחות

הסברנו על הרבה מהיכולות של ניתוח שיחות, כמו היכולת:

• יצירה, עדכון, הצגה ברשימה, קבלת ומחיקת סוכני נתונים.
• הפניית סוכני הנתונים אל BigQuery או אל Looker כמקור נתונים.
• יצירה, הצגה וקבלת שיחות וההודעות שמשויכות להן.
• יצירת מפרטים של תרשימי Vega להמחשה סוחפת בשיחות.
• השימוש בהודעות קודמות בשיחה מספק הקשר שימושי להודעות עתידיות.

היתרונות של שימוש ב-Looker עם CA API

‫Looker מספקת מודלים סמנטיים מרכזיים, ניתנים לבדיקה וניתנים לניהול של הנתונים שלכם. בשילוב עם ניתוח שיחות, Looker מספק דרך ניתנת להרחבה כדי לספק הקשר לסוכני הנתונים שלכם.

השלבים הבאים

• במאמרי העזרה בנושא ניתוח נתונים בשיחה אפשר למצוא מדריכים נוספים, תכונות ותרחישי שימוש.
• כדאי להתעדכן במאגר האפליקציות למתחילים ולתרום לו.