1. מבוא
העדכון האחרון:21 ביוני 2023
התראות על שגיאות מבוססות-יומנים בקשר לזמינות
ניתן להשתמש בהתראות המבוססות על יומנים כדי לקבוע את זמינות האפליקציה על ידי מעקב אחר אירועים או דפוסים ספציפיים ביומנים.* תוכלו לקבל התראות על הפסקות זמניות בשירות או על בעיות אחרות שפוגעות במשתמשים, וכך למזער את ההשפעה על המשתמשים והלקוחות שלכם.
בדיקות זמני פעילות מספקות תמונת מצב כללית של הזמינות, אבל יכול להיות שעדיף להשתמש בהודעות שגיאה שנגזרות מיומנים כאינדיקטורים מסוגים ספציפיים יותר של חוסר זמינות, ולהבין מה שיעור המשתמשים שנתקלו בבעיה.
השגיאות יכולות לנבוע מכל מיני סיבות, החל מטעויות של המשתמשים ועד תחזוקת המערכת, שדרוגים ואפילו גורמים חיצוניים למערכת, כמו מזג אוויר קשה. המפתח בהתראה הוא לא לנסות לצפות את כל הסיבות האפשריות, אלא לבחור כמה תסמינים מרכזיים שעשויים לשמש כנקודת התחלה לפתרון בעיות.
נושאי Pub/Sub כערוץ התראות עבור התראות
נושא Pub/Sub יכול לשמש כערוץ התראות של Google Cloud Monitoring לשליחת התראות למינוי Pub/Sub. כך ניתן לשלב את ההתראות של Cloud Monitoring עם מערכות אחרות, כולל שירותי התראות של צד שלישי.
כדי להשתמש בנושא Pub/Sub כערוץ התראות, קודם צריך ליצור נושא Pub/Sub ומינוי Pub/Sub. לאחר מכן צריך ליצור ערוץ התראות ב-Cloud Monitoring שהיעד שלו הוא Pub/Sub.
כשהתראה מופעלת, Cloud Monitoring שולח הודעה לנושא Pub/Sub. לאחר מכן, המנוי של המינוי ל-Pub/Sub יוכל לעבד את ההודעה ולבצע את הפעולה המתאימה.
מה תפַתחו
ב-Codelab הזה אנחנו מתכוונים לפרוס אפליקציה, ליצור נושא Pub/Sub וליצור התראה מבוססת יומן שבודקת שגיאות בחלק ספציפי של האפליקציה ומשתמשת בנושא Pub/Sub כערוץ התראות.
מה תלמדו
- איך יוצרים נושא Pub/Sub
- איך יוצרים התראה מבוססת יומן
ה-Codelab הזה מתמקד ביצירת התראה לשגיאות. מונחים וקודים של אפליקציות שאינם רלוונטיים מודגשים בצורה מבריקה, וניתן רק להעתיק ולהדביק אותם.
מה צריך להכין
- חשבון Google Cloud עם הרשאות:
- פריסת אפליקציות של Cloud Run
- יצירת נושאי Pub/Sub
- יצירת התראות
2. בתהליך ההגדרה
בחירה או יצירה של פרויקט ב-Google Cloud
כדי לבחור פרויקט קיים, משתמשים בתפריט הנפתח:
כדי ליצור פרויקט חדש ב-Google Cloud, אפשר לפעול לפי השלבים הבאים:
- נכנסים אל מסוף Google Cloud Platform.
- לוחצים על הלחצן Create Project.
- נותנים שם לפרויקט.
- בוחרים חשבון לחיוב לפרויקט.
- לוחצים על הלחצן Create.
הפרויקט ייווצר ותועברו למרכז הבקרה של הפרויקט. משם תוכלו להתחיל להשתמש בשירותי Google Cloud.
ריכזנו כאן כמה פרטים נוספים לגבי כל שלב:
- שם: שם הפרויקט חייב להיות ייחודי בארגון.
- חשבון לחיוב: אפשר להשתמש בחשבון קיים לחיוב או ליצור חשבון חדש.
- יצירה: אחרי שמזינים את כל המידע הנדרש, לוחצים על הלחצן Create כדי ליצור את הפרויקט.
למידע נוסף, תוכלו לעיין במסמכי התיעוד של Google Cloud בנושא יצירת פרויקטים.
3. פורסים את אפליקציית ה-API
במה עוסק האפליקציה או ה-API לדוגמה?
האפליקציה שלנו היא אפליקציה פשוטה של Inventory API שחושפת נקודת קצה ל-API ל-REST עם כמה פעולות כדי להציג את רשימת הפריטים במלאי ולקבל ספירת מלאי ספציפית של פריטים.
אחרי שאנחנו פורסים את ה-API ובהנחה שהוא מתארח ב-https://<somehost>, אנחנו יכולים לגשת לנקודות הקצה ל-API באופן הבא:
https://<somehost>/inventory
כך תצוין רשימה של כל פריטי המוצר עם רמות המלאי הזמינות.
https://<somehost>/inventory/{productid}
תהיה לכם רשומה אחת עם מאפיין מזהה המוצר (productid) וברמת המלאי של המוצר הרלוונטי.
נתוני התגובה שמוחזרים הם בפורמט JSON.
הערה: האפליקציה הזו ל-API מיועדת למטרות הדגמה בלבד ולא מייצגת הטמעת API מאובטחת ואיתנה. היא נועדה לאפשר לנו להשתמש באפליקציה מהירה, כדי לבחון את המטרה העיקרית של שיעור ה-Lab, כלומר הפעילות של Google Cloud.
נתונים לדוגמה ובקשה/תגובה של API
האפליקציה לא מופעלת על ידי מסד נתונים בקצה העורפי כדי לפשט את הדברים. בדוח מופיעים 3 מזהי מוצרים לדוגמה ואת רמות המלאי במלאי שטחי הפרסום לדוגמה.
קוד זיהוי מוצר | רמת המלאי הזמינים |
I-1 | 10 |
I-2 | 20 |
I-3 | 30 |
בקשה ותגובה לדוגמה מה-API מוצגים בהמשך:
בקשת API | תגובת API |
https://<somehost>/inventory | [ { "I-1": 10, "I-2": 20, "I-3": 30 }] |
https://<somehost>/inventory/I-1 | { "productid": "I-1", "qty": 10} |
https://<somehost>/inventory/I-2 | { "productid": "I-2", "qty": 20} |
https://<somehost>/inventory/I-200 | { "productid": I-200, "qty": -1} |
שכפול המאגר
אומנם אפשר להפעיל את Google Cloud מרחוק מהמחשב הנייד, אבל ב-Codelab הזה משתמשים ב-Google Cloud Shell, סביבת שורת הפקודה שפועלת ב-Cloud.
ממסוף GCP, לוחצים על הסמל של Cloud Shell בסרגל הכלים שבפינה השמאלית העליונה:
נדרשים רק כמה דקות כדי להקצות את הסביבה ולהתחבר אליה. בסיום התהליך, אתם אמורים לראות משהו כזה:
במכונה הווירטואלית הזו משולבת כל כלי הפיתוח שדרושים לכם. יש בה ספריית בית בנפח מתמיד של 5GB והיא פועלת ב-Google Cloud, מה שמשפר משמעותית את ביצועי הרשת והאימות. כל העבודה בשיעור ה-Lab הזה יכולה להתבצע באמצעות דפדפן בלבד.
הגדרת gcloud
ב-Cloud Shell, מגדירים את מזהה הפרויקט ושומרים אותו כמשתנה PROJECT_ID.
PROJECT_ID=[YOUR-PROJECT-ID]
gcloud config set project $PROJECT_ID
עכשיו, מריצים את הפקודה הבאה:
$ git clone https://github.com/rominirani/cloud-code-sample-repository.git
הפעולה הזו תיצור תיקייה בשם cloud-code-sample-repository, בתיקייה הזו.
(אופציונלי) מריצים את האפליקציה ב-Cloud Shell
אפשר להריץ את האפליקציה באופן מקומי באמצעות השלבים הבאים:
- בטרמינל, עוברים לגרסת Python של ה-API באמצעות הפקודה הבאה:
$ cd cloud-code-sample-repository
$ cd python-flask-api
- בטרמינל, שולחים את הפקודה הבאה (בזמן הכתיבה ב-Cloud Shell מותקנת גרסת Python 3.9.x ואנחנו נשתמש בגרסת ברירת המחדל. אם אתם מתכננים להריץ אותו באופן מקומי במחשב הנייד, תוכלו להשתמש ב-Python 3.8 ומעלה:
$ python app.py
- אפשר להריץ את הפקודה הבאה כדי להפעיל את שרת Python באופן מקומי.
לוחצים על Preview ביציאה 8080. 5. פעולה זו תפתח חלון דפדפן. תופיע שגיאה 404, וזה בסדר. משנים את כתובת ה-URL ומשנים אותה כך שיופיע רק /מלאי אחרי שם המארח.
לדוגמה: במחשב שלי, הוא נראה כך:
https://8080-cs-557561579860-default.cs-asia-southeast1-yelo.cloudshell.dev/inventory
תוצג רשימה של הפריטים במלאי, כפי שהוסבר קודם:
- אפשר לעצור את השרת עכשיו על ידי מעבר לטרמינל ולחיצה על Ctrl-C
פורסים את האפליקציה
עכשיו נפרוס את אפליקציית ה-API הזו ל-Cloud Run. התהליך כולל שימוש בלקוח שורת הפקודה של Google Cloud כדי להריץ את הפקודה לפריסת הקוד ב-Cloud Run.
מהטרמינל, מזינים את הפקודה הבאה של gcloud:
$ gcloud run deploy --source .
יוצגו לכם כמה שאלות, וחלק מהנקודות יצוינו בהמשך:
- שם השירות (python-flask-api): בוחרים באפשרות ברירת המחדל הזו או בוחרים בשם כמו my-inventory-api
- ה-API [run.googleapis.com] לא מופעל בפרויקט [613162942481]. רוצה להפעיל ולנסות שוב (הפעולה תימשך כמה דקות)? (y/N)? Y
- יש לציין אזור: יש לבחור 31 (us-west-1)
- ה-API [artifactregistry.googleapis.com] לא מופעל בפרויקט [613162942481]. רוצה להפעיל ולנסות שוב (הפעולה תימשך כמה דקות)? (y/N)? Y
- פריסה מקוד המקור דורשת מאגר Docker של Artifact Registry לאחסון קונטיינרים שנוצרו. המערכת תיצור מאגר בשם [cloud-run-source-deploy] באזור [us-west1].
- רוצה להמשיך (Y/n)? Y
- לאפשר הפעלות לא מאומתות ל-[my-inventory-api] (y/N)? Y
בסופו של דבר, התהליך הזה יאפשר לקחת את קוד המקור, ליצור אותו בקונטיינרים, לדחוף אותו ל-Artifact Registry ואז לפרוס את השירות Cloud Run ואת הגרסה הקודמת. תודה על הסבלנות במהלך התהליך (התהליך עשוי להימשך 3-4 דקות), והתהליך אמור להסתיים בכתובת ה-URL של השירות.
כך מוצגת הרצה לדוגמה:
בדיקת האפליקציה
עכשיו, לאחר שפרסנו את האפליקציה ב-Cloud Run, אתם יכולים לגשת לאפליקציית ה-API באופן הבא:
- שימו לב לכתובת ה-URL של השירות מהשלב הקודם. לדוגמה, בהגדרה שלי, הוא מוצג בתור
https://my-inventory-api-bt2r5243dq-uw.a.run.app. זה המקום לקרוא לזה<SERVICE_URL>. - פותחים דפדפן ונכנסים ל-3 כתובות ה-URL הבאות של נקודות הקצה ל-API:
<SERVICE_URL>/inventory<SERVICE_URL>/inventory/I-1<SERVICE_URL>/inventory/I-100
הן צריכות להתאים למפרט שציינו בסעיף קודם עם דוגמת בקשה ותגובה של API.
קבלת פרטי שירות מ-Cloud Run
פרסנו את שירות ה-API שלנו ב-Cloud Run, סביבת מחשוב ללא שרת (serverless). אנחנו יכולים להיכנס לשירות Cloud Run דרך מסוף Google Cloud בכל שלב.
מהתפריט הראשי, עוברים אל Cloud Run. פעולה זו תציג את רשימת השירותים שאתם מפעילים ב-Cloud Run. אתם אמורים לראות את השירות שפרסתם עכשיו. בהתאם לשם שבחרתם, אתם אמורים לראות משהו כזה:
לוחצים על שם השירות כדי להציג את הפרטים. פרטי הדוגמה מוצגים בהמשך:
שימו לב לכתובת ה-URL, שהיא רק כתובת ה-URL של השירות שניתן להזין לדפדפן ולגשת ל-Inventory API שפרסנו כרגע. אפשר לעיין ב'מדדים' ובפרטים אחרים.
נתחיל עם חבילת התפעול של Google Cloud.
4. יצירת נושא Pub/Sub כדי לקבל את ההתראה
כדי ליצור נושא Pub/Sub, אפשר לבצע את השלבים הבאים במסוף Google Cloud:
- מחפשים את האפשרות Pub/Sub בתיבת החיפוש ומנווטים אל Pub/Sub.
- אם אתם לא נמצאים עדיין בכרטיסייה נושאים, לוחצים עליה.
- לוחצים על הלחצן יצירת נושא.
- מזינים לנושא שם שהמערכת יכולה לזהות.
- לוחצים על הלחצן Create.
- מעתיקים את שם הנושא באמצעות הלחצן של סמל ההעתקה. צריך אותה בקטע הבא.
5. יצירת מדיניות התראות עבור שגיאות
חקירה של יומני שגיאות
כדי להציג את יומני השגיאות של האפליקציה:
לוחצים על הכרטיסייה Logging.
יוצג ממשק של יומן שבו תוכלו לבחור או לבטל את הבחירה במשאבים שונים (פרויקט, משאב של Google Cloud, שמות שירותים וכו') יחד עם רמות יומן, כדי לסנן את ההודעות ביומן לפי הצורך.
כדי לדמות מספר בקשות לא חוקיות לשירות המלאי, צריך לציין מזהי מוצרים שהם לא אחד מהרכיבים I-1 , I-2 ו-I-3. לדוגמה: בקשה שגויה היא:
https://<SERVICE_URL>/inventory/I-999
מעכשיו נחפש את כל האזהרות שנוצרו על ידי ה-API שלנו כשיסופק בשאילתה מזהה מוצר שגוי.
יצירת מדיניות של התראות מבוססות-יומנים בהתאמה אישית לגבי שגיאות
נניח שאנחנו רוצים לחפש הודעת שגיאה ספציפית מאוד בחלק מהאפליקציה. נניח שאנחנו מבחינים במספר גבוה של שגיאות בחיפוש מזהי מוצרים. הבעיה הזו היא תסמין של הרבה בעיות אפשריות (קישור שגוי, חוסר עקביות במסד הנתונים או בוט שמספור את האתר שלנו). למרות שקשה או בלתי אפשרי לדמיין כל סיבה אפשרית, האפליקציה השולחת את ההודעה הזו גם פעם אחת היא בעיה כללית שאנחנו רוצים להיות מודעים לה. כדי להתריע על כך, אנחנו צריכים ליצור מדיניות שמבוססת על נתונים ביומני השגיאות שלנו.
- בתיבת השאילתה, מזינים את הפרמטרים הבאים של השאילתה:
resource.type="cloud_run_revision"
textPayload =~ "אזהרה באפליקציה: התקבלה בקשת מלאי עבור מזהה מוצר שגוי"
הוא אמור להיראות כך:
- לוחצים על 'הרצת שאילתה'. כך יוצגו כל הבקשות שהתקבלו ובאילו בעיות זוהתה הבעיה.
- כדי להמיר את ההתראה שלמעלה להתראה, לוחצים על הלחצן יצירת התראה שמופיע ב-Logs Explorer מתחת לשדה השאילתה, משמאל:
- לחיצה על הלחצן הזה תפתח את הטופס ליצירת מדיניות התראות שמבוססת על יומן.
- משתמשים בשאילתה הראשונית עבור יומנים שייכללו בהתראה:
resource.type="cloud_run_revision"
textPayload =~ "WARNING in app: Received inventory request for incorrect productid"
- מגדירים את תדירות ההתראות ואת משך האירוע. לצורך הדוגמה, ניתן להשתמש בערכים המינימליים לכל אחד מהערכים:
- לבסוף, מדברים על 'למי צריך לקבל התראות?' בוחרים את ערוץ ההתראות של Pub/Sub שיצרתם קודם:
- לוחצים על שמירה. כדי להציג ולנהל את מדיניות ההתראות, נכנסים לדף Alerting ובודקים בקטע 'מדיניות':
6. מזל טוב
כל הכבוד! הגדרת בהצלחה את בדיקת זמני הפעילות לשליחת התראות אל Pub/Sub!