পাইথনে জেনারেটিভ এআই অ্যাপ্লিকেশনের জন্য ব্যবহারিক পর্যবেক্ষণ কৌশল

১. সংক্ষিপ্ত বিবরণ

অন্যান্য অ্যাপ্লিকেশনের মতোই জেনারেটিভ এআই অ্যাপ্লিকেশনের জন্যও পর্যবেক্ষণযোগ্যতা প্রয়োজন। জেনারেটিভ এআই-এর জন্য কি কোনো বিশেষ পর্যবেক্ষণ কৌশল প্রয়োজন?

এই ল্যাবে, আপনি একটি সাধারণ Gen AI অ্যাপ্লিকেশন তৈরি করবেন। এটিকে Cloud Run- এ ডেপ্লয় করুন। এবং Google Cloud-এর অবজার্ভেবিলিটি পরিষেবা ও পণ্য ব্যবহার করে এতে প্রয়োজনীয় মনিটরিং ও লগিং সক্ষমতা যুক্ত করুন।

আপনি যা শিখবেন

  • ভার্টেক্স এআই ও ক্লাউড শেল এডিটর ব্যবহার করে এমন একটি অ্যাপ্লিকেশন লিখুন।
  • আপনার অ্যাপ্লিকেশন কোড গিটহাবে সংরক্ষণ করুন
  • আপনার অ্যাপ্লিকেশনের সোর্স কোড ক্লাউড রান-এ ডেপ্লয় করতে gcloud CLI ব্যবহার করুন।
  • আপনার Gen AI অ্যাপ্লিকেশনে মনিটরিং এবং লগিং সক্ষমতা যোগ করুন
  • লগ-ভিত্তিক মেট্রিক ব্যবহার করে
  • ওপেন টেলিমেট্রি এসডিকে ব্যবহার করে লগিং ও মনিটরিং বাস্তবায়ন
  • দায়িত্বশীল এআই ডেটা পরিচালনা সম্পর্কে অন্তর্দৃষ্টি লাভ করুন

২. পূর্বশর্তসমূহ

যদি আপনার আগে থেকে কোনো গুগল অ্যাকাউন্ট না থাকে, তাহলে আপনাকে একটি নতুন অ্যাকাউন্ট তৈরি করতে হবে।

৩. প্রজেক্ট সেটআপ

  1. আপনার গুগল অ্যাকাউন্ট দিয়ে গুগল ক্লাউড কনসোলে সাইন-ইন করুন।
  2. একটি নতুন প্রজেক্ট তৈরি করুন অথবা বিদ্যমান কোনো প্রজেক্ট পুনরায় ব্যবহার করুন। আপনি এইমাত্র যে প্রজেক্টটি তৈরি বা নির্বাচন করেছেন, তার প্রজেক্ট আইডিটি লিখে রাখুন।
  3. প্রকল্পটির জন্য বিলিং চালু করুন
    • এই ল্যাবটি সম্পন্ন করতে বিলিং খরচ ৫ ডলারের কম হওয়া উচিত।
    • পরবর্তী চার্জ এড়াতে, এই ল্যাবের শেষে দেওয়া ধাপগুলো অনুসরণ করে আপনি রিসোর্সগুলো মুছে ফেলতে পারেন।
    • নতুন ব্যবহারকারীরা ৩০০ মার্কিন ডলারের ফ্রি ট্রায়ালের জন্য যোগ্য।
  4. ক্লাউড বিলিং-এর 'আমার প্রোজেক্ট' -এ বিলিং নিশ্চিতকরণ সক্রিয় করা আছে।
    • যদি আপনার নতুন প্রজেক্টের Billing account কলামে Billing is disabled :
      1. Actions কলামে থাকা তিনটি ডটে ক্লিক করুন।
      2. বিলিং পরিবর্তন করতে ক্লিক করুন
      3. আপনি যে বিলিং অ্যাকাউন্টটি ব্যবহার করতে চান তা নির্বাচন করুন।
    • আপনি যদি কোনো লাইভ ইভেন্টে অংশগ্রহণ করেন, তাহলে অ্যাকাউন্টটির নাম সম্ভবত Google Cloud Platform Trial Billing Account হবে।

৪. ক্লাউড শেল এডিটর প্রস্তুত করুন

  1. ক্লাউড শেল এডিটর- এ যান। যদি আপনার ক্রেডেনশিয়াল ব্যবহার করে gcloud কল করার জন্য ক্লাউড শেলকে অনুমোদন দিতে অনুরোধ করে নিম্নলিখিত বার্তাটি আসে, তবে চালিয়ে যাওয়ার জন্য Authorize-এ ক্লিক করুন।
    ক্লাউড শেল অনুমোদন করতে ক্লিক করুন
  2. টার্মিনাল উইন্ডো খুলুন
    1. হ্যামবার্গার মেনুতে ক্লিক করুন হ্যামবার্গার মেনু আইকন
    2. টার্মিনালে ক্লিক করুন
    3. নতুন টার্মিনালে ক্লিক করুন
      ক্লাউড শেল এডিটরে নতুন টার্মিনাল খুলুন
  3. টার্মিনালে আপনার প্রজেক্ট আইডি কনফিগার করুন:
    gcloud config set project [PROJECT_ID]
    
    [PROJECT_ID] এর জায়গায় আপনার প্রোজেক্টের আইডি বসান। উদাহরণস্বরূপ, যদি আপনার প্রোজেক্ট আইডি lab-example-project হয়, তাহলে কমান্ডটি হবে:
    gcloud config set project lab-project-id-example
    
    যদি আপনার সামনে এই বার্তাটি আসে যে gcloud, GCPI API-এর জন্য আপনার ক্রেডেনশিয়াল চাইছে, তাহলে চালিয়ে যাওয়ার জন্য Authorize-এ ক্লিক করুন।
    ক্লাউড শেল অনুমোদন করতে ক্লিক করুন
    সফলভাবে কার্যকর হলে আপনি নিম্নলিখিত বার্তাটি দেখতে পাবেন:
    Updated property [core/project].
    
    যদি আপনি একটি WARNING দেখতে পান এবং আপনাকে Do you want to continue (Y/N)? জিজ্ঞাসা করা হয়, তাহলে সম্ভবত আপনি প্রজেক্ট আইডি ভুলভাবে প্রবেশ করিয়েছেন। N চাপুন, Enter চাপুন এবং সঠিক প্রজেক্ট আইডি খুঁজে পাওয়ার পর gcloud config set project কমান্ডটি আবার চালানোর চেষ্টা করুন।
  4. (ঐচ্ছিক) প্রজেক্ট আইডি খুঁজে পেতে সমস্যা হলে, আপনার সমস্ত প্রজেক্টের আইডি তৈরির সময় অনুসারে অবরোহী ক্রমে দেখতে নিম্নলিখিত কমান্ডটি চালান:
    gcloud projects list \
         --format='value(projectId,createTime)' \
         --sort-by=~createTime
    

৫. গুগল এপিআই সক্রিয় করুন

টার্মিনালে, এই ল্যাবের জন্য প্রয়োজনীয় গুগল এপিআইগুলো সক্রিয় করুন:

gcloud services enable \
     run.googleapis.com \
     cloudbuild.googleapis.com \
     aiplatform.googleapis.com \
     logging.googleapis.com \
     monitoring.googleapis.com \
     cloudtrace.googleapis.com

এই কমান্ডটি সম্পন্ন হতে কিছুটা সময় লাগবে। অবশেষে, এটি এই ধরনের একটি সফলতার বার্তা তৈরি করবে:

Operation "operations/acf.p2-73d90d00-47ee-447a-b600" finished successfully.

যদি আপনি ERROR: (gcloud.services.enable) HttpError accessing দিয়ে শুরু হওয়া এবং নীচের মতো ত্রুটির বিবরণ সম্বলিত কোনো ত্রুটি বার্তা পান, তাহলে ১-২ মিনিট বিরতি দিয়ে কমান্ডটি পুনরায় চেষ্টা করুন।

"error": {
  "code": 429,
  "message": "Quota exceeded for quota metric 'Mutate requests' and limit 'Mutate requests per minute' of service 'serviceusage.googleapis.com' ...",
  "status": "RESOURCE_EXHAUSTED",
  ...
}

৬. একটি Gen AI পাইথন অ্যাপ্লিকেশন তৈরি করুন।

এই ধাপে আপনি একটি সাধারণ অনুরোধ-ভিত্তিক অ্যাপ্লিকেশনের কোড লিখবেন, যা জেমিনি মডেল ব্যবহার করে আপনার পছন্দের একটি প্রাণী সম্পর্কে ১০টি মজার তথ্য দেখাবে। অ্যাপ্লিকেশন কোডটি তৈরি করতে নিম্নলিখিত পদক্ষেপগুলো অনুসরণ করুন।

  1. টার্মিনালে codelab-o11y ডিরেক্টরিটি তৈরি করুন:
    mkdir ~/codelab-o11y
    
  2. বর্তমান ডিরেক্টরি codelab-o11y তে পরিবর্তন করুন:
    cd ~/codelab-o11y
    
  3. নির্ভরতার তালিকা দিয়ে requirements.txt ফাইলটি তৈরি করুন:
    cat > requirements.txt << EOF
    Flask==3.0.0
    gunicorn==23.0.0
    google-cloud-aiplatform==1.59.0
    google-auth==2.32.0
    EOF
    
  4. একটি main.py ফাইল তৈরি করুন এবং ক্লাউড শেল এডিটরে ফাইলটি খুলুন:
    cloudshell edit main.py
    
    এখন টার্মিনালের উপরের এডিটর উইন্ডোতে একটি খালি ফাইল দেখা যাবে। আপনার স্ক্রিনটি নিচের ছবির মতো দেখাবে:
    main.py সম্পাদনা শুরু করার পর ক্লাউড শেল এডিটর দেখান।
  5. নিচের কোডটি কপি করে খোলা main.py ফাইলে পেস্ট করুন:
    import os
    from flask import Flask, request
    import google.auth
    import vertexai
    from vertexai.generative_models import GenerativeModel
    
    _, project = google.auth.default()
    app = Flask(__name__)
    
    @app.route('/')
    def fun_facts():
        vertexai.init(project=project, location='us-central1')
        model = GenerativeModel('gemini-1.5-flash')
        animal = request.args.get('animal', 'dog') 
        prompt = f'Give me 10 fun facts about {animal}. Return this as html without backticks.'
        response = model.generate_content(prompt)
        return response.text
    
    if __name__ == '__main__':
        app.run(debug=True, host='0.0.0.0', port=int(os.environ.get('PORT', 8080)))
    
    কয়েক সেকেন্ড পর ক্লাউড শেল এডিটর আপনার কোড স্বয়ংক্রিয়ভাবে সংরক্ষণ করবে।

Gen AI অ্যাপ্লিকেশনটির কোড Cloud Run-এ ডেপ্লয় করুন।

  1. টার্মিনাল উইন্ডোতে অ্যাপ্লিকেশনটির সোর্স কোড ক্লাউড রান-এ ডেপ্লয় করার জন্য কমান্ডটি চালান।
    gcloud run deploy codelab-o11y-service \
         --source="${HOME}/codelab-o11y/" \
         --region=us-central1 \
         --allow-unauthenticated
    
    যদি আপনি নিচের মতো একটি প্রম্পট দেখতে পান, যা আপনাকে জানাচ্ছে যে কমান্ডটি একটি নতুন রিপোজিটরি তৈরি করবে, তাহলে Enter চাপুন।
    Deploying from source requires an Artifact Registry Docker repository to store built containers.
    A repository named [cloud-run-source-deploy] in region [us-central1] will be created.
    
    Do you want to continue (Y/n)?
    
    ডেপ্লয়মেন্ট প্রক্রিয়াটিতে কয়েক মিনিট পর্যন্ত সময় লাগতে পারে। ডেপ্লয়মেন্ট প্রক্রিয়াটি সম্পন্ন হওয়ার পর আপনি নিচের মতো আউটপুট দেখতে পাবেন:
    Service [codelab-o11y-service] revision [codelab-o11y-service-00001-t2q] has been deployed and is serving 100 percent of traffic.
    Service URL: https://codelab-o11y-service-12345678901.us-central1.run.app
    
  2. প্রদর্শিত ক্লাউড রান সার্ভিস ইউআরএলটি আপনার ব্রাউজারের একটি আলাদা ট্যাব বা উইন্ডোতে কপি করুন। বিকল্পভাবে, সার্ভিস ইউআরএলটি প্রিন্ট করার জন্য টার্মিনালে নিম্নলিখিত কমান্ডটি চালান এবং ইউআরএলটি খোলার জন্য Ctrl কী চেপে ধরে প্রদর্শিত ইউআরএলটিতে ক্লিক করুন:
    gcloud run services list \
         --format='value(URL)' \
         --filter='SERVICE:"codelab-o11y-service"'
    
    যখন ইউআরএলটি খোলা হবে, তখন আপনি 500 এরর পেতে পারেন অথবা এই মেসেজটি দেখতে পারেন:
    Sorry, this is just a placeholder...
    
    এর মানে হলো, সার্ভিসটির ডেপ্লয়মেন্ট সম্পূর্ণ হয়নি। কিছুক্ষণ অপেক্ষা করুন এবং পেজটি রিফ্রেশ করুন। শেষে আপনি ‘Fun Dog Facts’ দিয়ে শুরু হওয়া একটি লেখা দেখতে পাবেন, যেখানে কুকুর সম্পর্কে ১০টি মজার তথ্য থাকবে।

বিভিন্ন প্রাণী সম্পর্কে মজার তথ্য পেতে অ্যাপ্লিকেশনটি ব্যবহার করে দেখুন। এটি করার জন্য URL-এর শেষে animal প্যারামিটারটি যুক্ত করুন, যেমন ?animal=[ANIMAL] যেখানে [ANIMAL] হলো একটি প্রাণীর নাম। উদাহরণস্বরূপ, বিড়াল সম্পর্কে ১০টি মজার তথ্য পেতে ?animal=cat যুক্ত করুন অথবা সামুদ্রিক কচ্ছপ সম্পর্কে ১০টি মজার তথ্য পেতে ?animal=sea turtle যুক্ত করুন।

৭. আপনার Vertex API কলগুলো নিরীক্ষা করুন

গুগল এপিআই কল অডিট করলে "কে, কোথায় এবং কখন একটি নির্দিষ্ট এপিআই কল করছে?"-এর মতো প্রশ্নের উত্তর পাওয়া যায়। আপনার অ্যাপ্লিকেশনের সমস্যা সমাধান, রিসোর্স ব্যবহারের তদন্ত বা সফটওয়্যার ফরেনসিক বিশ্লেষণ করার সময় অডিটিং গুরুত্বপূর্ণ।

অডিট লগ আপনাকে প্রশাসনিক ও সিস্টেম কার্যকলাপ ট্র্যাক করার পাশাপাশি 'ডেটা রিড' এবং 'ডেটা রাইট' এপিআই অপারেশনের কলগুলো লগ করতে দেয়। কন্টেন্ট তৈরির জন্য Vertex AI-এর অনুরোধগুলো অডিট করতে হলে আপনাকে ক্লাউড কনসোলে 'ডেটা রিড' অডিট লগ চালু করতে হবে।

  1. ক্লাউড কনসোলে অডিট লগ পৃষ্ঠাটি খুলতে নিচের বোতামে ক্লিক করুন।

  2. নিশ্চিত করুন যে পেজটিতে এই ল্যাবের জন্য আপনার তৈরি করা প্রজেক্টটি সিলেক্ট করা আছে। সিলেক্ট করা প্রজেক্টটি পেজের উপরের বাম কোণে হ্যামবার্গার মেনু থেকেই দেখানো হয়:
    গুগল ক্লাউড কনসোল প্রজেক্ট ড্রপডাউন
    প্রয়োজন হলে কম্বোবক্স থেকে সঠিক প্রজেক্টটি নির্বাচন করুন।
  3. ডেটা অ্যাক্সেস অডিট লগ কনফিগারেশন টেবিলের সার্ভিস কলামে, Vertex AI API সার্ভিসটি খুঁজুন এবং সার্ভিসের নামের বাম পাশে অবস্থিত চেকবক্সটি সিলেক্ট করে সার্ভিসটি নির্বাচন করুন।
    ভার্টেক্স এআই এপিআই নির্বাচন করুন
  4. ডানদিকের তথ্য প্যানেলে, "ডেটা রিড" অডিট টাইপটি নির্বাচন করুন।
    ডেটা রিড লগ চেক করুন
  5. সংরক্ষণ করুন- এ ক্লিক করুন।

অডিট লগ তৈরি করতে সার্ভিস ইউআরএলটি খুলুন। ভিন্ন ভিন্ন ফলাফল পেতে ?animal= প্যারামিটারের মান পরিবর্তন করার সময় পেজটি রিফ্রেশ করুন।

অডিট লগগুলি অন্বেষণ করুন

  1. ক্লাউড কনসোলে লগস এক্সপ্লোরার পৃষ্ঠাটি খুলতে নিচের বোতামে ক্লিক করুন:

  2. নিম্নলিখিত ফিল্টারটি কোয়েরি প্যানে পেস্ট করুন।
    LOG_ID("cloudaudit.googleapis.com%2Fdata_access") AND
    protoPayload.serviceName="aiplatform.googleapis.com"
    
    কোয়েরি পেইন হলো লগস এক্সপ্লোরার পেজের উপরের দিকে অবস্থিত একটি এডিটর:
    অডিট লগ অনুসন্ধান করুন
  3. রান কোয়েরি-তে ক্লিক করুন।
  4. অডিট লগ এন্ট্রিগুলোর মধ্যে একটি নির্বাচন করুন এবং লগে সংরক্ষিত তথ্য পরীক্ষা করার জন্য ফিল্ডগুলো প্রসারিত করুন।
    আপনি ব্যবহৃত মেথড এবং মডেল সহ ভার্টেক্স এপিআই কল সম্পর্কিত বিস্তারিত তথ্য দেখতে পারেন। এছাড়াও আপনি আহ্বানকারীর পরিচয় এবং কোন অনুমতিগুলো কলটিকে অনুমোদন দিয়েছে, তাও দেখতে পারেন।

৮. জেন এআই-এর সাথে মিথস্ক্রিয়া নথিভুক্ত করুন

অডিট লগে আপনি এপিআই (API) অনুরোধের প্যারামিটার বা প্রতিক্রিয়ার ডেটা খুঁজে পান না। তবে, অ্যাপ্লিকেশন ট্রাবলশুটিং এবং ওয়ার্কফ্লো বিশ্লেষণের জন্য এই তথ্য গুরুত্বপূর্ণ হতে পারে। এই ধাপে আমরা অ্যাপ্লিকেশন লগিং যোগ করে এই শূন্যস্থানটি পূরণ করি। এই লগিং ক্লাসিক পাইথনের logging প্যাকেজ ব্যবহার করে। যদিও আপনার প্রোডাকশন এনভায়রনমেন্টে আপনি ভিন্ন লগিং ফ্রেমওয়ার্ক ব্যবহার করতে পারেন, তবে এর মূলনীতি একই।

পাইথনের logging প্যাকেজ গুগল ক্লাউডে লগ লিখতে জানে না। এটি স্ট্যান্ডার্ড আউটপুটে (ডিফল্টরূপে stderr ) অথবা কোনো ফাইলে লেখা সমর্থন করে। তবে, ক্লাউড রান-এর একটি বৈশিষ্ট্য হলো এটি স্ট্যান্ডার্ড আউটপুটে প্রিন্ট হওয়া তথ্য ক্যাপচার করে এবং স্বয়ংক্রিয়ভাবে ক্লাউড লগিং-এ তা অন্তর্ভুক্ত করে। আমাদের জেন এআই অ্যাপ্লিকেশনে লগিং সক্ষমতা যোগ করতে নিচের নির্দেশাবলী অনুসরণ করুন।

  1. আপনার ব্রাউজারের 'ক্লাউড শেল' উইন্ডোতে (বা ট্যাবে) ফিরে যান।
  2. টার্মিনালে, main.py পুনরায় খুলুন:
    cloudshell edit ~/codelab-o11y/main.py
    
  3. অ্যাপ্লিকেশনটির কোডে নিম্নলিখিত পরিবর্তনগুলো করুন:
    1. সর্বশেষ ইম্পোর্ট স্টেটমেন্টটি খুঁজুন। এটি ৫ নম্বর লাইনে থাকা উচিত:
      from vertexai.generative_models import GenerativeModel
      
      কার্সারটি পরবর্তী লাইনে (লাইন ৬) রাখুন এবং নিচের কোড ব্লকটি সেখানে পেস্ট করুন।
      import sys, json, logging
      class JsonFormatter(logging.Formatter):
          def format(self, record):
              json_log_object = {
                  'severity': record.levelname,
                  'message': record.getMessage(),
              }
              json_log_object.update(getattr(record, 'json_fields', {}))
              return json.dumps(json_log_object)
      logger = logging.getLogger(__name__)
      sh = logging.StreamHandler(sys.stdout)
      sh.setFormatter(JsonFormatter())
      logger.addHandler(sh)
      logger.setLevel(logging.DEBUG)
      
      
    2. কন্টেন্ট তৈরি করার জন্য মডেলকে কল করা কোডটি খুঁজুন। এটি ৩০ নম্বর লাইনে থাকা উচিত:
      response = model.generate_content(prompt)
      
      কার্সারটি পরবর্তী লাইনের শুরুতে (লাইন ৩১) রাখুন এবং নিচের কোড ব্লকটি সেখানে পেস্ট করুন।
          json_fields = {
               'animal': animal,
               'prompt': prompt,
               'response': response.to_dict(),
          }
          logger.debug('content is generated', extra={'json_fields': json_fields})
      
      
    এই পরিবর্তনগুলি পাইথন স্ট্যান্ডার্ড লগিংকে একটি কাস্টম ফরম্যাটার ব্যবহার করার জন্য কনফিগার করে, যা স্ট্রাকচার্ড ফরম্যাটিং নির্দেশিকা অনুসরণ করে স্ট্রিংফাই করা JSON তৈরি করে। লগিংটি stdout এ লগ প্রিন্ট করার জন্য কনফিগার করা হয়েছে, যা ক্লাউড রান লগিং এজেন্ট দ্বারা সংগৃহীত হয় এবং অ্যাসিঙ্ক্রোনাসভাবে ক্লাউড লগিং-এ ইনজেস্ট করা হয়। লগগুলি রিকোয়েস্টের অ্যানিমেল প্যারামিটার এবং মডেলের প্রম্পট ও রেসপন্স ক্যাপচার করে। কয়েক সেকেন্ড পরে, ক্লাউড শেল এডিটর স্বয়ংক্রিয়ভাবে আপনার পরিবর্তনগুলি সেভ করে।

Gen AI অ্যাপ্লিকেশনটির কোড Cloud Run-এ ডেপ্লয় করুন।

  1. টার্মিনাল উইন্ডোতে অ্যাপ্লিকেশনটির সোর্স কোড ক্লাউড রান-এ ডেপ্লয় করার জন্য কমান্ডটি চালান।
    gcloud run deploy codelab-o11y-service \
         --source="${HOME}/codelab-o11y/" \
         --region=us-central1 \
         --allow-unauthenticated
    
    যদি আপনি নিচের মতো একটি প্রম্পট দেখতে পান, যা আপনাকে জানাচ্ছে যে কমান্ডটি একটি নতুন রিপোজিটরি তৈরি করবে, তাহলে Enter চাপুন।
    Deploying from source requires an Artifact Registry Docker repository to store built containers.
    A repository named [cloud-run-source-deploy] in region [us-central1] will be created.
    
    Do you want to continue (Y/n)?
    
    ডেপ্লয়মেন্ট প্রক্রিয়াটিতে কয়েক মিনিট পর্যন্ত সময় লাগতে পারে। ডেপ্লয়মেন্ট প্রক্রিয়াটি সম্পন্ন হওয়ার পর আপনি নিচের মতো আউটপুট দেখতে পাবেন:
    Service [codelab-o11y-service] revision [codelab-o11y-service-00001-t2q] has been deployed and is serving 100 percent of traffic.
    Service URL: https://codelab-o11y-service-12345678901.us-central1.run.app
    
  2. প্রদর্শিত ক্লাউড রান সার্ভিস ইউআরএলটি আপনার ব্রাউজারের একটি আলাদা ট্যাব বা উইন্ডোতে কপি করুন। বিকল্পভাবে, সার্ভিস ইউআরএলটি প্রিন্ট করার জন্য টার্মিনালে নিম্নলিখিত কমান্ডটি চালান এবং ইউআরএলটি খোলার জন্য Ctrl কী চেপে ধরে প্রদর্শিত ইউআরএলটিতে ক্লিক করুন:
    gcloud run services list \
         --format='value(URL)' \
         --filter='SERVICE:"codelab-o11y-service"'
    
    যখন ইউআরএলটি খোলা হবে, তখন আপনি 500 এরর পেতে পারেন অথবা এই মেসেজটি দেখতে পারেন:
    Sorry, this is just a placeholder...
    
    এর মানে হলো, সার্ভিসটির ডেপ্লয়মেন্ট সম্পূর্ণ হয়নি। কিছুক্ষণ অপেক্ষা করুন এবং পেজটি রিফ্রেশ করুন। শেষে আপনি ‘Fun Dog Facts’ দিয়ে শুরু হওয়া একটি লেখা দেখতে পাবেন, যেখানে কুকুর সম্পর্কে ১০টি মজার তথ্য থাকবে।

অ্যাপ্লিকেশন লগ তৈরি করতে সার্ভিস ইউআরএলটি খুলুন। ভিন্ন ভিন্ন ফলাফল পেতে ?animal= প্যারামিটারের মান পরিবর্তন করার সময় পৃষ্ঠাটি রিফ্রেশ করুন।
অ্যাপ্লিকেশন লগগুলো দেখতে নিম্নলিখিত পদক্ষেপগুলো অনুসরণ করুন:

  1. ক্লাউড কনসোলে লগস এক্সপ্লোরার পেজটি খুলতে নিচের বাটনে ক্লিক করুন:

  2. নিম্নলিখিত ফিল্টারটি কোয়েরি প্যানে পেস্ট করুন ( লগ এক্সপ্লোরার ইন্টারফেসের #২):
    LOG_ID("run.googleapis.com%2Fstdout") AND
    severity=DEBUG
    
  3. রান কোয়েরি-তে ক্লিক করুন।

কোয়েরির ফলাফলে নিরাপত্তা রেটিং সহ প্রম্পট এবং ভার্টেক্স এআই প্রতিক্রিয়ার লগগুলো দেখানো হয়।

৯. জেন এআই-এর সাথে মিথস্ক্রিয়া গণনা করুন

ক্লাউড রান পরিচালিত মেট্রিক তৈরি করে যা ডেপ্লয় করা পরিষেবাগুলি নিরীক্ষণ করতে ব্যবহার করা যেতে পারে। ব্যবহারকারী-পরিচালিত মনিটরিং মেট্রিক ডেটা এবং মেট্রিক আপডেটের ফ্রিকোয়েন্সির উপর আরও বেশি নিয়ন্ত্রণ প্রদান করে। এই ধরনের মেট্রিক প্রয়োগ করতে এমন একটি কোড লিখতে হয় যা ডেটা সংগ্রহ করে এবং ক্লাউড মনিটরিং- এ তা লিখে রাখে। ওপেনটেলিমেট্রি এসডিকে ব্যবহার করে এটি প্রয়োগ করার পদ্ধতির জন্য পরবর্তী (ঐচ্ছিক) ধাপটি দেখুন।

এই ধাপে কোডে ইউজার মেট্রিক প্রয়োগ করার একটি বিকল্প দেখানো হয়েছে - লগ-ভিত্তিক মেট্রিক । লগ-ভিত্তিক মেট্রিক আপনাকে সেইসব লগ এন্ট্রি থেকে মনিটরিং মেট্রিক তৈরি করতে দেয়, যা আপনার অ্যাপ্লিকেশন ক্লাউড লগিং-এ লেখে। আমরা পূর্ববর্তী ধাপে প্রয়োগ করা অ্যাপ্লিকেশন লগগুলো ব্যবহার করে ‘কাউন্টার’ টাইপের একটি লগ-ভিত্তিক মেট্রিক নির্ধারণ করব। এই মেট্রিকটি ভার্টেক্স এপিআই-তে সফল কলের সংখ্যা গণনা করবে।

  1. পূর্ববর্তী ধাপে আমরা যে লগস এক্সপ্লোরার উইন্ডোটি ব্যবহার করেছিলাম, সেটির দিকে তাকান। কোয়েরি পেনের অধীনে অ্যাকশনস ড্রপ-ডাউন মেনুটি খুঁজুন এবং এটি খুলতে ক্লিক করুন। মেনুটি খুঁজে পেতে নিচের স্ক্রিনশটটি দেখুন:
    অ্যাকশন ড্রপ-ডাউন মেনু সহ কোয়েরি ফলাফল টুলবার
  2. খোলা মেনু থেকে ' Create metric' নির্বাচন করলে 'Create log-based metric' প্যানেলটি খুলবে।
  3. 'লগ-ভিত্তিক মেট্রিক তৈরি করুন' প্যানেলে একটি নতুন কাউন্টার মেট্রিক কনফিগার করতে এই ধাপগুলো অনুসরণ করুন:
    1. মেট্রিকের ধরণ নির্ধারণ করুন : কাউন্টার নির্বাচন করুন।
    2. Details সেকশনে নিম্নলিখিত ফিল্ডগুলি সেট করুন:
      • লগ মেট্রিকের নাম : নামটি model_interaction_count হিসেবে সেট করুন। নামকরণের ক্ষেত্রে কিছু সীমাবদ্ধতা প্রযোজ্য; বিস্তারিত জানতে ‘নামকরণের সীমাবদ্ধতা সংক্রান্ত সমস্যা সমাধান’ দেখুন।
      • বিবরণ : মেট্রিকটির জন্য একটি বিবরণ লিখুন। উদাহরণস্বরূপ, Number of log entries capturing successful call to model inference.
      • একক : এই স্থানটি খালি রাখুন অথবা 1 অঙ্কটি বসান।
    3. ফিল্টার নির্বাচন বিভাগে মানগুলি অপরিবর্তিত রাখুন। লক্ষ্য করুন যে, বিল্ড ফিল্টার ফিল্ডে সেই একই ফিল্টার রয়েছে যা আমরা অ্যাপ্লিকেশন লগ দেখার জন্য ব্যবহার করেছিলাম।
    4. (ঐচ্ছিক) এমন একটি লেবেল যোগ করুন যা প্রতিটি প্রাণীর জন্য কলের সংখ্যা গণনা করতে সাহায্য করে। দ্রষ্টব্য: এই লেবেলটি মেট্রিকের কার্ডিনালিটি ব্যাপকভাবে বাড়িয়ে দেওয়ার সম্ভাবনা রাখে এবং প্রোডাকশনে ব্যবহারের জন্য এটি সুপারিশ করা হয় না।
      1. লেবেল যোগ করুন -এ ক্লিক করুন।
      2. লেবেল বিভাগে নিম্নলিখিত ক্ষেত্রগুলি সেট করুন:
        • লেবেলের নাম : নামটি animal হিসেবে সেট করুন।
        • বিবরণ : লেবেলটির বিবরণ লিখুন। উদাহরণস্বরূপ, Animal parameter
        • লেবেলের ধরণ : STRING নির্বাচন করুন।
        • ফিল্ডের নাম : টাইপ jsonPayload.animal .
        • রেগুলার এক্সপ্রেশন : এটি খালি রাখুন।
      3. সম্পন্ন ক্লিক করুন
    5. মেট্রিকটি তৈরি করতে 'Create metric'-এ ক্লিক করুন।

আপনি লগ-ভিত্তিক মেট্রিক্স পৃষ্ঠা থেকে, gcloud logging metrics create CLI কমান্ড ব্যবহার করে অথবা google_logging_metric Terraform রিসোর্সের মাধ্যমেও একটি লগ-ভিত্তিক মেট্রিক তৈরি করতে পারেন।

মেট্রিক ডেটা তৈরি করতে সার্ভিস ইউআরএলটি খুলুন। মডেলে একাধিক কল করার জন্য খোলা পেজটি কয়েকবার রিফ্রেশ করুন। আগের মতোই, প্যারামিটারে ভিন্ন ভিন্ন প্রাণী ব্যবহার করার চেষ্টা করুন।

লগ-ভিত্তিক মেট্রিক ডেটা অনুসন্ধান করার জন্য PromQL কোয়েরিটি লিখুন। একটি PromQL কোয়েরি লিখতে, নিম্নলিখিতগুলি করুন:

  1. ক্লাউড কনসোলে মেট্রিক্স এক্সপ্লোরার পেজটি খুলতে নিচের বাটনে ক্লিক করুন:

  2. কোয়েরি-বিল্ডার পেনের টুলবারে, < > MQL অথবা < > PromQL নামের বাটনটি সিলেক্ট করুন। বাটনটির অবস্থান জানতে নিচের ছবিটি দেখুন।
    মেট্রিক্স এক্সপ্লোরারে MQL বাটনের অবস্থান
  3. ল্যাঙ্গুয়েজ টগলে PromQL নির্বাচিত আছে কিনা তা যাচাই করুন। ল্যাঙ্গুয়েজ টগলটি সেই একই টুলবারে রয়েছে, যা আপনাকে আপনার কোয়েরি ফরম্যাট করতে দেয়।
  4. কোয়েরি এডিটরে আপনার কোয়েরিটি লিখুন:
    sum(rate(logging_googleapis_com:user_model_interaction_count{monitored_resource="cloud_run_revision"}[${__interval}]))
    
    PromQL ব্যবহারের বিষয়ে আরও তথ্যের জন্য, ক্লাউড মনিটরিং-এ PromQL দেখুন।
  5. রান কোয়েরি-তে ক্লিক করুন। আপনি এই স্ক্রিনশটের মতো একটি লাইন চার্ট দেখতে পাবেন:
    জিজ্ঞাসিত মেট্রিকগুলি দেখান

    মনে রাখবেন যে, যখন অটো-রান টগলটি সক্রিয় থাকে, তখন রান কোয়েরি বাটনটি দেখানো হয় না।

১০. (ঐচ্ছিক) পর্যবেক্ষণ ও শনাক্তকরণের জন্য ওপেন টেলিমেট্রি ব্যবহার করুন।

পূর্ববর্তী ধাপে যেমন উল্লেখ করা হয়েছে, ওপেনটেলিমেট্রি (ওটেল) এসডিকে ব্যবহার করে মেট্রিক্স বাস্তবায়ন করা সম্ভব। মাইক্রো-সার্ভিস আর্কিটেকচারে ওটেল ব্যবহার করা একটি প্রস্তাবিত পদ্ধতি। এই ধাপে নিম্নলিখিত বিষয়গুলো বর্ণনা করা হয়েছে:

  • অ্যাপ্লিকেশনটির ট্রেসিং ও মনিটরিং সমর্থন করার জন্য OTel কম্পোনেন্টগুলো ইনিশিয়ালাইজ করা হচ্ছে।
  • ক্লাউড রান এনভায়রনমেন্টের রিসোর্স মেটাডেটা দিয়ে OTel কনফিগারেশন পূরণ করা হচ্ছে
  • স্বয়ংক্রিয় ট্রেসিং ক্ষমতা সহ ফ্লাস্ক অ্যাপ্লিকেশনে যন্ত্র স্থাপন
  • সফল মডেল কলের সংখ্যা নিরীক্ষণের জন্য একটি কাউন্টার মেট্রিক বাস্তবায়ন করা
  • অ্যাপ্লিকেশন লগের সাথে ট্রেসিং-এর সম্পর্ক স্থাপন করুন

প্রোডাক্ট-লেভেল সার্ভিসগুলোর জন্য প্রস্তাবিত আর্কিটেকচার হলো, এক বা একাধিক সার্ভিসের সমস্ত অবজার্ভেবিলিটি ডেটা সংগ্রহ ও ইনজেস্ট করার জন্য OTel কালেক্টর ব্যবহার করা। সরলতার স্বার্থে এই ধাপের কোডটিতে কালেক্টর ব্যবহার করা হয়নি। এর পরিবর্তে, এটি OTel এক্সপোর্ট ব্যবহার করে যা সরাসরি গুগল ক্লাউডে ডেটা লিখে দেয়।

ট্রেসিং এবং মেট্রিক মনিটরিংয়ের জন্য ওটেল কম্পোনেন্টগুলো সেটআপ করুন।

  1. আপনার ব্রাউজারের 'ক্লাউড শেল' উইন্ডোতে (বা ট্যাবে) ফিরে যান।
  2. টার্মিনালে, অতিরিক্ত নির্ভরতার তালিকা দিয়ে requirements.txt ফাইলটি আপডেট করুন:
    cat >> ~/codelab-o11y/requirements.txt << EOF
    opentelemetry-api==1.24.0
    opentelemetry-sdk==1.24.0
    opentelemetry-exporter-otlp-proto-http==1.24.0
    opentelemetry-instrumentation-flask==0.45b0
    opentelemetry-instrumentation-requests==0.45b0
    opentelemetry-exporter-gcp-trace==1.7.0
    opentelemetry-exporter-gcp-monitoring==1.7.0a0   
    EOF
    
  3. setup_opentelemetry.py নামে একটি নতুন ফাইল তৈরি করুন:
    cloudshell edit ~/codelab-o11y/setup_opentelemetry.py
    
    এখন টার্মিনালের উপরের এডিটর উইন্ডোতে একটি খালি ফাইল দেখা যাবে।
  4. নিচের কোডটি কপি করে খোলা setup_opentelemetry.py ফাইলটিতে পেস্ট করুন:
    import os
    
    from opentelemetry import metrics
    from opentelemetry import trace
    from opentelemetry.exporter.cloud_monitoring import CloudMonitoringMetricsExporter
    from opentelemetry.exporter.cloud_trace import CloudTraceSpanExporter
    from opentelemetry.resourcedetector.gcp_resource_detector import GoogleCloudResourceDetector
    from opentelemetry.sdk.metrics import MeterProvider
    from opentelemetry.sdk.trace import TracerProvider
    from opentelemetry.sdk.metrics.export import PeriodicExportingMetricReader
    from opentelemetry.sdk.resources import get_aggregated_resources, Resource, CLOUD_ACCOUNT_ID, SERVICE_NAME
    from opentelemetry.sdk.trace.export import BatchSpanProcessor
    
    resource = get_aggregated_resources(
        [GoogleCloudResourceDetector(raise_on_error=True)]
    )
    resource = resource.merge(Resource.create(attributes={
        SERVICE_NAME: os.getenv("K_SERVICE"),
    }))
    
    meter_provider = MeterProvider(
        resource=resource,
        metric_readers=[
            PeriodicExportingMetricReader(
                CloudMonitoringMetricsExporter(), export_interval_millis=5000
            )
        ],
    )
    metrics.set_meter_provider(meter_provider)
    meter = metrics.get_meter(__name__)
    
    trace_provider = TracerProvider(resource=resource)
    processor = BatchSpanProcessor(CloudTraceSpanExporter(
        # send all resource attributes
        resource_regex=r".*"
    ))
    trace_provider.add_span_processor(processor)
    trace.set_tracer_provider(trace_provider)
    
    def google_trace_id_format(trace_id: int) -> str:
        project_id = resource.attributes[CLOUD_ACCOUNT_ID]
        return f'projects/{project_id}/traces/{trace.format_trace_id(trace_id)}'
    
    কয়েক সেকেন্ড পর ক্লাউড শেল এডিটর আপনার কোড স্বয়ংক্রিয়ভাবে সংরক্ষণ করবে।

OTel ব্যবহার করে ট্রেসিং এবং মনিটরিং ক্ষমতাসহ ইন্সট্রুমেন্ট অ্যাপ্লিকেশন কোড।

  1. টার্মিনালে, main.py পুনরায় খুলুন:
    cloudshell edit ~/codelab-o11y/main.py
    
  2. অ্যাপ্লিকেশনটির কোডে নিম্নলিখিত পরিবর্তনগুলো করুন:
    1. import os (লাইন ১) এর আগে নিম্নলিখিত কোডটি যুক্ত করুন (শেষের খালি লাইনটির দিকে খেয়াল রাখবেন):
      from setup_opentelemetry import google_trace_id_format
      from opentelemetry import metrics, trace
      from opentelemetry.instrumentation.requests import RequestsInstrumentor
      from opentelemetry.instrumentation.flask import FlaskInstrumentor
      
      
    2. format() মেথডটি ডিক্লেয়ার করার পর (লাইন ৯) নিচের কোডটি ইনসার্ট করুন (ইন্ডেন্টেশনের দিকে খেয়াল রাখবেন):
              span = trace.get_current_span()
      
    3. ১৩ নম্বর লাইনের (যেখানে "message": record.getMessage() রয়েছে) পরে নিম্নলিখিত কোডটি যুক্ত করুন (ইন্ডেন্টেশনের দিকে খেয়াল রাখবেন):
                  "logging.googleapis.com/trace": google_trace_id_format(span.get_span_context().trace_id),
                  "logging.googleapis.com/spanId": trace.format_span_id(span.get_span_context().span_id),
      
      এই দুটি অতিরিক্ত অ্যাট্রিবিউট অ্যাপ্লিকেশন লগ এবং ওটেল ট্রেসিং স্প্যানগুলির মধ্যে সম্পর্ক স্থাপন করতে সাহায্য করে।
    4. app = Flask(__name__) (লাইন ৩১)-এর পরে নিম্নলিখিত কোডটি যুক্ত করুন:
      FlaskInstrumentor().instrument_app(app)
      RequestsInstrumentor().instrument()
      
      এই লাইন ইনস্ট্রুমেন্টটি আমাদের ফ্লাস্ক অ্যাপ্লিকেশনের সমস্ত ইনকামিং এবং আউটগোয়িং অনুরোধ ট্রেসিং সহ রেকর্ড করে।
    5. নতুন যোগ করা কোডের ঠিক পরেই (৩৩ নম্বর লাইনের পর) নিম্নলিখিত কোডটি যোগ করুন:
      meter = metrics.get_meter(__name__)
      requests_counter = meter.create_counter(
          name="model_call_counter",
          description="number of model invocations",
          unit="1"
      )
      
      এই লাইনগুলো model_call_counter নামে `counter` টাইপের একটি নতুন মেট্রিক তৈরি করে এবং এটিকে এক্সপোর্টের জন্য রেজিস্টার করে।
    6. logger.debug() কল করার পর (লাইন ৪৯) নিম্নলিখিত কোডটি যুক্ত করুন:
          requests_counter.add(1, {'animal': animal})
      
      এই পরিবর্তনের ফলে, অ্যাপ্লিকেশনটি যখনই জেমিনি মডেলের সাথে ইন্টারঅ্যাক্ট করার জন্য সফলভাবে ভার্টেক্স এপিআই কল করবে, তখন কাউন্টারটি ১ করে বৃদ্ধি পাবে।

Gen AI অ্যাপ্লিকেশনটির কোড Cloud Run-এ ডেপ্লয় করুন।

  1. টার্মিনাল উইন্ডোতে অ্যাপ্লিকেশনটির সোর্স কোড ক্লাউড রান-এ ডেপ্লয় করার জন্য কমান্ডটি চালান।
    gcloud run deploy codelab-o11y-service \
         --source="${HOME}/codelab-o11y/" \
         --region=us-central1 \
         --allow-unauthenticated
    
    যদি আপনি নিচের মতো একটি প্রম্পট দেখতে পান, যা আপনাকে জানাচ্ছে যে কমান্ডটি একটি নতুন রিপোজিটরি তৈরি করবে, তাহলে Enter চাপুন।
    Deploying from source requires an Artifact Registry Docker repository to store built containers.
    A repository named [cloud-run-source-deploy] in region [us-central1] will be created.
    
    Do you want to continue (Y/n)?
    
    ডেপ্লয়মেন্ট প্রক্রিয়াটিতে কয়েক মিনিট পর্যন্ত সময় লাগতে পারে। ডেপ্লয়মেন্ট প্রক্রিয়াটি সম্পন্ন হওয়ার পর আপনি নিচের মতো আউটপুট দেখতে পাবেন:
    Service [codelab-o11y-service] revision [codelab-o11y-service-00001-t2q] has been deployed and is serving 100 percent of traffic.
    Service URL: https://codelab-o11y-service-12345678901.us-central1.run.app
    
  2. প্রদর্শিত ক্লাউড রান সার্ভিস ইউআরএলটি আপনার ব্রাউজারের একটি আলাদা ট্যাব বা উইন্ডোতে কপি করুন। বিকল্পভাবে, সার্ভিস ইউআরএলটি প্রিন্ট করার জন্য টার্মিনালে নিম্নলিখিত কমান্ডটি চালান এবং ইউআরএলটি খোলার জন্য Ctrl কী চেপে ধরে প্রদর্শিত ইউআরএলটিতে ক্লিক করুন:
    gcloud run services list \
         --format='value(URL)' \
         --filter='SERVICE:"codelab-o11y-service"'
    
    যখন ইউআরএলটি খোলা হবে, তখন আপনি 500 এরর পেতে পারেন অথবা এই মেসেজটি দেখতে পারেন:
    Sorry, this is just a placeholder...
    
    এর মানে হলো, সার্ভিসটির ডেপ্লয়মেন্ট সম্পূর্ণ হয়নি। কিছুক্ষণ অপেক্ষা করুন এবং পেজটি রিফ্রেশ করুন। শেষে আপনি ‘Fun Dog Facts’ দিয়ে শুরু হওয়া একটি লেখা দেখতে পাবেন, যেখানে কুকুর সম্পর্কে ১০টি মজার তথ্য থাকবে।

টেলিমেট্রি ডেটা তৈরি করতে সার্ভিস ইউআরএলটি খুলুন। ভিন্ন ভিন্ন ফলাফল পেতে ?animal= প্যারামিটারের মান পরিবর্তন করার সময় পেজটি রিফ্রেশ করুন।

অ্যাপ্লিকেশন ট্রেস অন্বেষণ করুন

  1. ক্লাউড কনসোলে ট্রেস এক্সপ্লোরার পেজটি খুলতে নিচের বাটনে ক্লিক করুন:

  2. সবচেয়ে সাম্প্রতিক ট্রেসগুলোর মধ্যে একটি নির্বাচন করুন। আপনি নিচের স্ক্রিনশটের মতো ৫ বা ৬টি স্প্যান দেখতে পাবেন।
    ট্রেস এক্সপ্লোরারে অ্যাপ স্প্যানের দৃশ্য
  3. সেই স্প্যানটি খুঁজুন যা ইভেন্ট হ্যান্ডলার ( fun_facts মেথড)-এর কলটি ট্রেস করে। এটি হবে / নামের শেষ স্প্যানটি।
  4. ট্রেস ডিটেইলস প্যানে 'লগস অ্যান্ড ইভেন্টস' নির্বাচন করুন। আপনি এই নির্দিষ্ট স্প্যানটির সাথে সম্পর্কিত অ্যাপ্লিকেশন লগগুলো দেখতে পাবেন। ট্রেস এবং লগে থাকা ট্রেস ও স্প্যান আইডি ব্যবহার করে এই সম্পর্কটি শনাক্ত করা হয়। আপনার সেই অ্যাপ্লিকেশন লগটি দেখার কথা, যেটি ভার্টেক্স এপিআই-এর প্রম্পট এবং রেসপন্স লিখেছিল।

কাউন্টার মেট্রিক অন্বেষণ করুন

  1. ক্লাউড কনসোলে মেট্রিক্স এক্সপ্লোরার পেজটি খুলতে নিচের বাটনে ক্লিক করুন:

  2. কোয়েরি-বিল্ডার পেনের টুলবারে, < > MQL অথবা < > PromQL নামের বাটনটি সিলেক্ট করুন। বাটনটির অবস্থান জানতে নিচের ছবিটি দেখুন।
    মেট্রিক্স এক্সপ্লোরারে MQL বাটনের অবস্থান
  3. ল্যাঙ্গুয়েজ টগলে PromQL নির্বাচিত আছে কিনা তা যাচাই করুন। ল্যাঙ্গুয়েজ টগলটি সেই একই টুলবারে রয়েছে, যা আপনাকে আপনার কোয়েরি ফরম্যাট করতে দেয়।
  4. কোয়েরি এডিটরে আপনার কোয়েরিটি লিখুন:
    sum(rate(workload_googleapis_com:model_call_counter{monitored_resource="generic_task"}[${__interval}]))
    
  5. রান কোয়েরি-তে ক্লিক করুন। যখন অটো-রান টগলটি সক্রিয় থাকে, তখন রান কোয়েরি বাটনটি দেখানো হয় না।

১১. (ঐচ্ছিক) লগ থেকে সংবেদনশীল তথ্য গোপন করা

ধাপ ১০-এ আমরা জেমিনি মডেলের সাথে অ্যাপ্লিকেশনটির মিথস্ক্রিয়া সম্পর্কিত তথ্য লগ করেছি। এই তথ্যের মধ্যে প্রাণীটির নাম, প্রকৃত প্রম্পট এবং মডেলটির প্রতিক্রিয়া অন্তর্ভুক্ত ছিল। যদিও লগে এই তথ্য সংরক্ষণ করা নিরাপদ হওয়া উচিত, তবে অন্যান্য অনেক ক্ষেত্রে এটি সবসময় সত্যি নাও হতে পারে। প্রম্পটটিতে কিছু ব্যক্তিগত বা অন্য কোনো সংবেদনশীল তথ্য থাকতে পারে যা একজন ব্যবহারকারী সংরক্ষণ করতে চান না। এর সমাধান করতে, আপনি ক্লাউড লগিং-এ লেখা সংবেদনশীল ডেটা অস্পষ্ট (obfuscated) করতে পারেন। কোডের পরিবর্তন কমানোর জন্য নিম্নলিখিত সমাধানটি সুপারিশ করা হচ্ছে।

  1. আগত লগ এন্ট্রিগুলি সংরক্ষণ করার জন্য একটি পাবসাব টপিক তৈরি করুন।
  2. একটি লগ সিঙ্ক তৈরি করুন যা গৃহীত লগগুলিকে PubSub টপিকে পুনঃনির্দেশিত করে।
  3. নিম্নলিখিত ধাপগুলি অনুসরণ করে একটি ডেটাফ্লো পাইপলাইন তৈরি করুন যা PubSub টপিকে পুনঃনির্দেশিত লগগুলি পরিবর্তন করে:
    1. PubSub টপিক থেকে একটি লগ এন্ট্রি পড়ুন
    2. DLP ইন্সপেকশন API ব্যবহার করে এন্ট্রির পেলোডে সংবেদনশীল তথ্য আছে কিনা তা পরীক্ষা করুন।
    3. ডিএলপি রিডাকশন পদ্ধতিগুলোর মধ্যে যেকোনো একটি ব্যবহার করে পেলোডের সংবেদনশীল তথ্য গোপন করুন।
    4. অস্পষ্ট লগ এন্ট্রিটি ক্লাউড লগিং-এ লিখুন।
  4. পাইপলাইনটি স্থাপন করুন

১২. (ঐচ্ছিক) পরিষ্কার করা

কোডল্যাবে ব্যবহৃত রিসোর্স এবং এপিআই-এর জন্য চার্জ হওয়ার ঝুঁকি এড়াতে, ল্যাব শেষ করার পর প্রজেক্টটি পরিষ্কার করে ফেলার পরামর্শ দেওয়া হয়। বিলিং বন্ধ করার সবচেয়ে সহজ উপায় হলো কোডল্যাবের জন্য তৈরি করা প্রজেক্টটি ডিলিট করে দেওয়া।

  1. প্রজেক্টটি ডিলিট করতে টার্মিনালে `delete project` কমান্ডটি চালান:
    PROJECT_ID=$(gcloud config get-value project)
    gcloud projects delete ${PROJECT_ID} --quiet
    
    আপনার ক্লাউড প্রজেক্ট মুছে ফেললে সেই প্রজেক্টে ব্যবহৃত সমস্ত রিসোর্স এবং এপিআই-এর বিলিং বন্ধ হয়ে যাবে। আপনি এই বার্তাটি দেখতে পাবেন, যেখানে PROJECT_ID হবে আপনার প্রজেক্ট আইডি:
    Deleted [https://cloudresourcemanager.googleapis.com/v1/projects/PROJECT_ID].
    
    You can undo this operation for a limited period by running the command below.
        $ gcloud projects undelete PROJECT_ID
    
    See https://cloud.google.com/resource-manager/docs/creating-managing-projects for information on shutting down projects.
    
  2. (ঐচ্ছিক) যদি কোনো ত্রুটি দেখা দেয়, তাহলে ল্যাবের সময় ব্যবহৃত প্রজেক্ট আইডিটি খুঁজে বের করতে ধাপ ৫ দেখুন। প্রথম নির্দেশনার কমান্ডে এটি প্রতিস্থাপন করুন। উদাহরণস্বরূপ, যদি আপনার প্রজেক্ট আইডি lab-example-project হয়, তাহলে কমান্ডটি হবে:
    gcloud projects delete lab-project-id-example --quiet
    

১৩. অভিনন্দন

এই ল্যাবে, আপনি একটি Gen AI অ্যাপ্লিকেশন তৈরি করেছেন যা পূর্বাভাস দেওয়ার জন্য Gemini মডেল ব্যবহার করে। এবং অ্যাপ্লিকেশনটিকে প্রয়োজনীয় মনিটরিং ও লগিং সক্ষমতা দিয়ে সজ্জিত করেছেন। আপনি সোর্স কোড থেকে অ্যাপ্লিকেশনটি এবং এর পরিবর্তনগুলো Cloud Run- এ ডেপ্লয় করেছেন। এরপর, অ্যাপ্লিকেশনটির নির্ভরযোগ্যতা সম্পর্কে নিশ্চিত হওয়ার জন্য আপনি এর পারফরম্যান্স ট্র্যাক করতে Google Cloud Observability প্রোডাক্টগুলো ব্যবহার করেছেন।

আপনি বর্তমানে যে পণ্যগুলো নিয়ে কাজ করছেন সেগুলোর উন্নতির জন্য কোনো ইউজার এক্সপেরিয়েন্স (UX) গবেষণা সমীক্ষায় অন্তর্ভুক্ত হতে আগ্রহী হলে, এখানে নিবন্ধন করুন

আপনার পড়াশোনা চালিয়ে যাওয়ার জন্য এখানে কিছু উপায় দেওয়া হলো: