ভার্টেক্স এআই মূল্যায়নের মাধ্যমে একক এলএলএম আউটপুট মূল্যায়ন

১. সংক্ষিপ্ত বিবরণ

এই ল্যাবে, আপনি Vertex AI Gen AI Evaluation Service ব্যবহার করে বৃহৎ ল্যাঙ্গুয়েজ মডেল মূল্যায়ন করতে শিখবেন। আপনি SDK ব্যবহার করে ইভ্যালুয়েশন জব চালাবেন, ফলাফল তুলনা করবেন এবং মডেলের পারফরম্যান্স ও প্রম্পট ডিজাইন সম্পর্কে ডেটা-ভিত্তিক সিদ্ধান্ত নেবেন।

এই ল্যাবটি আপনাকে একটি প্রচলিত মূল্যায়ন কর্মপ্রবাহের মধ্য দিয়ে নিয়ে যাবে, যা সহজ, গণনা-ভিত্তিক মেট্রিক্স দিয়ে শুরু হয়ে আরও সূক্ষ্ম, মডেল-ভিত্তিক মূল্যায়নের দিকে অগ্রসর হবে। এছাড়াও আপনি আপনার নির্দিষ্ট লক্ষ্য অনুযায়ী কাস্টম মেট্রিক্স তৈরি করতে এবং ভার্টেক্স এআই এক্সপেরিমেন্টস ব্যবহার করে আপনার কাজের অগ্রগতি ট্র্যাক করতে শিখবেন।

আপনি যা শিখবেন

এই ল্যাবে, আপনি নিম্নলিখিত কাজগুলো কীভাবে সম্পাদন করতে হয় তা শিখবেন:

• গণনা-ভিত্তিক এবং মডেল-ভিত্তিক মেট্রিক ব্যবহার করে একটি মডেল মূল্যায়ন করুন।
• পণ্যের লক্ষ্যের সাথে মূল্যায়নকে সামঞ্জস্যপূর্ণ করতে একটি নিজস্ব মেট্রিক তৈরি করুন।
• বিভিন্ন প্রম্পট টেমপ্লেট পাশাপাশি তুলনা করুন।
• সবচেয়ে কার্যকর সংস্করণটি খুঁজে বের করতে একাধিক ব্যক্তিত্ব-ভিত্তিক নির্দেশিকা পরীক্ষা করুন।
• Vertex AI Experiments ব্যবহার করে মূল্যায়ন রানগুলো ট্র্যাক ও ভিজ্যুয়ালাইজ করুন।

তথ্যসূত্র

• কোড নমুনা: এই ল্যাবটি গুগল ক্লাউড জেনারেটিভ এআই রিপোজিটরি থেকে নেওয়া উদাহরণের উপর ভিত্তি করে তৈরি করা হয়েছে।
• Vertex AI Gen AI মূল্যায়ন ডকুমেন্টেশনের উপর ভিত্তি করে
• ডেটাসেট: নির্দেশনা অনুসরণ মূল্যায়নের জন্য ওপেনওরকা ডেটাসেট

২. প্রজেক্ট সেটআপ

গুগল অ্যাকাউন্ট

যদি আপনার আগে থেকে কোনো ব্যক্তিগত গুগল অ্যাকাউন্ট না থাকে, তাহলে আপনাকে অবশ্যই একটি গুগল অ্যাকাউন্ট তৈরি করতে হবে।

কর্মক্ষেত্র বা শিক্ষা প্রতিষ্ঠানের অ্যাকাউন্টের পরিবর্তে ব্যক্তিগত অ্যাকাউন্ট ব্যবহার করুন ।

কর্মক্ষেত্র এবং শিক্ষা প্রতিষ্ঠানের অ্যাকাউন্টে এমন সীমাবদ্ধতা থাকতে পারে, যার ফলে আপনি এই ল্যাবের জন্য প্রয়োজনীয় এপিআইগুলো সক্রিয় করতে পারবেন না।

গুগল ক্লাউড কনসোলে সাইন-ইন করুন

আপনার ব্যক্তিগত গুগল অ্যাকাউন্ট ব্যবহার করে গুগল ক্লাউড কনসোলে সাইন-ইন করুন।

বিলিং সক্ষম করুন

বিলিং চালু করার জন্য আপনার কাছে দুটি বিকল্প আছে। আপনি হয় আপনার ব্যক্তিগত বিলিং অ্যাকাউন্ট ব্যবহার করতে পারেন অথবা নিম্নলিখিত ধাপগুলো অনুসরণ করে ক্রেডিট রিডিম করতে পারেন।

গুগল ক্লাউড ক্রেডিট রিডিম করুন (ঐচ্ছিক)

এই ওয়ার্কশপটি চালানোর জন্য আপনার কিছু ক্রেডিট সহ একটি বিলিং অ্যাকাউন্ট প্রয়োজন। শুরু করার জন্য এই কোডল্যাবের উপরের ব্যানার থেকে ক্রেডিট ব্যবহার করুন। আপনি যদি ইতিমধ্যেই একটি বিলিং অ্যাকাউন্টের সাথে সংযুক্ত থাকেন, তাহলে আপনি এই ধাপটি এড়িয়ে যেতে পারেন।

একটি ব্যক্তিগত বিলিং অ্যাকাউন্ট তৈরি করুন

আপনি যদি গুগল ক্লাউড ক্রেডিট ব্যবহার করে বিলিং সেট আপ করেন, তাহলে এই ধাপটি এড়িয়ে যেতে পারেন।

একটি ব্যক্তিগত বিলিং অ্যাকাউন্ট তৈরি করতে, ক্লাউড কনসোলে বিলিং চালু করার জন্য এখানে যান ।

কিছু নোট:

• এই ল্যাবটি সম্পন্ন করতে ক্লাউড রিসোর্সে ১ মার্কিন ডলারেরও কম খরচ হওয়া উচিত।
• পরবর্তী চার্জ এড়াতে, এই ল্যাবের শেষে দেওয়া ধাপগুলো অনুসরণ করে আপনি রিসোর্সগুলো মুছে ফেলতে পারেন।
• নতুন ব্যবহারকারীরা ৩০০ মার্কিন ডলারের ফ্রি ট্রায়ালের জন্য যোগ্য।

একটি প্রকল্প তৈরি করুন (ঐচ্ছিক)

এই ল্যাবের জন্য ব্যবহার করার মতো আপনার যদি কোনো চলমান প্রজেক্ট না থাকে, তাহলে এখানে একটি নতুন প্রজেক্ট তৈরি করুন ।

৩. আপনার Vertex AI Workbench পরিবেশ সেট আপ করুন।

চলুন আপনার আগে থেকে কনফিগার করা নোটবুক এনভায়রনমেন্টে প্রবেশ করে প্রয়োজনীয় ডিপেন্ডেন্সিগুলো ইনস্টল করার মাধ্যমে শুরু করা যাক।

ভার্টেক্স এআই ওয়ার্কবেঞ্চ অ্যাক্সেস করুন

1. গুগল ক্লাউড কনসোলে, নেভিগেশন মেনু ☰ > Vertex AI > ড্যাশবোর্ড- এ ক্লিক করে Vertex AI- তে যান।

2. সকল প্রস্তাবিত এপিআই সক্ষম করুন -এ ক্লিক করুন। দ্রষ্টব্য: এই ধাপটি সম্পন্ন হওয়া পর্যন্ত অনুগ্রহ করে অপেক্ষা করুন।
3. বাম দিকে, একটি নতুন ওয়ার্কবেঞ্চ ইনস্ট্যান্স তৈরি করতে ওয়ার্কবেঞ্চ-এ ক্লিক করুন।
4. ওয়ার্কবেঞ্চ ইনস্ট্যান্সটির নাম evaluation-workbench দিন এবং Create-এ ক্লিক করুন।
5. ওয়ার্কবেঞ্চটি প্রস্তুত হওয়ার জন্য অপেক্ষা করুন। এতে কয়েক মিনিট সময় লাগতে পারে।
6. ওয়ার্কবেঞ্চটি প্রস্তুত হয়ে গেলে, Open JupyterLab-এ ক্লিক করুন।
7. ওয়ার্কবেঞ্চে একটি নতুন Python3 নোটবুক তৈরি করুন।

এই পরিবেশের বৈশিষ্ট্য এবং সক্ষমতা সম্পর্কে আরও জানতে, Vertex AI Workbench- এর অফিসিয়াল ডকুমেন্টেশন দেখুন।

প্যাকেজ ইনস্টল করুন এবং আপনার পরিবেশ কনফিগার করুন

1. আপনার নোটবুকের প্রথম সেলে, Vertex AI SDK (ইভ্যালুয়েশন কম্পোনেন্ট সহ) এবং অন্যান্য প্রয়োজনীয় প্যাকেজ ইনস্টল করতে নিচের ইম্পোর্ট স্টেটমেন্টগুলো যোগ করুন এবং রান করুন (SHIFT+ENTER)।

   %pip install -U -q google-cloud-aiplatform[evaluation]
   %pip install -U -q datasets anthropic[vertex] openai
   

2. নতুন ইনস্টল করা প্যাকেজগুলি ব্যবহার করার জন্য, নিচের কোড স্নিপেটটি চালিয়ে কার্নেল রিস্টার্ট করার পরামর্শ দেওয়া হচ্ছে।

   # Automatically restart kernel after installation so that your environment can access the new packages.
   import IPython
   
   app = IPython.Application.instance()
   app.kernel.do_shutdown(True)
   
   

3. নিম্নলিখিতটি আপনার প্রজেক্ট আইডি এবং অবস্থান দিয়ে প্রতিস্থাপন করুন এবং নিম্নলিখিত সেলটি চালান। ডিফল্ট অবস্থান europe-west1 হিসাবে সেট করা আছে, কিন্তু আপনার Vertex AI ওয়ার্কবেঞ্চ ইনস্ট্যান্সটি যে অবস্থানে রয়েছে, আপনাকে সেই একই অবস্থান ব্যবহার করতে হবে।

   # Configure your project settings
   PROJECT_ID = "YOUR PROJECT ID"
   LOCATION = "europe-west1"
   

4. একটি নতুন সেলে নিম্নলিখিত কোডটি চালিয়ে এই ল্যাবের জন্য প্রয়োজনীয় সমস্ত পাইথন লাইব্রেরি ইম্পোর্ট করুন।

   from anthropic import AnthropicVertex
   from google.auth import default, transport
   import openai
   import pandas as pd
   from vertexai.evaluation import (
      EvalTask,
      MetricPromptTemplateExamples,
      PairwiseMetric,
      PointwiseMetric,
      PointwiseMetricPromptTemplate,
   )
   from vertexai.generative_models import GenerativeModel
   from vertexai.preview.evaluation import notebook_utils
   

৪. আপনার মূল্যায়ন ডেটাসেট তৈরি করুন।

এই টিউটোরিয়ালের জন্য, আমরা ওপেনওরকা ডেটাসেট থেকে ১০টি স্যাম্পল ব্যবহার করব। এর ফলে মডেলগুলোর মধ্যে অর্থপূর্ণ পার্থক্য দেখার জন্য আমাদের কাছে পর্যাপ্ত ডেটা থাকবে এবং মূল্যায়নের সময়ও সহনীয় থাকবে।

💡 বিশেষ পরামর্শ: প্রোডাকশনের ক্ষেত্রে পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ ফলাফলের জন্য আপনার ১০০-৫০০টি উদাহরণের প্রয়োজন হবে, কিন্তু শেখা এবং দ্রুত প্রোটোটাইপিংয়ের জন্য ১০টি নমুনাই যথেষ্ট!

ডেটাসেট প্রস্তুত করুন

1. একটি নতুন সেলে, ডেটা লোড করতে, সেটিকে একটি পান্ডাস ডেটাফ্রেমে রূপান্তর করতে, আমাদের মূল্যায়ন কার্যক্রমে স্বচ্ছতার জন্য response কলামটির নাম পরিবর্তন করে reference হিসেবে রাখতে এবং দশটি উদাহরণের একটি র‍্যান্ডম স্যাম্পল তৈরি করতে নিম্নলিখিত কোডটি চালান।

   from datasets import load_dataset
   
   ds = (
      load_dataset(
         "Open-Orca/OpenOrca",
         data_files="1M-GPT4-Augmented.parquet",
         split="train[:100]",
      )
      .to_pandas()
      .drop(columns=["id"])
      .rename(columns={"response": "reference"})
   )
   
   dataset = ds.sample(n=10)
   

2. পূর্ববর্তী সেলের রান শেষ হওয়ার পর, পরবর্তী সেলে আপনার ইভ্যালুয়েশন ডেটাসেটের প্রথম কয়েকটি সারি প্রদর্শন করতে নিম্নলিখিত কোডটি যোগ করে রান করুন।

   dataset.head()
   

৫. গণনা-ভিত্তিক মেট্রিক্সের মাধ্যমে একটি ভিত্তি স্থাপন করুন।

এই কাজে, আপনি গণনা-ভিত্তিক একটি মেট্রিক ব্যবহার করে একটি বেসলাইন স্কোর স্থাপন করেন। এই পদ্ধতিটি দ্রুত এবং ভবিষ্যতের উন্নতি পরিমাপ করার জন্য একটি বস্তুনিষ্ঠ মানদণ্ড প্রদান করে।

আমরা ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ব্যবহার করব, যা সারসংক্ষেপ তৈরির কাজের জন্য একটি আদর্শ মেট্রিক। এটি মডেল-সৃষ্ট প্রতিক্রিয়ার শব্দক্রমকে (এন-গ্রাম) মূল reference টেক্সটের শব্দগুলোর সাথে তুলনা করে কাজ করে।

গণনা-ভিত্তিক মেট্রিক সম্পর্কে আরও পড়ুন।

বেসলাইন মূল্যায়ন চালানো হচ্ছে

1. একটি নতুন সেলে, আপনি যে মডেলটি পরীক্ষা করতে চান, gemini-2.0-flash , সেটি সংজ্ঞায়িত করার জন্য নিম্নলিখিত সেলটি যোগ করুন এবং চালান। generation_config এ temperature এবং max_output_tokens মতো প্যারামিটার অন্তর্ভুক্ত থাকে, যা মডেলের আউটপুটকে প্রভাবিত করে।

   # Model to be evaluated
   model = GenerativeModel(
       "gemini-2.0-flash",
       generation_config={"temperature": 0.6, "max_output_tokens": 256, "top_k": 1},
   )
   

   Vertex AI SDK-তে বৃহৎ ল্যাঙ্গুয়েজ মডেলগুলোর সাথে ইন্টারঅ্যাক্ট করার জন্য GenerativeModel ক্লাসটি হলো প্রধান ইন্টারফেস।
2. পরবর্তী সেলে, EvalTask ​​তৈরি ও কার্যকর করার জন্য নিম্নলিখিত কোডটি যোগ করে রান করুন। Vertex AI Evaluation SDK-এর এই অবজেক্টটি মূল্যায়ন প্রক্রিয়াটি পরিচালনা করে। আপনি ডেটাসেট এবং গণনা করার জন্য মেট্রিক্স দিয়ে এটি কনফিগার করেন, যা এই ক্ষেত্রে হলো rouge_l_sum ।

   # Define an EvalTask with ROUGE-L-SUM metric
   rouge_eval_task = EvalTask(
       dataset=dataset,
       metrics=["rouge_l_sum"],
   )
   rouge_result = rouge_eval_task.evaluate(
       model=model,
       prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
   )
   

3. পরবর্তী সেলে এই কোডটি চালিয়ে ফলাফল প্রদর্শন করুন।

   notebook_utils.display_eval_result(rouge_result)
   

   ` display_eval_result() ` ইউটিলিটিটি গড় স্কোর এবং সারি-ভিত্তিক ফলাফল প্রদর্শন করে।

৬. ঐচ্ছিক: মডেল-ভিত্তিক পয়েন্টওয়াইজ মেট্রিক্সের সাহায্যে মূল্যায়ন করুন।

দ্রষ্টব্য: প্রদত্ত বিনামূল্যের ক্রেডিটের সীমার মধ্যে এই অংশটি নাও চলতে পারে।

যদিও ROUGE দরকারী, এটি শুধুমাত্র শাব্দিক মিল পরিমাপ করে (অর্থাৎ এটি কেবল মিলে যাওয়া শব্দ গণনা করে, এটি প্রসঙ্গ, সমার্থক শব্দ বা ভাবানুবাদ বোঝে না)। তাই কোনো উত্তর সাবলীল বা যৌক্তিক কিনা তা নির্ধারণ করার জন্য এটি সেরা নয়। মডেলটির কার্যকারিতা সম্পর্কে আরও গভীর ধারণা পেতে, মডেল-ভিত্তিক পয়েন্টওয়াইজ মেট্রিক্স ব্যবহার করতে হয়।

এই পদ্ধতিতে, অন্য একজন এলএলএম ("জাজ মডেল") সাবলীলতা বা সঙ্গতির মতো পূর্বনির্ধারিত কিছু মানদণ্ডের ভিত্তিতে প্রতিটি প্রতিক্রিয়াকে স্বতন্ত্রভাবে মূল্যায়ন করেন।

মডেল-ভিত্তিক মেট্রিক্স সম্পর্কে আরও পড়ুন।

পয়েন্টওয়াইজ মূল্যায়ন চালান

1. একটি ইন্টারেক্টিভ ড্রপডাউন মেনু তৈরি করতে একটি নতুন সেলে নিম্নলিখিতটি চালান। এইবারের জন্য, তালিকা থেকে ‘কোহারেন্স’ নির্বাচন করুন।

   #Select a pointwise metric to use
   
   import ipywidgets as widgets
   
   pointwise_single_turn_metrics = [
       metric
       for metric in MetricPromptTemplateExamples.list_example_metric_names()
       if not metric.startswith("pairwise") and not metric.startswith("multi_turn")
   ]
   
   dropdown = widgets.Dropdown(
       options=pointwise_single_turn_metrics,
       description="Select a metric:",
       font_weight="bold",
       style={"description_width": "initial"},
   )
   
   def dropdown_eventhandler(change):
       global POINTWISE_METRIC
       if change["type"] == "change" and change["name"] == "value":
           POINTWISE_METRIC = change.new
           print("Selected:", change.new)
   
   POINTWISE_METRIC = dropdown.value
   dropdown.observe(dropdown_eventhandler, names="value")
   display(dropdown)
   

2. একটি নতুন সেলে, এবার নির্বাচিত মডেল-ভিত্তিক মেট্রিকটি ব্যবহার করে EvalTask টি আবার চালান। Vertex AI Evaluation Service, Judge Model-এর জন্য একটি প্রম্পট তৈরি করে, যার মধ্যে মূল প্রম্পট, রেফারেন্স উত্তর, ক্যান্ডিডেট মডেলের প্রতিক্রিয়া এবং নির্বাচিত মেট্রিকের জন্য নির্দেশাবলী অন্তর্ভুক্ত থাকে। Judge Model একটি সাংখ্যিক স্কোর এবং তার রেটিং-এর জন্য একটি ব্যাখ্যা প্রদান করে। দ্রষ্টব্য: এই ধাপটি সম্পন্ন হতে কয়েক মিনিট সময় লাগবে।

   pointwise_result = EvalTask(
       dataset=dataset,
       metrics=[POINTWISE_METRIC],
   ).evaluate(
       model=model,
       prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
   )
   

ফলাফল প্রদর্শন করুন

মূল্যায়ন সম্পন্ন হলে, পরবর্তী ধাপ হলো আউটপুট বিশ্লেষণ করা।

1. আপনার নির্বাচিত মেট্রিকের গড় স্কোর দেখতে, নিম্নলিখিত কোডটি একটি নতুন সেলে চালান।

   notebook_utils.display_eval_result(pointwise_result)
   

2. সারি-ভিত্তিক বিস্তারিত বিবরণ দেখতে পরবর্তী সেলে নিম্নলিখিতটি চালান, যেখানে জাজ মডেলের দেওয়া স্কোরের লিখিত যুক্তিও অন্তর্ভুক্ত রয়েছে। এই গুণগত প্রতিক্রিয়া আপনাকে বুঝতে সাহায্য করে যে কেন একটি প্রতিক্রিয়াকে একটি নির্দিষ্ট উপায়ে স্কোর করা হয়েছে।

   notebook_utils.display_explanations(pointwise_result, num=1, metrics=[POINTWISE_METRIC])
   

৭. আরও গভীর অন্তর্দৃষ্টির জন্য একটি কাস্টম মেট্রিক তৈরি করুন।

সাবলীলতার মতো পূর্ব-নির্মিত মেট্রিকগুলো উপকারী, কিন্তু একটি নির্দিষ্ট পণ্যের জন্য প্রায়শই আপনার নিজস্ব লক্ষ্যের সাপেক্ষে কর্মক্ষমতা পরিমাপ করার প্রয়োজন হয়। কাস্টম পয়েন্টভিত্তিক মেট্রিকের মাধ্যমে, আপনি আপনার নিজস্ব মূল্যায়ন মানদণ্ড এবং রুব্রিক নির্ধারণ করতে পারেন।

এই টাস্কে, আপনাকে একেবারে শুরু থেকে summarization_helpfulness নামে একটি নতুন মেট্রিক তৈরি করতে হবে।

কাস্টম মেট্রিকটি সংজ্ঞায়িত করুন এবং চালান

1. কাস্টম মেট্রিক নির্ধারণ করতে একটি নতুন সেলে নিম্নলিখিতটি চালান। PointwiseMetricPromptTemplate মেট্রিকটির মূল উপাদানগুলো রয়েছে:
   • মানদণ্ড : জাজ মডেলকে মূল্যায়নের জন্য নির্দিষ্ট মাত্রাগুলো বলে দেয়: "মূল তথ্য," "সংক্ষিপ্ততা," এবং "কোনো বিকৃতি নেই।"
   • রেটিং_রুব্রিক : একটি ৫-পয়েন্ট স্কোরিং স্কেল প্রদান করে যা প্রতিটি স্কোরের অর্থ ব্যাখ্যা করে।
   • input_variables : ডেটাসেট থেকে অতিরিক্ত কলামগুলো Judge মডেলে প্রেরণ করে, যাতে মূল্যায়ন সম্পাদনের জন্য প্রয়োজনীয় প্রেক্ষাপটটি এটির কাছে থাকে।

   # This new custom metric evaluates the actual quality and usefulness of the summary.
   
   summarization_helpfulness_metric = PointwiseMetric(
       metric="summarization_helpfulness",
       metric_prompt_template=PointwiseMetricPromptTemplate(
           criteria={
               "Key Information": "Does the summary capture the most critical pieces of information from the original text? It should not miss the main topic or key takeaways.",
               "Conciseness": "Is the summary brief and to the point? It should avoid unnecessary words or repetitive information.",
               "No Distortion": "Does the summary introduce information or opinions that were NOT present in the original text? It must accurately reflect the source material without adding hallucinations."
           },
           rating_rubric={
               "5": "Excellent: Captures all key information, is highly concise, and has zero distortion.",
               "4": "Good: Captures most key information with minor omissions, is concise, and has no distortion.",
               "3": "Satisfactory: Captures the main idea but misses some key details OR is not very concise.",
               "2": "Unsatisfactory: Misses the main idea of the original text OR contains minor distortions/hallucinations.",
               "1": "Poor: Is completely irrelevant, fails to summarize the text, OR contains significant distortions.",
           },
           input_variables=["prompt", "reference"],
       ),
   )
   

2. আপনার নতুন কাস্টম মেট্রিক দিয়ে EvalTask টি কার্যকর করতে পরবর্তী সেলে নিম্নলিখিত কোডটি চালান।

   # You would then update the EvalTask to use this new metric
   pointwise_result = EvalTask(
       dataset=dataset,
       metrics=[summarization_helpfulness_metric],
   ).evaluate(
       model=model,
       prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
   )
   

3. ফলাফল প্রদর্শন করতে একটি নতুন সেলে নিম্নলিখিতটি চালান।

   notebook_utils.display_eval_result(pointwise_result)
   

৮. জোড়ায় জোড়ায় মূল্যায়নের মাধ্যমে মডেলগুলোর তুলনা

যখন কোনো নির্দিষ্ট কাজে দুটি মডেলের মধ্যে কোনটি ভালো কাজ করে তা নির্ধারণ করার প্রয়োজন হয়, তখন আপনি পেয়ারওয়াইজ মডেল-ভিত্তিক মূল্যায়ন ব্যবহার করতে পারেন। এই পদ্ধতিটি A/B টেস্টিং-এর একটি রূপ, যেখানে একটি জাজ মডেল বিজয়ী নির্ধারণ করে, যা ডেটা-নির্ভর মডেল নির্বাচনের জন্য একটি সরাসরি তুলনার সুযোগ করে দেয়।

মডেলগুলো:

• প্রার্থী মডেল : মডেল ভেরিয়েবলটি (যা পূর্বে gemini-2.0-flash হিসাবে সংজ্ঞায়িত ছিল) .evaluate() মেথডে পাস করা হয়। এটিই সেই মূল মডেল যা আপনি পরীক্ষা করছেন।
• বেসলাইন মডেল : PairwiseMetric ক্লাসের ভিতরে gemini-2.0-flash-lite একটি দ্বিতীয় মডেল নির্দিষ্ট করা আছে। এই মডেলটির সাথেই আপনি তুলনা করছেন।

জোড়ায় জোড়ায় মূল্যায়ন চালান

1. একটি নতুন সেলে, একটি ইন্টারেক্টিভ ড্রপডাউন মেনু তৈরি করতে নিম্নলিখিত কোডটি যোগ করুন এবং চালান। এটি আপনাকে তুলনার জন্য কোন পেয়ারওয়াইজ মেট্রিক ব্যবহার করতে চান তা নির্বাচন করার সুযোগ দেবে। এই রানের জন্য, pairwise_summarization_quality নির্বাচন করুন।

   from IPython.display import display
   import ipywidgets as widgets
   
   pairwise_single_turn_metrics = [
       metric
       for metric in MetricPromptTemplateExamples.list_example_metric_names()
       if metric.startswith("pairwise") and "multi_turn" not in metric
   ]
   
   dropdown = widgets.Dropdown(
       options=pairwise_single_turn_metrics,
       description="Select a metric:",
       font_weight="bold",
       style={"description_width": "initial"},
   )
   
   def dropdown_eventhandler(change):
       global POINTWISE_METRIC
       if change["type"] == "change" and change["name"] == "value":
           POINTWISE_METRIC = change.new
           print("Selected:", change.new)
   
   def dropdown_eventhandler(change):
       global PAIRWISE_METRIC_NAME
       if change["type"] == "change" and change["name"] == "value":
           PAIRWISE_METRIC_NAME = change.new
           print("Selected:", change.new)
   
   
   PAIRWISE_METRIC_NAME = dropdown.value
   dropdown.observe(dropdown_eventhandler, names="value")
   display(dropdown)
   

2. পরবর্তী সেলে, EvalTask ​​কনফিগার ও এক্সিকিউট করার জন্য নিচের কোডটি যোগ করে রান করুন। লক্ষ্য করুন, কীভাবে বেসলাইন মডেল ( gemini-2.0-flash-lite ) নির্ধারণ করতে PairwiseMetric ক্লাসটি ব্যবহৃত হয়েছে, এবং একই সাথে ক্যান্ডিডেট মডেল ( gemini-2.0-flash ) .evaluate() মেথডে পাস করা হয়েছে।

   pairwise_result = EvalTask(
       dataset=dataset,
       metrics=[
           PairwiseMetric(
               metric=PAIRWISE_METRIC_NAME,
               metric_prompt_template=MetricPromptTemplateExamples.get_prompt_template(
                   PAIRWISE_METRIC_NAME
               ),
               # Define a baseline model to compare against
               baseline_model=GenerativeModel("gemini-2.0-flash-lite"),
           )
       ],
   ).evaluate(
       # Specify a candidate model for pairwise comparison
       model=model,
       prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
   )
   

3. ফলাফল প্রদর্শনের জন্য একটি নতুন সেলে নিম্নলিখিত কোডটি যোগ করে রান করুন। সামারি টেবিলে প্রতিটি মডেলের "উইন রেট" দেখানো হবে, যা থেকে বোঝা যাবে জাজ মডেলটি কোনটিকে বেশি পছন্দ করেছে।

   notebook_utils.display_eval_result(pairwise_result)
   

৯. ঐচ্ছিক: পার্সোনা-চালিত প্রম্পটগুলো মূল্যায়ন করুন

দ্রষ্টব্য: প্রদত্ত বিনামূল্যের ক্রেডিটের সীমার মধ্যে এই অংশটি নাও চলতে পারে।

এই টাস্কে, আপনি একাধিক প্রম্পট টেমপ্লেট পরীক্ষা করবেন যা মডেলকে বিভিন্ন পার্সোনা গ্রহণ করার নির্দেশ দেয়। এই প্রক্রিয়াটি, যাকে প্রায়শই প্রম্পট ইঞ্জিনিয়ারিং বা প্রম্পট ডিজাইন বলা হয়, আপনাকে একটি নির্দিষ্ট ব্যবহারের ক্ষেত্রের জন্য সবচেয়ে কার্যকর প্রম্পটটি পদ্ধতিগতভাবে খুঁজে বের করতে সাহায্য করে।

সারাংশ ডেটাসেট প্রস্তুত করুন

এই মূল্যায়নটি সম্পাদন করার জন্য, ডেটাসেটটিতে নিম্নলিখিত ফিল্ডগুলি থাকা প্রয়োজন:

• instruction : আমরা মডেলটিকে যে মূল কাজটি দিচ্ছি। এক্ষেত্রে, কাজটি হলো একটি সহজ "নিম্নলিখিত প্রবন্ধটির সারসংক্ষেপ করো:"।
• context : মডেলটিকে যে মূল লেখাটি নিয়ে কাজ করতে হবে। এখানে আমরা চারটি ভিন্ন সংবাদের অংশবিশেষ দিয়েছি।
• reference : এটিই হলো গ্রাউন্ড-ট্রুথ বা 'গোল্ড স্ট্যান্ডার্ড' সারাংশ। ROUGE এবং সারাংশের গুণমানের মতো মেট্রিকগুলোর স্কোর গণনা করার জন্য মডেলের তৈরি আউটপুটকে এই টেক্সটের সাথে তুলনা করা হবে।

1. সারাংশ তৈরির কাজের জন্য একটি pandas.DataFrame তৈরি করতে, একটি নতুন সেলে নিম্নলিখিত কোডটি যোগ করুন এবং চালান।

   instruction = "Summarize the following article: \n"
   
   context = [
       "Typhoon Phanfone has killed at least one person, a US airman on Okinawa who was washed away by high waves. Thousands of households have lost power and Japan's two largest airlines have suspended many flights. The storm also forced the suspension of the search for people missing after last week's volcanic eruption. The storm-tracking website Tropical Storm Risk forecasts that Phanfone will rapidly lose power over the next few hours as it goes further into the Pacific Ocean. Typhoon Phanfone was downgraded from an earlier status of a super typhoon, but the Japan Meteorological Agency had warned it was still a dangerous storm. Japan averages 11 typhoons a year, according to its weather agency. The typhoon made landfall on Monday morning near the central city of Hamamatsu, with winds of up to 180 km/h (112 mph). The airman was one of three US military personnel swept away by high waves whipped up by the typhoon off southern Okinawa island, where the US has a large military base. The remaining two are still missing. A police spokesman said they had been taking photographs of the sea. A university student who was surfing off the seas of Kanagawa Prefecture, south of Tokyo, was also missing, national broadcast NHK reports. It said at least 10 people had been injured and 9,500 houses were without power. The storm was expected to deposit about 100mm of rain on Tokyo over 24 hours, according to the Transport Ministry website. Many schools were closed on Monday and two car companies in Japan halted production at some plants ahead of the storm. More than 174 domestic flights were affected nationwide, NHK state broadcaster said on Sunday. On Sunday, heavy rain delayed the Japanese Formula One Grand Prix in Suzaka. French driver Jules Bianchi lost control in the wet conditions and crashed, sustaining a severe head injury.",
       "The blaze started at the detached building in Drivers End in Codicote, near Welwyn, during the morning. There was another fire at the building 20 years ago, after which fire-proof foil was placed under the thatch, which is protecting the main building. More than 15 fire engines and support vehicles were called to tackle the blaze. Roads in the area were closed and traffic diverted.",
       'The 18-year-old fell at the New Charter Academy on Broadoak Road in Ashton-under-Lyne at about 09:10 BST, Greater Manchester Police (GMP) said. GMP said he had gone to Manchester Royal Infirmary and his condition was "serious". Principal Jenny Langley said the school would remain "fully open" while police investigated. "Our thoughts are with the family and we\'re doing everything we can to support them along with staff and pupils," she said.',
       'But Belgian-born Dutchman Max Verstappen was unable to drive a car legally on his own in either country. That all changed on Wednesday when the youngster turned 18 and passed his driving test at the first attempt. Despite having competed in 14 grands prix since his debut in Australia in March, Verstappen admitted to feeling the pressure during his test. "It\'s a relief," said the Toro Rosso driver, who finished ninth in Japan on Sunday and had only started driving lessons a week ago. "I was a bit nervous to make mistakes, but the exam went well." A bonus of turning 18 is that Verstappen will now be able to drink the champagne if he ever makes it onto the podium.',
   ]
   
   reference = [
       "A powerful typhoon has brought many parts of Japan to a standstill and briefly battered Tokyo before heading out to sea.",
       "A major fire has been burning in the thatched roof of a large property in Hertfordshire.",
       "A student has been taken to hospital after falling from a balcony at a Greater Manchester school.",
       "He is Formula 1's youngest ever driver and in charge of a car that can reach over 200mph.",
   ]
   
   response = [
       "Typhoon Phanfone, while downgraded from super typhoon status, caused significant disruption and tragedy in Japan. One US airman died after being swept away by high waves, with two more missing. The storm caused power outages for thousands, flight cancellations, and the suspension of rescue efforts for missing volcano victims. Heavy rain and strong winds led to school and factory closures, transportation disruptions, and at least 10 injuries. The typhoon is expected to weaken as it moves over the Pacific Ocean.",
       "A large fire broke out in a detached thatched building in Codicote, near Welwyn. This is the second fire at the building in 20 years. Thankfully, fire-proof foil installed after the previous fire is protecting the main building. Over 15 fire engines and support vehicles responded, closing roads and diverting traffic in the area.",
       "An 18-year-old student at New Charter Academy in Ashton-under-Lyne suffered a serious fall and was hospitalized. The incident is under investigation by Greater Manchester Police, but the school remains open. The principal expressed support for the student's family and the school community.",
       "Max Verstappen, a Formula One driver, was finally able to get his driver's license at age 18. Despite already competing in 14 Grand Prix races, he was not of legal driving age in his native countries. He admitted to being nervous but passed the test on his first attempt.  As an added bonus of turning 18, Verstappen can now enjoy champagne on the podium if he places.",
   ]
   
   eval_dataset = pd.DataFrame(
       {
           "instruction": instruction,
           "context": context,
           "reference": reference,
       }
   )
   

প্রম্পট মূল্যায়ন টাস্কটি চালান।

সারাংশ ডেটাসেট প্রস্তুত হয়ে গেলে, আপনি এই টাস্কের মূল পরীক্ষাটি চালানোর জন্য প্রস্তুত: একাধিক প্রম্পট টেমপ্লেটের মধ্যে তুলনা করে দেখা যে কোনটি মডেল থেকে সর্বোচ্চ মানের আউটপুট দেয়।

1. পরবর্তী সেলে, একটি একক EvalTask ​​তৈরি করুন যা প্রতিটি প্রম্পট এক্সপেরিমেন্টের জন্য পুনরায় ব্যবহার করা হবে। experiment প্যারামিটার সেট করার মাধ্যমে, এই টাস্কের সমস্ত ইভ্যালুয়েশন রান স্বয়ংক্রিয়ভাবে লগ করা হয় এবং Vertex AI Experiments-এ গ্রুপ করা হয়।

   EXPERIMENT_NAME = "eval-sdk-prompt-engineering"  # @param {type:"string"}
   
   summarization_eval_task = EvalTask(
       dataset=eval_dataset,
       metrics=[
           "rouge_l_sum",
           "bleu",
           "fluency",
           "coherence",
           "safety",
           "groundedness",
           "summarization_quality",
           "verbosity",
           "instruction_following",
           "text_quality",
       ],
       experiment=EXPERIMENT_NAME,
   )
   

   বিস্তারিত মেট্রিক্স তালিকাটি লক্ষ্য করুন। আমরা সার্ভিসটিকে rouge_l_sum এবং bleu এর মতো কম্পিউটেশনাল মেট্রিক্স থেকে শুরু করে বিভিন্ন ধরনের মডেল-ভিত্তিক মেট্রিক্স (যেমন fluency , coherence , summarization_quality , instruction_following ইত্যাদি) গণনা করার নির্দেশ দিচ্ছি। এর ফলে প্রতিটি প্রম্পট কীভাবে মডেলের আউটপুটের গুণমানকে প্রভাবিত করে, তার একটি সামগ্রিক ও সার্বিক চিত্র আমরা পাই।
2. একটি নতুন সেলে, চারটি পার্সোনা-চালিত প্রম্পট কৌশল সংজ্ঞায়িত ও মূল্যায়ন করতে নিম্নলিখিত কোডটি যোগ করুন এবং চালান। for লুপটি প্রতিটি টেমপ্লেটের মধ্য দিয়ে পুনরাবৃত্তি করে এবং একটি মূল্যায়ন চালায়। প্রতিটি টেমপ্লেট মডেলকে একটি নির্দিষ্ট পার্সোনা বা লক্ষ্য প্রদানের মাধ্যমে ভিন্ন ধরনের সারাংশ বের করে আনার জন্য ডিজাইন করা হয়েছে:
   • পার্সোনা #১ (সাধারণ) : একটি নিরপেক্ষ, সহজবোধ্য সারসংক্ষেপের অনুরোধ।
   • পার্সোনা #২ (নির্বাহী) : একজন ব্যস্ত নির্বাহী যেমনটা পছন্দ করেন, সেই অনুযায়ী ফলাফল এবং প্রভাবের উপর আলোকপাত করে বুলেট পয়েন্টে একটি সারাংশ চেয়েছেন।
   • চরিত্র #৩ (পঞ্চম শ্রেণির শিক্ষার্থী) : মডেলটিকে সহজ ভাষা ব্যবহার করার নির্দেশ দেয়, এবং এর বক্তব্যের জটিলতা সামঞ্জস্য করার ক্ষমতা পরীক্ষা করে।
   • পার্সোনা #৪ (টেকনিক্যাল অ্যানালিস্ট) : একটি অত্যন্ত তথ্যবহুল সারাংশ দাবি করে যেখানে মূল পরিসংখ্যান এবং সত্তাগুলো সংরক্ষিত থাকে, যা মডেলের নির্ভুলতা পরীক্ষা করে। লক্ষ্য করুন যে এই নতুন টেমপ্লেটগুলিতে থাকা প্লেসহোল্ডারগুলি, যেমন {context} এবং {instruction} , এই কাজের জন্য আপনার তৈরি করা eval_dataset এর নতুন কলামের নামগুলির সাথে মিলে যায়।

           # Define prompt templates that target different user personas
       prompt_templates = [
           # Persona 1: Standard, neutral summary
           "Article: {context}. Task: {instruction}. Summary:",
   
           # Persona 2: For a busy executive (bullet points)
           "Instruction: {instruction} into three key bullet points for a busy executive. Focus on the main outcome and impact. Article: {context}. Summary:",
   
           # Persona 3: For a 5th grader (simple language)
           "Instruction: {instruction} such that you're explaining it to a 10-year-old. Use simple words. Article: {context}. Summary:",
   
           # Persona 4: For a technical analyst (fact-focused)
           "Instruction: Provide a detailed, factual summary of the following text, ensuring all key statistics, names, and locations are preserved. Article: {context}. Summary:",
       ]
   
       eval_results = []
       for i, prompt_template in enumerate(prompt_templates):
           eval_result = summarization_eval_task.evaluate(
               prompt_template=prompt_template,
               model=GenerativeModel(
                   "gemini-2.0-flash",
                   generation_config={
                       "temperature": 0.3,
                       "max_output_tokens": 256,
                       "top_k": 1,
                   },
               ),
               evaluation_service_qps=5,
           )
   
   
           eval_results.append((f"Prompt Persona #{i+1}", eval_result))
   

ফলাফল বিশ্লেষণ ও দৃশ্যমান করুন

পরীক্ষা চালানো হলো প্রথম ধাপ। এর আসল উপযোগিতা আসে ফলাফল বিশ্লেষণ করে ডেটা-ভিত্তিক সিদ্ধান্ত নেওয়ার মাধ্যমে। এই টাস্কে, আপনি প্রম্পট পার্সোনা এক্সপেরিমেন্টের আউটপুটগুলো ব্যাখ্যা করার জন্য SDK-এর ভিজ্যুয়ালাইজেশন টুলগুলো ব্যবহার করবেন।

1. আপনার পরীক্ষা করা চারটি প্রম্পট পারসোনার প্রতিটির সারসংক্ষেপ ফলাফল প্রদর্শন করতে একটি নতুন সেলে নিম্নলিখিত কোডটি চালান। এটি আপনাকে পারফরম্যান্সের একটি উচ্চ-স্তরের পরিমাণগত চিত্র দেবে।

   for title, eval_result in eval_results:
       notebook_utils.display_eval_result(title=title, eval_result=eval_result)
   

2. প্রতিটি পার্সোনার জন্য summarization_quality মেট্রিকের পেছনের যুক্তি দেখতে, একটি নতুন সেলে নিম্নলিখিত কোডটি যোগ করে চালান।

   for title, eval_result in eval_results:
       notebook_utils.display_explanations(
           eval_result, metrics=["summarization_quality"], num=2
       )
   

   কোনো একটি প্রম্পট কেন ভালো ফল করেছে তা বুঝতে, আপনি জাজ মডেল থেকে বিস্তারিত ব্যাখ্যাগুলো পর্যালোচনা করতে পারেন।
3. প্রতিটি প্রম্পটের জন্য বিভিন্ন কোয়ালিটি মেট্রিক্সের মধ্যেকার সুবিধা-অসুবিধাগুলো দৃশ্যমান করতে একটি রাডার প্লট তৈরি করুন। একটি নতুন সেলে নিম্নলিখিত কোডটি যোগ করে রান করুন।

   notebook_utils.display_radar_plot(
       eval_results,
       metrics=["instruction_following", "fluency", "coherence", "text_quality"],
   )
   

4. আরও সরাসরি ও পাশাপাশি তুলনা করার জন্য একটি বার প্লট তৈরি করুন। একটি নতুন সেলে নিম্নলিখিত কোডটি যোগ করে রান করুন।

   notebook_utils.display_bar_plot(
       eval_results,
       metrics=["instruction_following", "fluency", "coherence", "text_quality"],
   )
   

   আপনি নিচের ছবির মতো ফলাফল দেখতে পাবেন:
5. এখন আপনি এই টাস্কের জন্য আপনার Vertex AI Experiment-এ লগ করা সমস্ত রানের একটি সারাংশ দেখতে পারবেন। সময়ের সাথে সাথে আপনার কাজের অগ্রগতি ট্র্যাক করার জন্য এটি সহায়ক। একটি নতুন সেলে, নিম্নলিখিত কোডটি যোগ করুন এবং রান করুন:

   summarization_eval_task.display_runs()
   

১০. পরীক্ষাটি পরিষ্কার করুন

আপনার প্রজেক্টকে সুসংগঠিত রাখতে এবং অপ্রয়োজনীয় খরচ এড়াতে, আপনার তৈরি করা রিসোর্সগুলো পরিষ্কার করা একটি উত্তম অভ্যাস। এই ল্যাব জুড়ে, প্রতিটি মূল্যায়ন রান একটি Vertex AI Experiment-এ লগ করা হয়েছিল। নিম্নলিখিত কোডটি এই প্যারেন্ট এক্সপেরিমেন্টটি ডিলিট করে দেয়, যা এর সাথে যুক্ত সমস্ত রান এবং সেগুলোর অন্তর্নিহিত ডেটাও মুছে ফেলে।

• Vertex AI Experiment এবং এর সাথে যুক্ত রানগুলো মুছে ফেলার জন্য এই কোডটি একটি নতুন সেলে চালান।

  delete_experiment = True
  
  # Please set your LOCATION to the same one used during Vertex AI SDK initialization.
  LOCATION = "YOUR LOCATION" # @param {type:"string"}
  
  if delete_experiment:
  
      from google.cloud import aiplatform
  
      aiplatform.init(project=PROJECT_ID, location=LOCATION)
      experiment = aiplatform.Experiment(EXPERIMENT_NAME)
      experiment.delete()
  

১১. অনুশীলন থেকে উৎপাদনে

এই ল্যাবে আপনি যে দক্ষতাগুলো শিখেছেন, সেগুলোই নির্ভরযোগ্য এআই অ্যাপ্লিকেশন তৈরির মূল ভিত্তি। তবে, হাতে চালানো একটি নোটবুক থেকে প্রোডাকশন-গ্রেড মূল্যায়ন সিস্টেমে যেতে অতিরিক্ত পরিকাঠামো এবং আরও পদ্ধতিগত একটি পদ্ধতির প্রয়োজন। এই বিভাগে, আপনার কার্যক্রমের পরিধি বাড়ানোর সময় বিবেচনা করার মতো মূল অনুশীলন এবং কৌশলগত কাঠামোসমূহ তুলে ধরা হয়েছে।

উৎপাদন মূল্যায়ন কৌশল তৈরি করা

এই ল্যাবের দক্ষতাগুলো প্রোডাকশন পরিবেশে প্রয়োগ করার জন্য, সেগুলোকে পুনরাবৃত্তিযোগ্য কৌশলে রূপ দেওয়া সহায়ক। নিম্নলিখিত কাঠামোসমূহ মডেল নির্বাচন, প্রম্পট অপটিমাইজেশন এবং নিরবচ্ছিন্ন পর্যবেক্ষণের মতো সাধারণ পরিস্থিতিগুলোর জন্য মূল বিবেচ্য বিষয়গুলোর রূপরেখা দেয়।

মডেল নির্বাচনের জন্য:

   # Evaluation strategy for choosing models
   evaluation_strategy = {
      "dataset_size": "100+ examples for statistical significance",
      "metrics": ["task-specific", "general quality", "efficiency"],
      "comparison_type": "pairwise with statistical testing",
      "baseline": "established_model_or_human_benchmark"
   }

দ্রুত অপ্টিমাইজেশনের জন্য

   # Systematic prompt improvement workflow
   prompt_optimization = {
      "hypothesis": "Clear statement of what you're testing",
      "variants": "3-5 different prompt strategies",
      "evaluation": "Same metrics across all variants", 
      "analysis": "Statistical significance + qualitative review"
   }

ক্রমাগত পর্যবেক্ষণের জন্য

   # Production evaluation pipeline
   production_eval = {
      "frequency": "Every model update + weekly monitoring",
      "automation": "CI/CD integration with quality gates",
      "metrics": "Speed + quality + cost tracking",
      "alerting": "Performance degradation detection"
   }

ব্যয়-কার্যকারিতা বিবেচনা

বৃহৎ পরিসরে মডেল-ভিত্তিক মূল্যায়ন ব্যয়বহুল হতে পারে। একটি ব্যয়-সাশ্রয়ী উৎপাদন কৌশল বিভিন্ন উদ্দেশ্যে বিভিন্ন পদ্ধতি ব্যবহার করে। এই সারণিতে বিভিন্ন ধরনের মূল্যায়নের ক্ষেত্রে গতি, খরচ এবং ব্যবহারের ক্ষেত্রের মধ্যেকার সুবিধা-অসুবিধাগুলো সংক্ষেপে তুলে ধরা হয়েছে:

মূল্যায়ন ধরণ	সময়	প্রতি নমুনার খরচ	সেরা
রুজ/ব্লু	সেকেন্ড	~$০.০০১	উচ্চ-পরিমাণ স্ক্রিনিং
মডেল-ভিত্তিক পয়েন্টওয়াইজ	~১-২ সেকেন্ড	~$০.০১	গুণমান মূল্যায়ন
জোড়ায় জোড়ায় তুলনা	~২-৩ সেকেন্ড	~$০.০২	মডেল নির্বাচন
মানব মূল্যায়ন	মিনিট	$১-১০	স্বর্ণমান যাচাইকরণ

CI/CD এবং মনিটরিং এর মাধ্যমে স্বয়ংক্রিয় করুন

ম্যানুয়াল নোটবুক রান স্কেলেবল নয়। একটি কন্টিনিউয়াস ইন্টিগ্রেশন/কন্টিনিউয়াস ডিপ্লয়মেন্ট (CI/CD) পাইপলাইনে আপনার মূল্যায়ন স্বয়ংক্রিয় করুন।

• কোয়ালিটি গেট তৈরি করুন : আপনার মূল্যায়ন কাজটি একটি CI/CD পাইপলাইনে (যেমন, ক্লাউড বিল্ড) একীভূত করুন। নতুন প্রম্পট বা মডেলের উপর স্বয়ংক্রিয়ভাবে মূল্যায়ন চালান এবং যদি মূল কোয়ালিটি স্কোর আপনার নির্ধারিত থ্রেশহোল্ডের নিচে নেমে যায়, তাহলে ডেপ্লয়মেন্ট ব্লক করুন।
• প্রবণতা পর্যবেক্ষণ করুন : আপনার মূল্যায়ন রান থেকে প্রাপ্ত সারসংক্ষেপ মেট্রিকগুলো গুগল ক্লাউড মনিটরিং-এর মতো কোনো পরিষেবাতে রপ্তানি করুন। সময়ের সাথে সাথে গুণমান ট্র্যাক করতে ড্যাশবোর্ড তৈরি করুন এবং কর্মক্ষমতার কোনো উল্লেখযোগ্য অবনতি ঘটলে আপনার টিমকে অবহিত করার জন্য স্বয়ংক্রিয় অ্যালার্ট সেট আপ করুন।

১২. উপসংহার

আপনি ল্যাবটি সম্পন্ন করেছেন। আপনি জেনারেটিভ এআই মডেল মূল্যায়নের জন্য প্রয়োজনীয় দক্ষতা শিখেছেন।

এই ল্যাবটি ‘প্রোডাকশন-রেডি এআই উইথ গুগল ক্লাউড’ লার্নিং পাথের একটি অংশ।

• প্রোটোটাইপ থেকে উৎপাদনে উত্তরণের ব্যবধান পূরণ করতে সম্পূর্ণ পাঠ্যক্রমটি অন্বেষণ করুন ।
• ProductionReadyAI হ্যাশট্যাগটি ব্যবহার করে আপনার কাজের অগ্রগতি শেয়ার করুন।

পুনরালোচনা

এই ল্যাবে, আপনি শিখেছেন কীভাবে:

• EvalTask ​​ফ্রেমওয়ার্ক ব্যবহার করে মূল্যায়নের সর্বোত্তম অনুশীলনগুলো প্রয়োগ করুন।
• গণনা-ভিত্তিক থেকে মডেল-ভিত্তিক বিচারক পর্যন্ত বিভিন্ন ধরনের মেট্রিক ব্যবহার করুন।
• বিভিন্ন সংস্করণ পরীক্ষা করে প্রম্পটগুলো অপ্টিমাইজ করুন।
• এক্সপেরিমেন্ট ট্র্যাকিংয়ের মাধ্যমে একটি পুনরাবৃত্তিযোগ্য ওয়ার্কফ্লো তৈরি করুন।

অব্যাহত শিক্ষার জন্য সম্পদ

• ভার্টেক্স এআই জেন এআই মূল্যায়ন ডকুমেন্টেশন
• উন্নত মূল্যায়ন কৌশল নোটবুক
• জেন এআই মূল্যায়ন এসডিকে রেফারেন্স
• মডেল-ভিত্তিক মেট্রিক্স গবেষণা
• প্রম্পট ইঞ্জিনিয়ারিং সেরা অনুশীলন

এই ল্যাবে আপনি যে পদ্ধতিগত মূল্যায়ন পদ্ধতিগুলো শিখেছেন, তা নির্ভরযোগ্য ও উচ্চ-মানের এআই অ্যাপ্লিকেশন তৈরির ভিত্তি হিসেবে কাজ করবে। মনে রাখবেন: ভালো মূল্যায়নই হলো পরীক্ষামূলক এআই এবং উৎপাদন পর্যায়ের সাফল্যের মধ্যেকার সেতুবন্ধন।