Vertex AI এর সাথে একটি Google-মানের অনুসন্ধান সিস্টেম তৈরি করা

1. আপনি শুরু করার আগে

এই কোডল্যাবটি চালিয়ে যাওয়ার আগে এখানে কয়েকটি বিষয় লক্ষ্য করুন।

পূর্বশর্ত

  • এলএলএম-এর প্রাথমিক বোঝাপড়া
  • RAG সিস্টেমের প্রাথমিক ধারণা

আপনি কি শিখবেন

  • কীভাবে একটি গুগল মানের সার্চ ইঞ্জিন তৈরি করবেন যা আপনার আপলোড করা ডেটা থেকে আপনার প্রশ্নের উত্তর দিতে পারে
  • ভার্টেক্স এআই ডেটাস্টোর কীভাবে তৈরি করবেন
  • ভার্টেক্স এআই এজেন্ট কীভাবে তৈরি করবেন
  • অ্যাপ্লিকেশন স্থাপন করার জন্য CloudRun কিভাবে লিভারেজ করবেন

আপনি কি প্রয়োজন হবে

  • একটি Google ক্লাউড অ্যাকাউন্ট
  • একটি Google ক্লাউড প্রকল্প
  • টার্মিনাল সহ একটি IDE

ভূমিকা

Google অনুসন্ধান একটি শক্তিশালী টুল যা ব্যবহারকারীর প্রশ্নের প্রাসঙ্গিক ফলাফল প্রদান করতে ওয়েব পৃষ্ঠা এবং অন্যান্য বিষয়বস্তুর একটি বিশাল সূচক ব্যবহার করে। এটি রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) নামক একটি কৌশল দ্বারা সম্ভব হয়েছে, যা আধুনিক AI এর একটি মূল কৌশল।

RAG প্রথমে একটি ডকুমেন্ট কর্পাস থেকে প্রাসঙ্গিক প্যাসেজ পুনরুদ্ধার করে কাজ করে। এটি বিভিন্ন পদ্ধতি ব্যবহার করে করা হয়, যেমন কীওয়ার্ড ম্যাচিং, শব্দার্থিক মিল এবং মেশিন লার্নিং। একবার প্রাসঙ্গিক প্যাসেজগুলি পুনরুদ্ধার করা হলে, সেগুলি ব্যবহারকারীর প্রশ্নের একটি সারাংশ বা উত্তর তৈরি করতে ব্যবহৃত হয়।

RAG এর প্রধান সুবিধা হল এটি ভাষার মডেলগুলিকে হ্যালুসিনেশন এড়াতে দেয়। হ্যালুসিনেশন এমন একটি শব্দ যা পাঠ্যের প্রজন্মকে বর্ণনা করতে ব্যবহৃত হয় যা নথিপত্রের প্রমাণ দ্বারা সমর্থিত নয়। এটি ঘটতে পারে যখন ভাষার মডেলগুলি প্রাসঙ্গিক এবং অপ্রাসঙ্গিক তথ্যের মধ্যে পার্থক্য করতে সক্ষম হয় না।

আরএজি হ্যালুসিনেশন এড়াতে সাহায্য করে তা নিশ্চিত করে যে তৈরি করা পাঠ্যটি সর্বদা ডকুমেন্ট কর্পাস থেকে প্রমাণের উপর ভিত্তি করে। এটি এটিকে তথ্যের আরও নির্ভরযোগ্য এবং বিশ্বস্ত উৎস করে তোলে।

RAG একটি শক্তিশালী কৌশল যা সার্চ ইঞ্জিন, চ্যাটবট এবং প্রশ্নের উত্তর দেওয়ার সিস্টেম সহ বিভিন্ন অ্যাপ্লিকেশনে ব্যবহৃত হচ্ছে। আগামী বছরগুলিতে এটি AI-তে ক্রমবর্ধমান গুরুত্বপূর্ণ ভূমিকা পালন করবে বলে মনে করা হচ্ছে।

এখানে RAG কীভাবে অনুশীলনে ব্যবহার করা হচ্ছে তার কিছু উদাহরণ রয়েছে:

  • অনেক অনুসন্ধান সিস্টেম ব্যবহারকারীর প্রশ্নের সাথে প্রাসঙ্গিক অনুসন্ধান ফলাফল তৈরি করতে RAG ব্যবহার করে।
  • চ্যাটবটগুলি তথ্যপূর্ণ এবং আকর্ষক ব্যবহারকারীর প্রশ্নের উত্তর তৈরি করতে RAG ব্যবহার করে।
  • প্রশ্নের উত্তর দেওয়ার সিস্টেমগুলি ব্যবহারকারীর প্রশ্নের উত্তর তৈরি করতে RAG ব্যবহার করে যা সঠিক এবং ব্যাপক।

RAG একটি বহুমুখী কৌশল যা বিভিন্ন ডোমেন এবং অ্যাপ্লিকেশনগুলিতে পাঠ্য তৈরি করতে ব্যবহার করা যেতে পারে। এটি একটি শক্তিশালী টুল যা AI কে আরও বুদ্ধিমান এবং তথ্যপূর্ণ করতে সাহায্য করছে।

এই কোডল্যাবে, আমরা একটি RAG সিস্টেম তৈরি করব যা আপনার দ্বারা আপলোড করা প্রদত্ত কর্পাস দিয়ে আপনার প্রশ্নের উত্তর দিতে সাহায্য করতে পারে। ভার্টেক্স এআই সার্চ/এজেন্ট বিল্ডার নামক আউট অফ দ্য বক্স RAG প্ল্যাটফর্ম আপনাকে RAG সিস্টেম তৈরিতে ত্বরান্বিত করতে সাহায্য করে এইভাবে নথি সংগ্রহ, পার্সিং, খণ্ড করা, এমবেডিং তৈরি করা, কোয়েরি সম্প্রসারণ, প্রার্থী পুনরুদ্ধার এবং র‌্যাঙ্কিংয়ের ম্যানুয়াল প্রচেষ্টার সাথে আপনাকে এড়িয়ে যায়। যদিও আউট অফ দ্য বক্স RAG সিস্টেম আপনাকে দ্রুত শুরু করতে সাহায্য করে, Google ক্লাউড আপনার নিজস্ব DIY RAG সিস্টেমগুলি তৈরি করার জন্য প্রতিটি প্রক্রিয়ার জন্য আলাদা API প্রদান করে যা আপনার ব্যবসার প্রয়োজনীয়তা অনুসারে আপনার RAG সিস্টেমগুলিকে সূক্ষ্ম টিউন করতে সাহায্য করে৷

আপনি কি নির্মাণ করবেন

এই কোডল্যাবের শেষ নাগাদ, আপনার কাছে একটি কার্যকরী RAG সিস্টেম মোতায়েন থাকবে যা আপনার প্রশ্নের উত্তর দিতে সাহায্য করতে পারে প্রকৃত তথ্য, গ্রাউন্ডেড এবং সঠিক রেফারেন্স সহ।

Google ক্লাউডে এই RAG আর্কিটেকচার তৈরি করতে Vertex AI সার্চ APIs কীভাবে ব্যবহার করবেন সে সম্পর্কে আপনার আরও ভাল ধারণা থাকবে। এটি ছাড়াও, আপনি ক্লাউডরানে এই RAG আর্কিটেকচার অ্যাপ্লিকেশনটি (ফ্রন্টএন্ড এবং ব্যাকএন্ড সহ) কীভাবে স্থাপন করবেন তা শিখবেন যা Google ক্লাউডে কন্টেইনার হিসাবে অ্যাপ্লিকেশনগুলিকে স্থাপন করার একটি সার্ভারহীন প্ল্যাটফর্ম।

2d055ded874603a6.png

অ্যাপ্লিকেশন কিভাবে কাজ করে

  • আপনার ডেটা আপলোড করুন : ব্যবহারকারীরা ইনপুট হিসাবে তাদের নিজস্ব ডেটা যেমন পিডিএফ ফাইল আপলোড করতে পারেন।
  • অনুসন্ধান বারে প্রশ্ন জিজ্ঞাসা করুন : ব্যবহারকারীরা আপলোড করা ডেটার কর্পাসের উপর ভিত্তি করে অনুসন্ধান বারে প্রশ্ন জিজ্ঞাসা করতে পারেন।
  • উত্তর পুনরুদ্ধার করুন : ব্যবহারকারীরা অনুসন্ধানের ফলাফল/প্রার্থী পুনরুদ্ধার করতে পারে এবং প্রশ্নের প্রাসঙ্গিকতার ভিত্তিতে পুনরুদ্ধার করা উত্তরের বাস্তবতা/গ্রাউন্ডেডনেস চেক করতে পারে।

2. পরিবেশ সেটআপ

  1. Google ক্লাউড কনসোলে , প্রকল্প নির্বাচক পৃষ্ঠায়, একটি Google ক্লাউড প্রকল্প নির্বাচন করুন বা তৈরি করুন।
  2. আপনার Google ক্লাউড প্রকল্পের জন্য বিলিং সক্ষম করা আছে তা নিশ্চিত করুন৷ একটি প্রকল্পে বিলিং সক্ষম কিনা তা পরীক্ষা করতে শিখুন।
  3. আপনি Cloud Shell ব্যবহার করবেন, Google ক্লাউডে চলমান একটি কমান্ড-লাইন পরিবেশ। এটি অ্যাক্সেস করতে, Google ক্লাউড কনসোলের শীর্ষে সক্রিয় ক্লাউড শেল ক্লিক করুন।

1829c3759227c19b.png

  1. একবার ক্লাউড শেলের সাথে সংযুক্ত হয়ে গেলে, আপনি পরীক্ষা করে দেখুন যে আপনি ইতিমধ্যেই প্রমাণীকৃত হয়েছেন এবং নিম্নলিখিত কমান্ডটি ব্যবহার করে প্রকল্পটি আপনার প্রকল্প আইডিতে সেট করা আছে: 
gcloud auth list
  1. gcloud কমান্ড আপনার প্রকল্প সম্পর্কে জানে তা নিশ্চিত করতে ক্লাউড শেলে নিম্নলিখিত কমান্ডটি চালান। 
gcloud config list project
  1. যদি আপনার প্রজেক্ট সেট করা না থাকে, তাহলে এটি সেট করতে নিম্নলিখিত কমান্ডটি ব্যবহার করুন: 
gcloud config set project <YOUR_PROJECT_ID>
  1. নিশ্চিত করুন যে নিম্নলিখিত API গুলি সক্রিয় করা হয়েছে:
  • ক্লাউড রান
  • ভার্টেক্স এআই
  • ক্লাউড স্টোরেজ

gcloud কমান্ড ব্যবহার করার বিকল্প এই লিঙ্কটি ব্যবহার করে কনসোলের মাধ্যমে যাচ্ছে। gcloud কমান্ড এবং ব্যবহারের জন্য ডকুমেন্টেশন পড়ুন।

3. ধাপ 1: GCP বাকেট তৈরি করুন

  • কনসোলে যান এবং অনুসন্ধান বারে ক্লাউড স্টোরেজ টাইপ করুন।
  • প্রস্তাবিত ফলাফল থেকে ক্লাউড স্টোরেজ নির্বাচন করুন। 21d2bc910e71f7ec.png
  • Create Bucket এ ক্লিক করুন

adf5c0382f6c3540.png

  • বালতির জন্য একটি বিশ্বব্যাপী অনন্য নাম প্রদান করুন
  • Continue এ ক্লিক করুন
  • অবস্থানের ধরনে, বহু-অঞ্চল নির্বাচন করুন
  • ড্রপ ডাউনে, us (multiple regions in United States)

731aead7d8497725.png

  • Create Bucket এ ক্লিক করুন

f7ac409ed9c4af21.png

  • বালতি তৈরি হয়ে গেলে সংগ্রহস্থল থেকে alphabet-metadata.json আপলোড করুন

4. ধাপ 2: একটি ভার্টেক্স এআই ডেটাস্টোর তৈরি করুন

  • কনসোল পৃষ্ঠার অনুসন্ধান বারে, "Vertex AI Agent Builder" টাইপ করুন
  • প্রথম পণ্য নির্বাচন করুন, "এজেন্ট নির্মাতা"

c4a67b92bb7900e3.png

  • এজেন্ট বিল্ডার পৃষ্ঠায়, বাম দিকের নেভিগেশন বারে দেখানো "ডেটা স্টোর"-এ ক্লিক করুন

f86f67d344d398fb.png

  • "ডেটা স্টোর তৈরি করুন" এ ক্লিক করুন

e64e771f33543f46.png

  • আপনার ডেটা স্টোর হিসাবে ক্লাউড স্টোরেজ নির্বাচন করুন
  • ক্লাউড স্টোরেজ আইকনের নীচে "নির্বাচন করুন" এ ক্লিক করুন

3a8d22888e7eedc2.png

  • "ফোল্ডার" বিকল্পের নীচের ট্যাবে, "ব্রাউজ" বোতামে ক্লিক করুন
  • ধাপ 1 এ আপনার তৈরি করা বালতি নির্বাচন করুন
  • নীচের বিকল্পগুলিতে, "লিঙ্কড আনস্ট্রাকচার্ড ডকুমেন্টস (মেটাডেটা সহ JSONL)" নির্বাচন করা নিশ্চিত করুন।
  • অবিরত ক্লিক করুন

13876b5d12dbe1fb.png

  • কনফিগারেশন পৃষ্ঠায়, আপনার ডেটা স্টোরের অবস্থান হিসাবে "গ্লোবাল" নির্বাচন করুন
  • আপনার ডেটা স্টোরে একটি শনাক্তযোগ্য নাম দিন
  • Create এ ক্লিক করুন

618b7a456fbffad4.png

ব্রাউনি:

  • "তৈরি করুন" বোতামের ঠিক উপরে, আপনি নথি প্রক্রিয়াকরণ বিকল্পটি দেখতে পারেন।
  • আপনি বিভিন্ন পার্সার যেমন ডিজিটাল, ওসিআর বা লেআউট পার্সারের সাথে খেলতে পারেন
  • এছাড়াও আপনি উন্নত চাঙ্কিং সক্ষম করতে পারেন এবং আপনার নিজস্ব কাস্টম খণ্ড আকারের সীমা প্রদান করতে পারেন

38471c1d3411610d.png

5. ধাপ 3: একটি এজেন্ট তৈরি করুন

  • একবার আপনার ডেটা স্টোর তৈরি হয়ে গেলে, বামদিকে নেভিগেশন বারে অ্যাপটিতে ক্লিক করুন এবং "অ্যাপস" নির্বাচন করুন
  • "App তৈরি করুন" বোতামে ক্লিক করুন
  • "অনুসন্ধান" হতে অ্যাপের ধরন নির্বাচন করুন (আপনি এজেন্ট, কথোপকথনমূলক বট, সুপারিশ ইত্যাদিও তৈরি করতে পারেন)

ae5294e33f63567c.png

  • নিশ্চিত করুন যে আপনি সামগ্রীর অধীনে "জেনারিক" নির্বাচন করেছেন৷ আপনি যে ডেটা স্টোর এবং যে ডেটা এবং সিস্টেমগুলি আপনি তৈরি করতে চান তার উপর ভিত্তি করে আপনি মিডিয়া বা সুপারিশগুলিও নির্বাচন করতে পারেন।
  • এন্টারপ্রাইজ সংস্করণ এবং উন্নত LLM বৈশিষ্ট্য উভয়ই টগল করা নিশ্চিত করুন
  • আপনার আবেদন নাম প্রদান করুন
  • আপনার কোম্পানির নাম দিন

f8a41c9751f7a8d3.png

  • "গ্লোবাল" হতে অঞ্চলটি নির্বাচন করা নিশ্চিত করুন
  • "চালিয়ে যান" এ ক্লিক করুন ed17b18e094ba59a.png
  • পরবর্তী স্ক্রিনে, ধাপ 2-এ আপনার তৈরি করা ডেটা স্টোর নির্বাচন করুন
  • "তৈরি করুন" এ ক্লিক করুন

bc77006e0025ae9e.png

6. ধাপ 4: আপনার অ্যাপ্লিকেশন ডকারাইজ করুন

  • Google ক্লাউড কনসোলে আপনার টার্মিনাল খুলুন
  • নিম্নলিখিত কমান্ড ব্যবহার করে সংগ্রহস্থল <sample_repository_link> ক্লোন করুন

git clone https://github.com/kkrishnan90/vertex-ai-search-agent-builder-demo

  • ডিরেক্টরি পরিবর্তন করুন এবং নিম্নলিখিত কমান্ড ব্যবহার করে ক্লোন করা সংগ্রহস্থলে নেভিগেট করুন

cd vertex-ai-search-agent-builder-demo

  • ফোল্ডার গঠন
  • ব্যাকএন্ড - এটি একটি পাইথন ভিত্তিক API বাস্তবায়ন ধারণ করবে যা আপনার ফ্রন্টএন্ডের সাথে ইন্টারঅ্যাক্ট করার জন্য শান্ত শেষ পয়েন্ট তৈরি করতে সহায়তা করবে।
  • ফ্রন্টএন্ড - এটি একটি প্রতিক্রিয়া ভিত্তিক অ্যাপ্লিকেশন ধারণ করবে এবং UI পরিবেশন করবে। এতে বাকি এন্ডপয়েন্টের মাধ্যমে ব্যাকএন্ডে প্রয়োজনীয় অ্যাপ্লিকেশন লেভেল কলও থাকবে
  • ডকারফাইল - এই ফাইলটিতে একটি ডকার কন্টেইনার তৈরি করার জন্য সমস্ত প্রাসঙ্গিক কমান্ড থাকবে
  • রিপোজিটরি ডিরেক্টরির রুটে, নিম্নলিখিত কমান্ডটি চালান যা একটি ডকার ইমেজ তৈরি করতে সাহায্য করবে (দ্রষ্টব্য: ব্যবহার করা নিশ্চিত করুন - - platform পতাকা যা M1, M2 ইত্যাদি অ্যাপল সিলিকন চিপ ব্যবহার করে। এই পতাকাটি নয় যদি আপনি উইন্ডোজ মেশিন ব্যবহার করে নির্মাণ করেন বা আপনার সিপিইউ আর্কিটেকচার ইন্টেল ভিত্তিক হয় তবে প্রয়োজনীয়)

docker build --platform linux/amd64 -t your-image-name .

  • একবার ডকার কন্টেইনার বিল্ড সফল হলে, আপনি আপনার ইমেজের একটি সংস্করণ প্রদান করেছেন তা নিশ্চিত করতে ডান ট্যাগ সহ কন্টেইনারটিকে ট্যাগ করতে নিম্নলিখিত কমান্ডটি চালান। মনে রাখবেন, অ্যাপ্লিকেশনটির একাধিক সংস্করণ থাকতে পারে এবং তাই ডকার পাত্রে ট্যাগ হিসাবে একাধিক সংস্করণ থাকতে পারে। সর্বদা সর্বশেষ স্থিতিশীল সংস্করণ ব্যবহার করা হয় তা নিশ্চিত করা ডেভপস দৃষ্টিকোণ থেকে একটি ভাল প্রস্তাবিত পদ্ধতি।

docker tag your-image-name REGION-docker.pkg.dev/PROJECT-ID/REPOSITORY-NAME/IMAGE-NAME:TAG

  • একবার ডকার কন্টেইনার ইমেজের ট্যাগিং সফল হলে, আসুন এখন ইমেজটিকে Google Artifact Registry (GAR) এ পুশ করি। আপনার ডকার কন্টেনারগুলি পরিচালনা এবং সংস্করণ নিয়ন্ত্রণে সহায়তা করার জন্য GAR হল Google-এর একটি সম্পূর্ণরূপে পরিচালিত প্ল্যাটফর্ম৷ নিম্নলিখিত কমান্ডটি চালান যা উপরের ট্যাগযুক্ত ধারকটিকে GAR-তে ঠেলে দেবে। আরও তথ্যের জন্য, নিম্নলিখিত লিঙ্কটি পড়ুন [ https://cloud.google.com/artifact-registry/docs/docker/pushing-and-pulling ]

docker push REGION-docker.pkg.dev/PROJECT-ID/REPOSITORY-NAME/IMAGE-NAME:TAG

7. ধাপ 5: ক্লাউড রানে আপনার অ্যাপ্লিকেশন স্থাপন করুন

  • আপনার টার্মিনাল ছোট করুন। গুগল ক্লাউড কনসোল অনুসন্ধান বারে, ক্লাউড রান অনুসন্ধান করুন
  • প্রস্তাবিত ক্লাউড রান পণ্যটিতে ক্লিক করুন

592103eb61c16738.png

  • "পরিষেবা তৈরি করুন" এ ক্লিক করুন
  • পরবর্তী পৃষ্ঠায়, নিশ্চিত করুন যে "একটি বিদ্যমান ধারক চিত্র থেকে একটি পুনর্বিবেচনা করুন" নির্বাচন করা হয়েছে৷
  • নীচে, "নির্বাচন করুন" এ ক্লিক করুন
  • আপনাকে এখন ডানদিকে একটি নেভিগেশন বার দিয়ে অনুরোধ করা হবে।
  • আর্টিফ্যাক্ট রেজিস্ট্রি ট্যাব হিসাবে নির্বাচন করা হয়েছে কিনা তা নিশ্চিত করুন
  • প্রকল্পটি সঠিকভাবে নির্বাচন করা হয়েছে কিনা তা নিশ্চিত করুন
  • আপনার নিয়োজিত কন্টেইনার ছবির লিঙ্কে অ্যাকর্ডিয়ন প্রসারিত করতে তীরটিতে ক্লিক করুন
  • কন্টেইনার ট্যাগ নির্বাচন করুন এবং প্রসারিত করুন (সর্বদা মোতায়েন করা সর্বশেষগুলি নির্বাচন করুন - সঠিক সর্বশেষ ট্যাগ যেমন v1, v2, ইত্যাদি সহ)
  • কন্টেইনার ট্যাগ নামের নিচে দেখানো কন্টেইনার ইমেজে ক্লিক করুন

aac35d55d7dd874e.png

  • কনফিগার এলাকায়
  • আপনার ক্লাউড রান অ্যাপ্লিকেশনের জন্য একটি পরিষেবার নাম দিন (যখন আপনি ক্লাউড রানে অ্যাপ্লিকেশনটি স্থাপন করবেন তখন এটি url-এর একটি অংশ হবে)
  • উপযুক্ত অঞ্চল নির্বাচন করুন (এই ক্ষেত্রে us-central1 বা আপনার পছন্দের যেকোনো কিছু)
  • প্রমাণীকরণ অধীনে
  • নিশ্চিত করুন "অপ্রমাণিত আহ্বানের অনুমতি দিন" নির্বাচন করা হয়েছে
  • CPU বরাদ্দ এবং মূল্যের অধীনে
  • "সিপিইউ শুধুমাত্র অনুরোধ প্রক্রিয়াকরণের সময় বরাদ্দ করা হয়" নির্বাচন করুন
  • পরিষেবা স্বয়ংক্রিয় স্কেলিংকে 1 এ পরিবর্তন করুন (উৎপাদনের উদ্দেশ্যে, আপনার প্রতিদিনের ট্র্যাফিক পরিচালনা করার জন্য ন্যূনতম দৃষ্টান্তগুলি চালানোর সুপারিশ করা হয়, আপনি এমনকি এটিকে 0 অর্থাৎ শূন্য ছেড়ে দিতে পারেন)
  • ইন্টারনেট থেকে ট্র্যাফিককে আপনার অ্যাপ্লিকেশন অ্যাক্সেস করার অনুমতি দিতে "অভ্যন্তরীণ নিয়ন্ত্রণ" "সমস্ত" এ সেট করুন৷
  • "তৈরি করুন" এ ক্লিক করুন
  • এটি একটি ক্লাউড রান ইন্সট্যান্স স্থাপন করবে এবং একই ব্যবস্থা করতে কয়েক মিনিট সময় লাগবে

b8b147265b8d457b.png

  • একবার স্থাপন করা হলে, আপনি সর্বজনীনভাবে উপলব্ধ URL দেখতে সক্ষম হবেন যেখান থেকে আপনি আপনার ওয়েব অ্যাপ্লিকেশন অ্যাক্সেস করতে পারেন৷

1dfdb007c52581a1.png

8. কিভাবে এটা সব কাজ করে

  • একবার অ্যাপ্লিকেশনের হোম পেজে, "আপলোড ডকুমেন্ট" বোতামে ক্লিক করুন
  • আপনার পিডিএফ ফাইল আপলোড করুন
  • আপলোড সম্পূর্ণ হলে
  • ওয়েব পেজের উপরের সার্চ বারে ক্লিক করুন
  • আপনার আপলোড করা নথির সাথে সম্পর্কিত প্রশ্নগুলির জন্য অনুসন্ধান শুরু করুন৷
  • একবার আপনি আপনার ক্যোয়ারী টাইপ করে অনুসন্ধানে ক্লিক করলে, এটি আপনার আপলোড করা নথি থেকে সমস্ত প্রাসঙ্গিক উত্তর দেখাবে
  • আপনি ব্যাকএন্ড কোডটি দেখে চারপাশে খেলতে পারেন এবং নিম্নলিখিতগুলির মতো আরও কনফিগারেশন যুক্ত করতে পারেন
  • স্নিপেট যোগ করা হচ্ছে
  • নিষ্কাশন অংশ যোগ করা হচ্ছে
  • উত্তর যোগ করা হচ্ছে
  • LLM-কে উত্তর সংক্ষিপ্ত করতে সাহায্য করার জন্য টপ-কে ফলাফল টিউন করা (Google অনুসন্ধানে AI ওভারভিউ এর মত কিছু)
  • একটি অ্যাডন হিসাবে, আপনি নথি আপলোড করার সময় মেটাডেটা ট্যাগও যোগ করতে পারেন। এটি দিক এবং ফিল্টারযোগ্য বিভাগ তৈরি করতে সহায়তা করবে

9. পরিষ্কার করুন

এই কোডল্যাবে ব্যবহৃত সংস্থানগুলির জন্য আপনার Google ক্লাউড অ্যাকাউন্টে চার্জ এড়াতে, এই পদক্ষেপগুলি অনুসরণ করুন:

  1. Google ক্লাউড কনসোলে, সম্পদ পরিচালনা পৃষ্ঠাতে যান।
  2. প্রকল্প তালিকায়, আপনি যে প্রকল্পটি মুছতে চান সেটি নির্বাচন করুন এবং তারপরে মুছুন ক্লিক করুন।
  3. ডায়ালগে, প্রজেক্ট আইডি টাইপ করুন এবং তারপরে প্রোজেক্ট মুছে ফেলতে শাট ডাউন ক্লিক করুন।
  4. বিকল্পভাবে আপনি কনসোলে ক্লাউড রানে যেতে পারেন, আপনি যে পরিষেবাটি স্থাপন করেছেন তা নির্বাচন করুন এবং মুছুন।

10. অভিনন্দন

অভিনন্দন! আপনি Google দ্বারা চালিত অত্যাধুনিক মডেলগুলি ব্যবহার করে এবং আপনার অনুসন্ধান ক্যোয়ারীগুলিতে Google গুণমানের ফলাফল প্রদান করার জন্য সফলভাবে একটি দ্রুত আউট অফ বক্স RAG সিস্টেম তৈরি করেছেন৷ এই কোডল্যাবটি শুধুমাত্র প্রদর্শনের উদ্দেশ্যে, উৎপাদন ব্যবহারের ক্ষেত্রে আরও নিরাপত্তা এবং গার্ডেল স্থাপন করতে হবে। সম্পূর্ণ সংগ্রহস্থলের লিঙ্কটি এখানে। Google ক্লাউড ব্যবহার করে এবং মাত্র 5টি পদক্ষেপের মাধ্যমে, আমরা একটি এন্ড-টু-এন্ড RAG সিস্টেম তৈরি করতে পারি যা আপনাকে কয়েক মিনিটের মধ্যে Google গুণমানের ফলাফলের সাথে পরিবেশন করতে পারে। জেনারেটিভ এআই এবং বৃহৎ ভাষার মডেলগুলি বিকশিত হওয়ার সাথে সাথে, এই জাতীয় RAG সিস্টেম তৈরি করা আমাদের হ্যালুসিনেশন এবং অ-উদ্ধৃত তথ্য প্রকাশের সমস্যাগুলি এড়াতে সহায়তা করে।

যদিও এটি শুধুমাত্র একটি সূচনা বিন্দু, আমরা সম্পূর্ণরূপে কাস্টমাইজযোগ্য DIY RAG APIগুলির সাথে বিস্ময়কর কাজ করতে পারি যা আপনাকে পাইপলাইন প্রক্রিয়ার প্রতিটি অংশকে কার্যকরভাবে পরিচালনা করার জন্য আরও বেশি স্বচ্ছতা, শক্তি এবং দক্ষতা প্রদান করে।