Vertex AI এর সাথে একটি Google-মানের অনুসন্ধান সিস্টেম তৈরি করা

১. শুরু করার আগে

এই কোডল্যাবটি চালিয়ে যাওয়ার আগে কয়েকটি বিষয় জেনে রাখা ভালো।

পূর্বশর্ত

• এলএলএম সম্পর্কে প্রাথমিক ধারণা
• RAG সিস্টেম সম্পর্কে প্রাথমিক ধারণা

আপনি যা শিখবেন

• কীভাবে একটি গুগল-মানের সার্চ ইঞ্জিন তৈরি করবেন যা আপনার আপলোড করা ডেটা থেকে আপনার প্রশ্নের উত্তর দিতে পারে।
• ভার্টেক্স এআই ডেটাস্টোর কীভাবে তৈরি করবেন
• ভার্টেক্স এআই এজেন্ট কীভাবে তৈরি করবেন
• অ্যাপ্লিকেশন ডেপ্লয় করতে ক্লাউডরান কীভাবে ব্যবহার করবেন

আপনার যা যা লাগবে

• একটি গুগল ক্লাউড অ্যাকাউন্ট
• একটি গুগল ক্লাউড প্রকল্প
• টার্মিনাল সহ একটি IDE

ভূমিকা

গুগল সার্চ একটি শক্তিশালী মাধ্যম, যা ব্যবহারকারীর অনুসন্ধানের প্রাসঙ্গিক ফলাফল প্রদানের জন্য ওয়েব পেজ এবং অন্যান্য কন্টেন্টের এক বিশাল সূচী ব্যবহার করে। রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) নামক একটি কৌশলের মাধ্যমে এটি সম্ভব হয়েছে, যা আধুনিক কৃত্রিম বুদ্ধিমত্তার (AI) একটি প্রধান কৌশল।

RAG প্রথমে একটি ডকুমেন্ট কর্পাস থেকে প্রাসঙ্গিক অংশগুলো খুঁজে বের করার মাধ্যমে কাজ করে। এটি কীওয়ার্ড ম্যাচিং, শব্দার্থগত সাদৃশ্য এবং মেশিন লার্নিং-এর মতো বিভিন্ন পদ্ধতি ব্যবহার করে করা হয়। প্রাসঙ্গিক অংশগুলো খুঁজে বের করার পর, সেগুলো ব্যবহার করে ব্যবহারকারীর প্রশ্নের একটি সারাংশ বা উত্তর তৈরি করা হয়।

RAG-এর প্রধান সুবিধা হলো এটি ল্যাঙ্গুয়েজ মডেলগুলোকে হ্যালুসিনেশন এড়াতে সাহায্য করে। হ্যালুসিনেশন হলো এমন একটি পরিভাষা যা ডকুমেন্ট কর্পাসের প্রমাণের সাথে অসমর্থিত টেক্সট তৈরি হওয়াকে বোঝাতে ব্যবহৃত হয়। এটি তখন ঘটতে পারে যখন ল্যাঙ্গুয়েজ মডেলগুলো প্রাসঙ্গিক এবং অপ্রাসঙ্গিক তথ্যের মধ্যে পার্থক্য করতে পারে না।

RAG নিশ্চিত করে যে উৎপাদিত টেক্সট সর্বদা ডকুমেন্ট কর্পাসের প্রমাণের উপর ভিত্তি করে তৈরি হয়, যার ফলে বিভ্রম এড়ানো যায়। এটি টেক্সটকে তথ্যের একটি আরও নির্ভরযোগ্য এবং বিশ্বাসযোগ্য উৎস করে তোলে।

RAG একটি শক্তিশালী কৌশল যা সার্চ ইঞ্জিন, চ্যাটবট এবং প্রশ্নোত্তর ব্যবস্থা সহ বিভিন্ন ক্ষেত্রে ব্যবহৃত হচ্ছে। আগামী বছরগুলিতে কৃত্রিম বুদ্ধিমত্তায় এর ভূমিকা ক্রমশ গুরুত্বপূর্ণ হয়ে উঠবে বলে মনে করা হচ্ছে।

বাস্তবে RAG কীভাবে ব্যবহৃত হচ্ছে তার কিছু উদাহরণ নিচে দেওয়া হলো:

• অনেক সার্চ সিস্টেম ব্যবহারকারীর অনুসন্ধানের সাথে প্রাসঙ্গিক ফলাফল তৈরি করতে RAG ব্যবহার করে।
• চ্যাটবট ব্যবহারকারীর প্রশ্নের তথ্যপূর্ণ ও আকর্ষণীয় উত্তর তৈরি করতে RAG ব্যবহার করে।
• প্রশ্নোত্তর ব্যবস্থাগুলো ব্যবহারকারীর প্রশ্নের নির্ভুল ও বিশদ উত্তর তৈরি করতে RAG ব্যবহার করে।

RAG একটি বহুমুখী কৌশল যা বিভিন্ন ক্ষেত্র ও অ্যাপ্লিকেশনে টেক্সট তৈরি করতে ব্যবহার করা যায়। এটি একটি শক্তিশালী টুল যা AI-কে আরও বুদ্ধিমান ও তথ্যবহুল করে তুলতে সাহায্য করছে।

এই কোডল্যাবে, আমরা একটি RAG সিস্টেম তৈরি করব যা আপনার আপলোড করা কর্পাস ব্যবহার করে আপনার প্রশ্নের উত্তর দিতে সাহায্য করবে। Vertex AI Search/Agent Builder নামক রেডিমেড RAG প্ল্যাটফর্মটি আপনাকে RAG সিস্টেম তৈরির প্রক্রিয়াকে দ্রুততর করতে সাহায্য করে, যার ফলে আপনাকে ডকুমেন্ট সংগ্রহ, পার্সিং, চাংকিং, এমবেডিং তৈরি, কোয়েরি সম্প্রসারণ, ক্যান্ডিডেট পুনরুদ্ধার এবং র‍্যাঙ্কিং-এর মতো ম্যানুয়াল কাজগুলো করতে হয় না। যদিও রেডিমেড RAG সিস্টেমটি আপনাকে দ্রুত কাজ শুরু করতে সাহায্য করে, Google Cloud প্রতিটি প্রক্রিয়ার জন্য আলাদা API-ও সরবরাহ করে, যার মাধ্যমে আপনি নিজের DIY RAG সিস্টেম তৈরি করতে পারেন। এটি আপনার ব্যবসার প্রয়োজন অনুসারে RAG সিস্টেমকে সূক্ষ্মভাবে টিউন করতে সহায়তা করে।

আপনি যা তৈরি করবেন

এই কোডল্যাবটি শেষ করার পর, আপনি একটি কার্যকরী RAG সিস্টেম স্থাপন করতে পারবেন যা সঠিক রেফারেন্স সহ বাস্তব তথ্যের ভিত্তিতে আপনার প্রশ্নের উত্তর দিতে সক্ষম হবে।

গুগল ক্লাউডে এই RAG আর্কিটেকচারটি তৈরি করতে কীভাবে Vertex AI Search API ব্যবহার করতে হয়, সে সম্পর্কেও আপনার আরও ভালো ধারণা হবে। এর পাশাপাশি, আপনি আরও শিখবেন কীভাবে এই RAG আর্কিটেকচার অ্যাপ্লিকেশনটি (ফ্রন্টএন্ড এবং ব্যাকএন্ড সহ) CloudRun-এ ডেপ্লয় করতে হয়, যা গুগল ক্লাউডে অ্যাপ্লিকেশনগুলোকে কন্টেইনার হিসেবে ডেপ্লয় করার একটি সার্ভারলেস প্ল্যাটফর্ম।

অ্যাপ্লিকেশনটি কীভাবে কাজ করে

• আপনার ডেটা আপলোড করুন : ব্যবহারকারীরা ইনপুট হিসেবে তাদের নিজস্ব ডেটা কর্পাস অর্থাৎ পিডিএফ ফাইল আপলোড করতে পারেন।
• সার্চ বারে প্রশ্ন করুন : ব্যবহারকারীরা আপলোড করা ডেটার ওপর ভিত্তি করে সার্চ বারে প্রশ্ন করতে পারেন।
• উত্তর পুনরুদ্ধার করুন : ব্যবহারকারীরা অনুসন্ধানের ফলাফল/প্রার্থীদের পুনরুদ্ধার করতে পারেন এবং অনুসন্ধানের প্রাসঙ্গিকতার ভিত্তিতে প্রাপ্ত উত্তরের সত্যতা ও যথার্থতা যাচাই করতে পারেন।

২. পরিবেশ সেটআপ

1. গুগল ক্লাউড কনসোলের প্রজেক্ট সিলেক্টর পেজে, একটি গুগল ক্লাউড প্রজেক্ট নির্বাচন করুন বা তৈরি করুন।
2. আপনার গুগল ক্লাউড প্রোজেক্টের জন্য বিলিং চালু আছে কিনা তা নিশ্চিত করুন। কোনো প্রোজেক্টে বিলিং চালু আছে কিনা তা কীভাবে পরীক্ষা করবেন, তা জানুন।
3. আপনি ক্লাউড শেল ব্যবহার করবেন, যা গুগল ক্লাউডে চলমান একটি কমান্ড-লাইন পরিবেশ। এটি অ্যাক্সেস করতে, গুগল ক্লাউড কনসোলের শীর্ষে থাকা ‘Activate Cloud Shell’-এ ক্লিক করুন।

4. ক্লাউড শেলে সংযুক্ত হওয়ার পর, আপনি নিম্নলিখিত কমান্ডটি ব্যবহার করে যাচাই করে নিন যে আপনি ইতিমধ্যেই প্রমাণীকৃত এবং প্রজেক্টটি আপনার প্রজেক্ট আইডিতে সেট করা আছে:

gcloud auth list

5. gcloud কমান্ডটি আপনার প্রজেক্ট সম্পর্কে অবগত আছে কিনা, তা নিশ্চিত করতে ক্লাউড শেলে নিম্নলিখিত কমান্ডটি চালান।

gcloud config list project

6. আপনার প্রজেক্টটি সেট করা না থাকলে, এটি সেট করতে নিম্নলিখিত কমান্ডটি ব্যবহার করুন:

gcloud config set project <YOUR_PROJECT_ID>

7. নিশ্চিত করুন যে নিম্নলিখিত API গুলি সক্রিয় করা আছে:

• ক্লাউড রান
• ভার্টেক্স এআই
• ক্লাউড স্টোরেজ

gcloud কমান্ড ব্যবহার করার বিকল্প হলো এই লিঙ্কের মাধ্যমে কনসোল ব্যবহার করা। gcloud কমান্ড এবং এর ব্যবহার সম্পর্কে জানতে ডকুমেন্টেশন দেখুন।

৩. ধাপ ১: জিসিপি বাকেট তৈরি করুন

• কনসোলে যান এবং সার্চ বারে Cloud Storage টাইপ করুন।
• প্রস্তাবিত ফলাফলগুলো থেকে ক্লাউড স্টোরেজ নির্বাচন করুন।
• বালতি তৈরি করুন-এ ক্লিক করুন

• বালতিটির জন্য একটি বিশ্বব্যাপী অনন্য নাম প্রদান করুন।
• চালিয়ে যেতে ক্লিক করুন
• অবস্থানের ধরণে, বহু-অঞ্চল নির্বাচন করুন।
• ড্রপডাউন থেকে us (multiple regions in United States) অপশনটি নির্বাচন করুন।

• বালতি তৈরি করুন-এ ক্লিক করুন

• বাকেটটি তৈরি হয়ে গেলে রিপোজিটরি থেকে alphabet-metadata.json ফাইলটি আপলোড করুন।

৪. ধাপ ২: একটি ভার্টেক্স এআই ডেটাস্টোর তৈরি করুন

• কনসোল পেজের সার্চ বারে "Vertex AI Agent Builder" টাইপ করুন।
• প্রথম পণ্যটি, 'এজেন্ট বিল্ডার' নির্বাচন করুন।

• এজেন্ট বিল্ডার পেজে, বাম পাশের নেভিগেশন বারে দেখানো "ডেটা স্টোরস"-এ ক্লিক করুন।

• "ডেটা স্টোর তৈরি করুন"-এ ক্লিক করুন

• আপনার ডেটা স্টোর হিসেবে ক্লাউড স্টোরেজ নির্বাচন করুন।
• ক্লাউড স্টোরেজ আইকনের নিচে 'নির্বাচন করুন'-এ ক্লিক করুন।

• "ফোল্ডার" অপশনের নিচের ট্যাবে, "ব্রাউজ" বোতামে ক্লিক করুন।
• ধাপ ১-এ আপনার তৈরি করা বাকেটটি নির্বাচন করুন।
• নীচের অপশনগুলো থেকে 'Linked unstructured documents (JSONL with metadata)' নির্বাচন করুন।
• চালিয়ে যান ক্লিক করুন

• কনফিগারেশন পৃষ্ঠায়, আপনার ডেটা স্টোরের অবস্থান হিসেবে 'গ্লোবাল' নির্বাচন করুন।
• আপনার ডেটা স্টোরের জন্য একটি শনাক্তযোগ্য নাম প্রদান করুন।
• তৈরি করুন-এ ক্লিক করুন

ব্রাউনি:

• ‘Create’ বাটনটির ঠিক উপরেই আপনি ডকুমেন্ট প্রসেসিং অপশনটি দেখতে পাবেন।
• আপনি ডিজিটাল, ওসিআর বা লেআউট পার্সারের মতো বিভিন্ন পার্সার নিয়ে পরীক্ষা-নিরীক্ষা করতে পারেন।
• এছাড়াও আপনি অ্যাডভান্সড চাংকিং সক্রিয় করতে পারেন এবং আপনার নিজস্ব কাস্টম চাংক সাইজের সীমা নির্ধারণ করতে পারেন।

৫. ধাপ ৩: একজন এজেন্ট তৈরি করুন

• আপনার ডেটা স্টোর তৈরি হয়ে গেলে, বাম দিকের নেভিগেশন বারে থাকা অ্যাপটিতে ক্লিক করুন এবং "অ্যাপস" বেছে নিন।
• "অ্যাপ তৈরি করুন" বোতামে ক্লিক করুন
• অ্যাপের ধরন হিসেবে 'সার্চ' নির্বাচন করুন (আপনি এজেন্ট, কথোপকথনমূলক বট, সুপারিশ ইত্যাদিও তৈরি করতে পারেন)।

• নিশ্চিত করুন যে আপনি কন্টেন্টের অধীনে "জেনেরিক" নির্বাচন করেছেন। এছাড়াও, আপনি যে ডেটা স্টোর, ডেটার ধরন এবং সিস্টেম তৈরি করতে চান তার উপর ভিত্তি করে মিডিয়া বা সুপারিশ নির্বাচন করতে পারেন।
• এন্টারপ্রাইজ এডিশন এবং অ্যাডভান্সড এলএলএম উভয় ফিচারই চালু করা নিশ্চিত করুন।
• আপনার আবেদনের নাম প্রদান করুন
• আপনার কোম্পানির নাম প্রদান করুন

• অঞ্চলটি 'গ্লোবাল' হিসেবে নির্বাচন করা নিশ্চিত করুন।
• 'চালিয়ে যান'-এ ক্লিক করুন
• পরবর্তী স্ক্রিনে, ধাপ ২-এ আপনার তৈরি করা ডেটা স্টোরটি নির্বাচন করুন।
• 'তৈরি করুন'-এ ক্লিক করুন

৬. ধাপ ৪: আপনার অ্যাপ্লিকেশনটিকে ডকারাইজ করুন

• গুগল ক্লাউড কনসোলে আপনার টার্মিনাল খুলুন
• নিম্নলিখিত কমান্ড ব্যবহার করে <sample_repository_link> রিপোজিটরিটি ক্লোন করুন।

git clone https://github.com/kkrishnan90/vertex-ai-search-agent-builder-demo

• নিম্নলিখিত কমান্ডটি ব্যবহার করে ডিরেক্টরি পরিবর্তন করুন এবং ক্লোন করা রিপোজিটরিতে যান।

cd vertex-ai-search-agent-builder-demo

• ফোল্ডার কাঠামো
• ব্যাকএন্ড - এতে একটি পাইথন-ভিত্তিক এপিআই ইমপ্লিমেন্টেশন থাকবে যা আপনার ফ্রন্টএন্ডের যোগাযোগের জন্য রেস্টফুল এন্ডপয়েন্ট তৈরি করতে সাহায্য করবে।
• ফ্রন্টএন্ড - এখানে একটি রিয়্যাক্ট-ভিত্তিক অ্যাপ্লিকেশন থাকবে এবং এটি ইউজার ইন্টারফেস (UI) পরিবেশন করবে। এছাড়াও, রেস্ট এন্ডপয়েন্টের মাধ্যমে ব্যাকএন্ডে প্রয়োজনীয় অ্যাপ্লিকেশন-স্তরের কলগুলোও এখানে থাকবে।
• ডকারফাইল - এই ফাইলে একটি ডকার কন্টেইনার তৈরি করার জন্য প্রয়োজনীয় সমস্ত কমান্ড থাকবে।
• রিপোজিটরি ডিরেক্টরির রুটে, নিম্নলিখিত কমান্ডটি চালান যা একটি ডকার ইমেজ তৈরি করতে সাহায্য করবে (দ্রষ্টব্য: M1, M2 ইত্যাদির মতো অ্যাপল সিলিকন চিপ ব্যবহারকারী ম্যাকবুকে ডকার কন্টেইনার তৈরি করার সময় - - platform ফ্ল্যাগটি ব্যবহার করা নিশ্চিত করুন। আপনি যদি উইন্ডোজ মেশিনে তৈরি করেন বা আপনার সিপিইউ আর্কিটেকচার ইন্টেল ভিত্তিক হয় তবে এই ফ্ল্যাগটির প্রয়োজন নেই)।

docker build --platform linux/amd64 -t your-image-name .

• ডকার কন্টেইনার বিল্ড সফল হলে, আপনার ইমেজের একটি সংস্করণ নিশ্চিত করতে কন্টেইনারটিকে সঠিক ট্যাগ দিয়ে ট্যাগ করার জন্য নিম্নলিখিত কমান্ডটি চালান। মনে রাখবেন, অ্যাপ্লিকেশনটির একাধিক সংস্করণ থাকতে পারে এবং সেই কারণে ডকার কন্টেইনারগুলিতে ট্যাগ হিসাবেও একাধিক সংস্করণ থাকতে পারে। ডেভঅপ্সের দৃষ্টিকোণ থেকে, সর্বদা সর্বশেষ স্থিতিশীল সংস্করণটি ব্যবহার করা একটি ভালো ও প্রস্তাবিত পদ্ধতি।

docker tag your-image-name REGION-docker.pkg.dev/PROJECT-ID/REPOSITORY-NAME/IMAGE-NAME:TAG

• ডকার কন্টেইনার ইমেজটির ট্যাগিং সফল হয়ে গেলে, এবার ইমেজটি গুগল আর্টিফ্যাক্ট রেজিস্ট্রি (GAR)-তে পুশ করা যাক। GAR হলো গুগলের একটি সম্পূর্ণ পরিচালিত প্ল্যাটফর্ম যা আপনার ডকার কন্টেইনারগুলো পরিচালনা এবং ভার্সন কন্ট্রোল করতে সাহায্য করে। নিচের কমান্ডটি চালান যা উপরে ট্যাগ করা কন্টেইনারটিকে GAR-এ পুশ করবে। আরও তথ্যের জন্য, নিচের লিঙ্কটি দেখুন [ https://cloud.google.com/artifact-registry/docs/docker/pushing-and-pulling ]

docker push REGION-docker.pkg.dev/PROJECT-ID/REPOSITORY-NAME/IMAGE-NAME:TAG

৭. ধাপ ৫: ক্লাউড রান-এ আপনার অ্যাপ্লিকেশনটি ডেপ্লয় করুন।

• আপনার টার্মিনালটি মিনিমাইজ করুন। গুগল ক্লাউড কনসোলের সার্চ বারে ক্লাউড রান (Cloud Run) লিখে সার্চ করুন।
• প্রস্তাবিত ক্লাউড রান পণ্যটিতে ক্লিক করুন

• "Create Service"-এ ক্লিক করুন
• পরবর্তী পৃষ্ঠায়, "বিদ্যমান কন্টেইনার ইমেজ থেকে একটি রিভিশন স্থাপন করুন" বিকল্পটি নির্বাচিত আছে কিনা তা নিশ্চিত করুন।
• নিচে, 'নির্বাচন করুন'-এ ক্লিক করুন।
• এখন আপনার ডানদিকে একটি নেভিগেশন বার প্রদর্শিত হবে।
• আর্টিফ্যাক্ট রেজিস্ট্রি ট্যাব হিসেবে নির্বাচিত আছে কিনা তা নিশ্চিত করুন।
• প্রকল্পটি সঠিকভাবে নির্বাচন করা হয়েছে কিনা তা যাচাই করে নিন।
• আপনার ডেপ্লয় করা কন্টেইনার ইমেজ লিঙ্কের অ্যাকর্ডিয়নটি প্রসারিত করতে তীরচিহ্নে ক্লিক করুন।
• কন্টেইনার ট্যাগটি নির্বাচন করে প্রসারিত করুন (সর্বদা সর্বশেষ ডেপ্লয় করা সংস্করণগুলো নির্বাচন করুন - সঠিক সর্বশেষ ট্যাগসহ, যেমন v1, v2, ইত্যাদি)।
• কন্টেইনার ট্যাগ নামের নিচে দেখানো কন্টেইনার ইমেজটিতে ক্লিক করুন।

• কনফিগার এলাকায়
• আপনার ক্লাউড রান অ্যাপ্লিকেশনের জন্য একটি সার্ভিস নেম দিন (ক্লাউড রানে অ্যাপ্লিকেশনটি ডিপ্লয় করার সময় এটি ইউআরএল-এর একটি অংশ হবে)।
• উপযুক্ত অঞ্চল নির্বাচন করুন (এই ক্ষেত্রে us-central1 অথবা আপনার পছন্দমতো যেকোনো কিছু)।
• প্রমাণীকরণের অধীনে
• "প্রমাণীকরণবিহীন আহ্বানের অনুমতি দিন" বিকল্পটি নির্বাচিত আছে কিনা তা নিশ্চিত করুন।
• সিপিইউ বরাদ্দ এবং মূল্য নির্ধারণের অধীনে
• "সিপিইউ শুধুমাত্র অনুরোধ প্রক্রিয়াকরণের সময় বরাদ্দ করা হয়" নির্বাচন করুন
• সার্ভিস অটো স্কেলিং পরিবর্তন করে ১ করুন (প্রোডাকশনের জন্য, আপনার দৈনিক ট্র্যাফিক সামলাতে ন্যূনতম সংখ্যক ইনস্ট্যান্স চালু রাখার পরামর্শ দেওয়া হয়, আপনি এটিকে ০ অর্থাৎ শূন্যও রাখতে পারেন)।
• ইন্টারনেট থেকে আপনার অ্যাপ্লিকেশন অ্যাক্সেস করার অনুমতি দিতে 'ইনগ্রেস কন্ট্রোল' 'অল'-এ সেট করুন।
• 'তৈরি করুন'-এ ক্লিক করুন
• এটি একটি ক্লাউড রান ইনস্ট্যান্স স্থাপন করবে এবং এর প্রোভিশনিং-এ কয়েক মিনিট সময় লাগতে পারে।

• একবার ডেপ্লয় করা হয়ে গেলে, আপনি সর্বজনীনভাবে উপলব্ধ URL-টি দেখতে পাবেন, যেখান থেকে আপনি আপনার ওয়েব অ্যাপ্লিকেশনটি অ্যাক্সেস করতে পারবেন।

৮. এই পুরো প্রক্রিয়াটি কীভাবে কাজ করে

• অ্যাপ্লিকেশনটির হোম পেজে প্রবেশ করার পর, "আপলোড ডকুমেন্ট" বোতামে ক্লিক করুন।
• আপনার পিডিএফ ফাইল আপলোড করুন
• আপলোড সম্পূর্ণ হলে
• ওয়েব পেজের উপরের সার্চ বারে ক্লিক করুন।
• আপনার আপলোড করা নথি সম্পর্কিত অনুসন্ধান শুরু করুন।
• আপনি আপনার প্রশ্নটি টাইপ করে সার্চ-এ ক্লিক করলে, আপনার আপলোড করা ডকুমেন্টটি থেকে সমস্ত প্রাসঙ্গিক উত্তর দেখানো উচিত।
• আপনি ব্যাকএন্ড কোড দেখে পরীক্ষা-নিরীক্ষা করতে পারেন এবং নিম্নলিখিতগুলির মতো আরও কনফিগারেশন যোগ করতে পারেন।
• স্নিপেট যোগ করা
• নিষ্কাশনযোগ্য অংশ যোগ করা
• উত্তর যোগ করা
• এলএলএম-কে উত্তরটি সংক্ষিপ্ত করতে সাহায্য করার জন্য শীর্ষ-k ফলাফলগুলোকে পরিমার্জন করা (যেমন গুগল সার্চের উপর এআই ওভারভিউ)।
• অতিরিক্ত সুবিধা হিসেবে, ডকুমেন্ট আপলোড করার সময় আপনি মেটাডেটা ট্যাগও যোগ করতে পারেন। এটি ফেসেট এবং ফিল্টারযোগ্য ক্যাটাগরি তৈরি করতে সাহায্য করবে।

৯. পরিষ্কার করুন

এই কোডল্যাবে ব্যবহৃত রিসোর্সগুলির জন্য আপনার গুগল ক্লাউড অ্যাকাউন্টে চার্জ হওয়া এড়াতে, এই ধাপগুলি অনুসরণ করুন:

1. গুগল ক্লাউড কনসোলে, 'ম্যানেজ রিসোর্সেস' পৃষ্ঠায় যান।
2. প্রজেক্ট তালিকা থেকে, আপনি যে প্রজেক্টটি মুছতে চান সেটি নির্বাচন করুন এবং তারপর ডিলিট বোতামে ক্লিক করুন।
3. ডায়ালগ বক্সে প্রজেক্ট আইডি টাইপ করুন এবং তারপর প্রজেক্টটি মুছে ফেলার জন্য 'শাট ডাউন'-এ ক্লিক করুন।
4. বিকল্পভাবে, আপনি কনসোলে Cloud Run- এ গিয়ে, এইমাত্র ডেপ্লয় করা সার্ভিসটি নির্বাচন করে ডিলিট করে দিতে পারেন।

১০. অভিনন্দন

অভিনন্দন! আপনি সফলভাবে গুগলের অত্যাধুনিক মডেল ব্যবহার করে একটি দ্রুত ও রেডিমেড RAG সিস্টেম তৈরি করেছেন, যা আপনার সার্চ কোয়েরিগুলোর জন্য গুগলের মানের ফলাফল প্রদান করবে। এই কোডল্যাবটি শুধুমাত্র প্রদর্শনের উদ্দেশ্যে তৈরি, প্রোডাকশন ব্যবহারের জন্য আরও নিরাপত্তা ও সুরক্ষা ব্যবস্থা স্থাপন করতে হবে। সম্পূর্ণ রিপোজিটরির লিঙ্কটি এখানে দেওয়া হলো। গুগল ক্লাউড ব্যবহার করে এবং মাত্র ৫টি ধাপে, আমরা একটি এন্ড-টু-এন্ড RAG সিস্টেম তৈরি করতে পারি যা আপনাকে কয়েক মিনিটের মধ্যে রেডিমেড গুগলের মানের ফলাফল প্রদান করতে সক্ষম। জেনারেটিভ এআই এবং বৃহৎ ল্যাঙ্গুয়েজ মডেলের বিকাশের সাথে সাথে, এই ধরনের RAG সিস্টেম তৈরি করা আমাদের হ্যালুসিনেশন এবং উদ্ধৃতিবিহীন তথ্য প্রদর্শিত হওয়ার মতো সমস্যাগুলো এড়াতেও সাহায্য করে।

যদিও এটি কেবল একটি সূচনা, আমরা সম্পূর্ণ কাস্টমাইজযোগ্য DIY RAG API-এর মাধ্যমে অসাধারণ কাজ করতে পারি, যা আপনাকে পাইপলাইন প্রক্রিয়ার প্রতিটি অংশ কার্যকরভাবে পরিচালনা করার জন্য আরও বেশি স্বচ্ছতা, ক্ষমতা এবং দক্ষতা প্রদান করে।