با استفاده از Vertex AI Search، یک اپلیکیشن پشتیبانی کارمندان بدون کدنویسی بسازید

۱. مقدمه

در این آزمایشگاه کد، شما با استفاده از Vertex AI Search یک اپلیکیشن پشتیبانی کارمندان بدون کدنویسی خواهید ساخت.

تصور کنید که در Cymbal، یک شرکت خرده فروشی جهانی، کار می‌کنید. کارمندان اغلب سوالاتی مانند «سیاست رزرو سفرهای کاری چیست؟» یا «چند واحد کفش کتانی در انبار داریم؟» دارند.

معمولاً برای یافتن این پاسخ‌ها باید وارد سیستم‌های کاملاً متفاوتی شوید. علاوه بر سروکار داشتن با سیستم‌های مختلف، باید تعداد زیادی از داده‌های بدون ساختار منابع انسانی را نیز بخوانید یا دستورات پیچیده SQL را روی داده‌های مالی ساختاریافته اجرا کنید تا به پاسخ سوالات خود برسید.

در این آزمایشگاه کد، شما یک برنامه واحد و یکپارچه خواهید ساخت که به این مجموعه داده‌ها متصل می‌شود و به کارمندان اجازه می‌دهد تا با استفاده از قابلیت‌های بازیابی افزوده نسل (RAG) شرکت Vertex AI، پاسخ‌های محاوره‌ای و مبتنی بر واقعیت برای سوالات خود دریافت کنند.

کاری که انجام خواهید داد

در این codelab، مراحل زیر را انجام خواهید داد:

• منابع داده را تنظیم کنید. یک مخزن ذخیره‌سازی ابری برای اسناد منابع انسانی بدون ساختار و یک مجموعه داده BigQuery برای داده‌های مالی ساختاریافته ایجاد کنید.
• پیکربندی انبارهای داده. ایجاد انبارهای داده Vertex AI Search متصل به منابع داده Cloud Storage و BigQuery شما.
• برنامه را وصل کنید. یک برنامه جستجوی هوش مصنوعی Vertex ایجاد کنید و هر دو منبع داده را به آن پیوند دهید.
• برنامه را آزمایش کنید. با رابط جستجوی یکپارچه تعامل کنید تا پاسخ‌های پایه‌ای که اطلاعات را از هر دو مخزن داده ترکیب می‌کنند، تأیید شوند.
• مراحل بعدی را بررسی کنید. گزینه‌های تنظیم مدل هوش مصنوعی مولد و استقرار برنامه جستجوی خود را بررسی کنید.

آنچه نیاز دارید

• یک مرورگر وب مانند کروم .
• یک پروژه گوگل کلود با قابلیت پرداخت.
• گیت روی دستگاه محلی شما نصب شده باشد.

این آزمایشگاه کد برای توسعه‌دهندگان در تمام سطوح است.

۲. قبل از شروع

یک پروژه Google Cloud ایجاد کنید و API های مورد نیاز را فعال کنید.

1. در کنسول گوگل کلود، در صفحه انتخاب پروژه، یک پروژه گوگل کلود را انتخاب یا ایجاد کنید.
2. مطمئن شوید که صورتحساب برای پروژه ابری شما فعال است. یاد بگیرید که چگونه بررسی کنید که آیا صورتحساب در یک پروژه فعال است یا خیر.

نقش‌های مورد نیاز IAM

این آزمایشگاه کد فرض می‌کند که شما نقش مالک پروژه را برای پروژه Google Cloud خود دارید.

فعال کردن APIها

1. در کنسول Google Cloud، روی Activate Cloud Shell کلیک کنید: اگر قبلاً از Cloud Shell استفاده نکرده‌اید، پنجره‌ای ظاهر می‌شود که به شما امکان می‌دهد Cloud Shell را در یک محیط قابل اعتماد با یا بدون بوست شروع کنید. اگر از شما خواسته شد Cloud Shell را تأیید کنید، روی Authorize کلیک کنید.
2. در Cloud Shell، تمام API های مورد نیاز را فعال کنید:

   gcloud services enable \
     discoveryengine.googleapis.com \
     aiplatform.googleapis.com \
     bigquery.googleapis.com \
     storage.googleapis.com
   

۳. کپی کردن یک مخزن گیت‌هاب

برای نشان دادن نحوه‌ی عملکرد جستجو در برنامه‌ی پشتیبانی کارمندان Cymbal، به تعدادی فایل آزمایشی نیاز دارید. در این بخش، یک مخزن GitHub را روی دستگاه محلی خود کپی می‌کنید تا این فایل‌ها را دریافت کنید. در مراحل بعدی، این فایل‌ها را با استفاده از رابط Cloud Console در Google Cloud آپلود خواهید کرد.

1. در یک ترمینال روی دستگاه محلی خود، مخزن next-26-sessions را کلون کنید:

   git clone https://github.com/GoogleCloudPlatform/next-26-sessions.git
   

2. به دایرکتوری مخزن دانلود شده بروید:

   cd next-26-sessions/BRK1-063-the-knowledge-source/cymbal-employee-helpdesk
   

3. فایل‌های دانلود شده در این پوشه را بررسی کنید. متوجه خواهید شد که دو پوشه وجود دارد: HR و Finance .
   • HR . این پوشه حاوی تعدادی فایل بدون ساختار مانند فایل‌های .doc ، .txt و .html است. شما فایل‌های HR را در یک فضای ذخیره‌سازی ابری آپلود خواهید کرد.
   • Finance . این پوشه شامل دو فایل .jsonl است. شما این فایل‌ها را در مجموعه داده BigQuery آپلود خواهید کرد.

۴. یک فضای ذخیره‌سازی ابری برای فایل‌های بدون ساختار ایجاد کنید

در این بخش، یک مخزن ذخیره‌سازی ابری ایجاد می‌کنید و اسناد موجود در پوشه HR را که در بخش مخزن Clone a GitHub دانلود کرده‌اید، آپلود می‌کنید. داده‌های بدون ساختار، مانند اسناد منابع انسانی در این مثال، از قالب از پیش تعریف‌شده‌ای پیروی نمی‌کنند و می‌توانند شامل فایل‌های متنی، اسناد یا محتوای چندرسانه‌ای باشند.

1. در کنسول Cloud، به صفحه Buckets بروید.
2. روی ایجاد کلیک کنید.
3. در صفحه ایجاد یک سطل ، نام سطل را وارد کنید. این نام باید به صورت سراسری منحصر به فرد باشد. برای مثال: cymbal-app-hr-12 .
4. گزینه‌های پیش‌فرض را حفظ کنید.
5. روی ایجاد کلیک کنید. سطل ایجاد شده و صفحه جزئیات سطل نمایش داده می‌شود. اگر صفحه جزئیات سطل را نمی‌بینید، روی سطلی که تازه ایجاد کرده‌اید کلیک کنید.
6. در صفحه جزئیات Bucket ، روی Upload > Upload folder کلیک کنید و سپس پوشه HR را که در بخش Clone a GitHub repository دانلود کرده‌اید، انتخاب کنید.
7. آپلود را تأیید کنید.
8. در صفحه جزئیات سطل ، برای مشاهده لیست فایل‌ها، روی پوشه HR کلیک کنید.

۵. یک مجموعه داده BigQuery برای فایل‌های ساختاریافته ایجاد کنید

در این بخش، شما یک مجموعه داده BigQuery ایجاد می‌کنید و اسناد موجود در پوشه Finance را که در بخش Clone a GitHub repository دانلود کرده‌اید، در یک جدول جدید بارگذاری می‌کنید. داده‌های ساختاریافته، مانند اسناد مالی در این مثال، از یک قالب از پیش تعریف‌شده، مانند رکوردهای موجود در یک پایگاه داده، پیروی می‌کنند.

1. در کنسول Cloud، به صفحه BigQuery بروید.
2. در پنل Explorer ، روی نام پروژه خود کلیک کنید و سپس روی View actions (سه نقطه عمودی) > Create dataset کلیک کنید.
3. در صفحه ایجاد مجموعه داده ، شناسه مجموعه داده را به صورت cymbal_finance وارد کنید.
4. برای موقعیت مکانی داده ، US (multiple regions in United States) را انتخاب کنید.
5. گزینه‌های پیش‌فرض را نگه دارید و روی ایجاد مجموعه داده کلیک کنید.
6. در پنجره اکسپلورر ، پروژه خود را گسترش دهید و روی مجموعه داده cymbal_finance کلیک کنید.
7. در پنجره جزئیات مجموعه داده‌ها، روی ایجاد جدول کلیک کنید.
8. در صفحه ایجاد جدول ، در بخش منبع ، موارد زیر را انجام دهید:
   1. برای ایجاد جدول از ، گزینه آپلود را انتخاب کنید.
   2. برای انتخاب فایل ، روی مرور کلیک کنید، به پوشه Finance که دانلود کرده‌اید بروید و cymbal_employee_finance.jsonl را انتخاب کنید.
   3. برای قالب فایل ، JSONL (JSON با مرزبندی خط جدید) را انتخاب کنید.
9. در بخش Destination ، نام جدول را employee_finance وارد کنید.
10. در بخش Schema ، گزینه‌ی Auto-detect را انتخاب کنید.
11. سایر تنظیمات پیش‌فرض را حفظ کنید و روی ایجاد جدول کلیک کنید.
12. مراحل ۷ تا ۱۱ را برای بارگذاری داده‌ها در یک جدول جدید تکرار کنید. در مرحله ۸ب، product_inventory.jsonl را انتخاب کنید و در مرحله ۹، product_inventory به عنوان نام جدول وارد کنید. اگر جداول را در پنجره جزئیات مجموعه داده نمی‌بینید، روی Refresh کلیک کنید.
13. اگر مجموعه داده و دو جدول را با موفقیت ایجاد کرده باشید، باید مانند تصویر زیر باشد:

۶. یک برنامه جستجوی هوش مصنوعی Vertex ایجاد کنید

1. در کنسول ابری، به صفحه جستجوی هوش مصنوعی ورتکس بروید.
2. در بخش جستجوی سفارشی (عمومی) ، روی ایجاد کلیک کنید.
3. در صفحه پیکربندی برنامه جستجو ، مطمئن شوید که گزینه‌های ویژگی‌های نسخه سازمانی و پاسخ‌های تولیدی انتخاب شده‌اند.
4. نام برنامه خود را cymbal-employee-portal بگذارید.
5. نام شرکت را Cymbal Corp وارد کنید.
6. موقعیت مکانی برنامه خود را به صورت global حفظ کنید.
7. روی ادامه کلیک کنید.

۷. ایجاد و اتصال انبارهای داده

در صفحه‌ی «ذخیره‌های داده» ، شما باید سه مخزن داده ایجاد کنید که به برنامه‌ی شما متصل شوند. شما باید سه مخزن داده ایجاد کنید: یکی برای داده‌های منابع انسانی بدون ساختار و دو تا برای داده‌های مالی ساختاریافته.

ایجاد یک مخزن داده برای داده‌های بدون ساختار

1. در صفحه فروشگاه‌های داده ، روی ایجاد فروشگاه داده کلیک کنید.
2. برای انتخاب منبع داده ، فضای ذخیره‌سازی ابری را انتخاب کنید.
3. در صفحه «وارد کردن داده‌ها از فضای ذخیره‌سازی ابری» ، به «وارد کردن داده‌های بدون ساختار (جستجوی اسناد و RAG)» بروید و «اسناد» را انتخاب کنید.
4. گزینه فرکانس همگام‌سازی را روی «یک‌باره» (One-time) نگه دارید.
5. برای انتخاب پوشه یا فایلی که می‌خواهید وارد کنید ، روی پوشه کلیک کنید.
6. در فیلد gs://... ، نام باکتی را که در بخش «ایجاد یک باکت ذخیره‌سازی ابری برای فایل‌های بدون ساختار» ایجاد کرده‌اید، وارد کنید. برای مثال، اگر نام باکت cymbal-app-hr-12 است، نام آن را cymbal-app-hr-12/HR وارد کنید. دریافت از پوشه HR تضمین می‌کند که فقط اسناد HR در این مخزن داده گنجانده شده‌اند.
7. روی ادامه کلیک کنید.
8. نام محل ذخیره‌سازی داده را cymbal-hr وارد کنید.
9. روی ادامه کلیک کنید.
10. گزینه قیمت‌گذاری عمومی را حفظ کنید.
11. روی ایجاد کلیک کنید.

بعد از اینکه روی ایجاد کلیک کردید، به صفحه‌ی ذخیره‌سازی داده‌ها بازگردانده می‌شوید.

ایجاد انبارهای داده برای داده‌های ساختاریافته

شما دو مخزن داده برای داده‌های ساختاریافته از BigQuery ایجاد خواهید کرد: یکی برای اطلاعات مالی کارکنان و دیگری برای موجودی محصولات.

ایجاد یک مخزن داده برای داده‌های مالی کارکنان

1. در صفحه‌ی «ذخیره‌های داده» ، دوباره روی «ایجاد ذخیره‌ی داده» کلیک کنید.
2. برای انتخاب منبع داده ، BigQuery را انتخاب کنید.
3. برای وارد کردن داده‌های ساختاریافته ، جدول BigQuery را با طرحواره خودتان انتخاب کنید.
4. گزینه فرکانس همگام‌سازی را روی «یک‌باره» (One-time) نگه دارید.
5. برای انتخاب جدولی که می‌خواهید وارد کنید ، روی مرور کلیک کنید. در کادر محاوره‌ای انتخاب مسیر که باز می‌شود، جدول employee_finance را از مجموعه داده cymbal_finance در پروژه خود انتخاب کنید. ممکن است جداولی با نام‌های مشابه از پروژه‌های دیگر ببینید، بنابراین مطمئن شوید که جدول را از پروژه خود انتخاب می‌کنید.
6. روی ادامه کلیک کنید.
7. صفحه بررسی طرحواره و اختصاص ویژگی‌های کلیدی را بررسی کنید.
8. روی ادامه کلیک کنید.
9. نام محل ذخیره‌سازی داده را cymbal-finance وارد کنید.
10. روی ادامه کلیک کنید.
11. گزینه قیمت‌گذاری عمومی را حفظ کنید.
12. روی ایجاد کلیک کنید.

بعد از اینکه روی ایجاد کلیک کردید، به صفحه‌ی ذخیره‌سازی داده‌ها بازگردانده می‌شوید.

ایجاد یک مخزن داده برای داده‌های موجودی محصول

1. در صفحه‌ی «ذخیره‌های داده» ، دوباره روی «ایجاد ذخیره‌ی داده» کلیک کنید.
2. برای انتخاب منبع داده ، BigQuery را انتخاب کنید.
3. برای وارد کردن داده‌های ساختاریافته ، جدول BigQuery را با طرحواره خودتان انتخاب کنید.
4. گزینه فرکانس همگام‌سازی را روی «یک‌باره» (One-time) نگه دارید.
5. برای انتخاب جدولی که می‌خواهید وارد کنید ، روی مرور کلیک کنید. در کادر محاوره‌ای انتخاب مسیر که باز می‌شود، جدول product_inventory را از مجموعه داده cymbal_finance در پروژه خود انتخاب کنید.
6. روی ادامه کلیک کنید.
7. صفحه بررسی طرحواره و اختصاص ویژگی‌های کلیدی را بررسی کنید.
8. روی ادامه کلیک کنید.
9. نام محل ذخیره‌سازی داده را cymbal-inventory وارد کنید.
10. روی ادامه کلیک کنید.
11. گزینه قیمت‌گذاری عمومی را حفظ کنید.
12. روی ایجاد کلیک کنید.

بعد از اینکه روی ایجاد کلیک کردید، به صفحه‌ی ذخیره‌سازی داده‌ها بازگردانده می‌شوید.

۸. اتصال فروشگاه‌های داده به برنامه‌تان

اکنون باید سه محل ذخیره‌سازی داده را در لیست صفحه‌ی محل‌های ذخیره‌سازی داده مشاهده کنید: cymbal-hr (بدون ساختار)، cymbal-finance (ساختاریافته) و cymbal-inventory (ساختاریافته). برای اتصال این محل‌های ذخیره‌سازی داده به برنامه‌ی خود، این مراحل را دنبال کنید:

1. در صفحه‌ی Data stores ، هر سه data store که ایجاد کرده‌اید را انتخاب کنید: cymbal-hr ، cymbal-finance و cymbal-inventory . قبل از ادامه، مطمئن شوید که هر سه data store را انتخاب کرده‌اید.
2. روی ادامه کلیک کنید.
3. گزینه قیمت‌گذاری عمومی را حفظ کنید.
4. روی ایجاد کلیک کنید.

۹. اپلیکیشن پورتال کارمندان Cymbal را امتحان کنید

1. در برنامه cymbal-employee-portal ، روی پیش‌نمایش کلیک کنید.
2. در کادر «جستجو در اینجا» ، سوال زیر را وارد کنید:

   What are the stipends that I get as an employee of Cymbal located in London?
   

3. سوالی در رابطه با موجودی محصول وارد کنید:

   How many units of sneakers do we have in stock?
   

4. سوال دیگری را وارد کنید:

   What is the stipend for an executive in Cymbal?
   

توجه کنید که چگونه برنامه جستجو، اطلاعات را از منابع مختلف بازیابی می‌کند تا پاسخ خود را تدوین کند. برای پاسخ به این سؤالات، برنامه هم در داده‌های مالی ساختاریافته ذخیره‌شده در BigQuery و هم در اسناد منابع انسانی بدون ساختار در Cloud Storage جستجو کرد.

این نشان دهنده قدرت Vertex AI Search در ترکیب پاسخ‌ها در قالب‌های داده‌ای مختلف و ذخیره داده‌های پراکنده در یک تجربه واحد و منسجم است.

همچنین می‌توانید مدل هوش مصنوعی را تنظیم کنید تا پاسخ‌های دقیق‌تر و مختص به حوزه مورد نظر ارائه دهد. برای اطلاعات بیشتر در مورد سفارشی‌سازی تجربه تولید، به مستندات «دریافت پاسخ‌ها و پیگیری‌ها» مراجعه کنید.

۱۰. گزینه‌هایی برای استقرار برنامه شما

اگرچه استقرار برنامه برای کاربران نهایی خارج از محدوده این آزمایشگاه کد است، اما دانستن چگونگی تبدیل آن به یک سناریوی دنیای واقعی مفید است. شما چندین گزینه برای ادغام برنامه جستجوی هوش مصنوعی Vertex خود در گردش‌های کاری سازمان خود دارید:

• ویجت وب از پیش ساخته شده. شما می‌توانید یک رابط جستجو یا چت آماده را مستقیماً با استفاده از یک تگ script HTML در اینترانت یا صفحات وب موجود شرکت خود جاسازی کنید. این سریع‌ترین راه برای قرار دادن برنامه شما در معرض دید کاربران است.
• ادغام API سفارشی. برای کنترل کامل بر تجربه کاربری، می‌توانید از APIهای Vertex AI Search REST یا کتابخانه‌های کلاینت (مانند پایتون، Node.js یا جاوا) برای ساخت یک رابط کاربری سفارشی از ابتدا استفاده کنید.

نکته: برای جزئیات بیشتر در مورد جاسازی رابط کاربری، به مستندات «افزودن ابزارک جستجو» مراجعه کنید.

۱۱. تمیز کردن

برای جلوگیری از هزینه‌های مداوم برای حساب Google Cloud خود، منابع ایجاد شده در طول این codelab را حذف کنید:

1. در کنسول Cloud، به صفحه جستجوی Vertex AI بروید.
2. روی «مشاهده برنامه‌های موجود» کلیک کنید.
3. برای برنامه cymbal-employee-portal ، روی سه نقطه عمودی برای «بیشتر» کلیک کنید و سپس روی «حذف» کلیک کنید.
4. برای تأیید حذف، دستورالعمل‌های روی صفحه را دنبال کنید.
5. برای حذف فروشگاه‌های داده، روی فروشگاه‌های داده در پنل ناوبری سمت چپ کنسول کلیک کنید.
6. داده‌های مربوط به cymbal-hr ، cymbal-finance و cymbal-inventory را حذف کنید:
   1. برای ذخیره داده cymbal-hr ، روی سه نقطه عمودی برای More کلیک کنید و سپس روی Delete کلیک کنید.
   2. برای تأیید حذف، دستورالعمل‌های روی صفحه را دنبال کنید.
   3. برای فروشگاه داده cymbal-finance ، روی سه نقطه عمودی برای «بیشتر» کلیک کنید و سپس روی «حذف» کلیک کنید.
   4. برای تأیید حذف، دستورالعمل‌های روی صفحه را دنبال کنید.
   5. برای فروشگاه داده‌های cymbal-inventory ، روی سه نقطه عمودی برای «بیشتر» کلیک کنید و سپس روی «حذف» کلیک کنید.
   6. برای تأیید حذف، دستورالعمل‌های روی صفحه را دنبال کنید.
7. به صفحه Buckets بروید و Bucket ای که ایجاد کرده‌اید (برای مثال، cymbal-app-hr-12 ) را حذف کنید.
8. به صفحه BigQuery بروید و مجموعه داده cymbal_finance را حذف کنید.

۱۲. تبریک

ماموریت تکمیل شد! شما با موفقیت یک تجربه جستجوی یکپارچه سازمانی با استفاده از Vertex AI Search ایجاد کردید.

با پر کردن شکاف بین داده‌های سازمانی بدون ساختار شما در فضای ذخیره‌سازی ابری و رکوردهای ساختاریافته از BigQuery، شما ابزاری قدرتمند ایجاد کرده‌اید که قادر به استدلال پیچیده تجاری است - همه اینها بدون نوشتن حتی یک خط کد یادگیری ماشین.

آنچه آموخته‌اید

• دریافت: نحوه دریافت اسناد بدون ساختار از فضای ذخیره‌سازی ابری و داده‌های ساختاریافته از BigQuery به جستجوی هوش مصنوعی Vertex.
• پرس‌وجوی چند داده‌ای . نحوه پرس‌وجو از یک برنامه جستجوی چند داده‌ای برای ترکیب پاسخ‌های یکپارچه از داده‌های ساختاریافته و بدون ساختار.
• تنظیم و سفارشی‌سازی . نحوه تنظیم مدل‌های هوش مصنوعی مولد برای ارائه پاسخ‌های دقیق‌تر و مختص به حوزه مورد نظر.
• گزینه‌های استقرار . روش‌های مختلف برای ادغام این قابلیت استدلال در برنامه‌های دنیای واقعی با استفاده از ویجت‌های از پیش ساخته شده یا APIهای سفارشی.

اسناد مرجع

• مستندات جستجوی هوش مصنوعی ورتکس