Tạo một ứng dụng trợ giúp nhân viên đa năng không cần lập trình bằng Vertex AI Search

1. Giới thiệu

Trong lớp học lập trình này, bạn sẽ tạo một ứng dụng trợ giúp nhân viên đa năng không cần viết mã bằng Vertex AI Search.

Giả sử bạn làm việc tại Cymbal, một công ty bán lẻ toàn cầu. Nhân viên thường có những câu hỏi như "Chính sách đặt vé đi công tác là gì?" hoặc "Chúng tôi còn bao nhiêu đôi giày thể thao còn hàng?".

Thông thường, bạn phải đăng nhập vào các hệ thống hoàn toàn khác nhau để tìm câu trả lời cho những câu hỏi này. Ngoài việc xử lý các hệ thống khác nhau, bạn cũng phải đọc qua một lượng lớn dữ liệu nhân sự không có cấu trúc hoặc chạy các câu lệnh SQL phức tạp trên dữ liệu tài chính có cấu trúc để nhận được câu trả lời cho câu hỏi của mình.

Trong lớp học lập trình này, bạn sẽ tạo một ứng dụng duy nhất, hợp nhất kết nối với các tập dữ liệu này, cho phép nhân viên nhận được câu trả lời dựa trên cuộc trò chuyện, liên kết thực tế cho câu hỏi của họ bằng các tính năng Tạo nội dung tăng cường khả năng truy xuất (RAG) của Vertex AI.

Bạn sẽ thực hiện

Trong lớp học lập trình này, bạn sẽ hoàn tất các bước sau:

  • Thiết lập nguồn dữ liệu. Tạo một bộ chứa Cloud Storage cho các tài liệu nhân sự không có cấu trúc và một tập dữ liệu BigQuery cho dữ liệu tài chính có cấu trúc.
  • Định cấu hình kho lưu trữ dữ liệu. Tạo kho lưu trữ dữ liệu Vertex AI Search được kết nối với các nguồn dữ liệu Cloud Storage và BigQuery.
  • Kết nối ứng dụng. Tạo một ứng dụng Vertex AI Search và liên kết cả hai kho lưu trữ dữ liệu với ứng dụng đó.
  • Kiểm thử ứng dụng. Tương tác với giao diện tìm kiếm hợp nhất để xác minh các câu trả lời dựa trên thông tin tổng hợp từ cả hai kho lưu trữ dữ liệu.
  • Khám phá bước tiếp theo. Xem các lựa chọn để điều chỉnh mô hình AI tạo sinh và triển khai ứng dụng tìm kiếm.

Sơ đồ cấu trúc ứng dụng cho thấy Vertex AI Search

Bạn cần có

  • Một trình duyệt web như Chrome.
  • Một dự án trên đám mây của Google Cloud đã bật tính năng thanh toán.
  • Git được cài đặt trên máy cục bộ của bạn.

Lớp học lập trình này dành cho nhà phát triển ở mọi cấp độ.

2. Trước khi bắt đầu

Tạo một dự án Google Cloud và bật các API bắt buộc.

  1. Trong Google Cloud Console, trên trang bộ chọn dự án, hãy chọn hoặc tạo một dự án Google Cloud .
  2. Đảm bảo bạn đã bật tính năng thanh toán cho dự án trên đám mây của mình. Tìm hiểu cách kiểm tra xem tính năng thanh toán đã được bật trên một dự án hay chưa.

Vai trò IAM bắt buộc

Lớp học lập trình này giả định rằng bạn có vai trò Chủ sở hữu dự án cho dự án Google Cloud của mình.

Bật API

  1. Trong bảng điều khiển Cloud, hãy nhấp vào Kích hoạt Cloud Shell: Nếu bạn chưa từng sử dụng Cloud Shell trước đây, một ngăn sẽ xuất hiện cho phép bạn chọn bắt đầu Cloud Shell trong một môi trường đáng tin cậy có hoặc không có tính năng tăng tốc. Nếu bạn được yêu cầu cho phép Cloud Shell, hãy nhấp vào Cho phép.
  2. Trong Cloud Shell, hãy bật tất cả các API bắt buộc:
    gcloud services enable \
  discoveryengine.googleapis.com \
  aiplatform.googleapis.com \
  bigquery.googleapis.com \
  storage.googleapis.com

3. Sao chép kho lưu trữ GitHub

Để cho biết cách tìm kiếm hoạt động trong ứng dụng trợ giúp nhân viên Cymbal, bạn cần một số tệp mô phỏng. Trong phần này, bạn sẽ sao chép một kho lưu trữ GitHub vào máy cục bộ để lấy các tệp này. Bạn sẽ tải các tệp này lên Google Cloud trong các bước sau bằng giao diện Cloud Console.

  1. Trong một cửa sổ dòng lệnh trên máy cục bộ, hãy sao chép kho lưu trữ next-26-sessions:
    git clone https://github.com/GoogleCloudPlatform/next-26-sessions.git
  2. Chuyển đến thư mục kho lưu trữ đã tải xuống:
    cd next-26-sessions/BRK1-063-the-knowledge-source/cymbal-employee-helpdesk
  3. Khám phá các tệp đã tải xuống trong thư mục này. Bạn sẽ nhận thấy có 2 thư mục: HR và Finance.
    • HR. Thư mục này chứa một số tệp không có cấu trúc, chẳng hạn như tệp .doc, .txt và .html. Bạn sẽ tải các tệp nhân sự lên một bộ chứa Cloud Storage.
    • Finance. Thư mục này chứa 2 tệp .jsonl. Bạn sẽ tải các tệp này lên một tập dữ liệu BigQuery.

4. Tạo một bộ chứa Cloud Storage cho các tệp không có cấu trúc

Trong phần này, bạn sẽ tạo một bộ chứa Cloud Storage và tải các tài liệu trong thư mục HR mà bạn đã tải xuống trong phần Sao chép kho lưu trữ GitHub lên. Dữ liệu không có cấu trúc, chẳng hạn như tài liệu nhân sự trong ví dụ này, không tuân theo một định dạng được xác định trước và có thể bao gồm tệp văn bản, tài liệu hoặc nội dung đa phương tiện.

  1. Trong bảng điều khiển Cloud, hãy chuyển đến trang Buckets (Bộ chứa).
  2. Nhấp vào Tạo.
  3. Trên trang Create a bucket (Tạo bộ chứa), hãy nhập tên của một bộ chứa. Tên phải là duy nhất trên toàn hệ thống. Ví dụ: cymbal-app-hr-12.
  4. Giữ lại các lựa chọn mặc định.
  5. Nhấp vào Tạo.Bộ chứa sẽ được tạo và trang Bucket details (Thông tin chi tiết về bộ chứa) sẽ xuất hiện. Nếu bạn không thấy trang Bucket details (Thông tin chi tiết về bộ chứa), hãy nhấp vào bộ chứa mà bạn vừa tạo.
  6. Trên trang Bucket details (Thông tin chi tiết về bộ chứa), hãy nhấp vào Upload (Tải lên) > Upload folder (Tải thư mục lên), rồi chọn thư mục HR mà bạn đã tải xuống trong phần Clone a GitHub repository (Sao chép kho lưu trữ GitHub).
  7. Xác nhận việc tải lên.Tạo vùng lưu trữ
  8. Trên trang Bucket details (Thông tin chi tiết về bộ chứa), hãy nhấp vào thư mục HR để xem danh sách tệp.Tệp trong vùng lưu trữ

5. Tạo một tập dữ liệu BigQuery cho các tệp có cấu trúc

Trong phần này, bạn sẽ tạo một tập dữ liệu BigQuery và tải các tài liệu trong thư mục Finance mà bạn đã tải xuống trong phần Sao chép kho lưu trữ GitHub vào một bảng mới. Dữ liệu có cấu trúc, chẳng hạn như tài liệu tài chính trong ví dụ này, tuân theo một định dạng được xác định trước, chẳng hạn như bản ghi trong cơ sở dữ liệu.

  1. Trong bảng điều khiển Cloud, hãy chuyển đến trang BigQuery.
  2. Trong ngăn Explorer, hãy nhấp vào tên dự án của bạn, rồi nhấp vào View actions (Xem các thao tác) (ba dấu chấm dọc) > Create dataset (Tạo tập dữ liệu).Tạo tập dữ liệu
  3. Trên ngăn Create dataset (Tạo tập dữ liệu), hãy nhập Dataset ID (Mã tập dữ liệu) là cymbal_finance.
  4. Đối với Data location (Vị trí dữ liệu), hãy chọn US (multiple regions in United States).
  5. Giữ lại các lựa chọn mặc định rồi nhấp vào Create dataset (Tạo tập dữ liệu).
  6. Trong ngăn Explorer (Trình khám phá), hãy mở rộng dự án của bạn rồi nhấp vào tập dữ liệu cymbal_finance.
  7. Trong ngăn thông tin chi tiết về tập dữ liệu, hãy nhấp vào Create table (Tạo bảng).
  8. Trên trang Create table (Tạo bảng), trong phần Source (Nguồn), hãy thực hiện các thao tác sau:
    1. Đối với Create table from (Tạo bảng từ), hãy chọn Upload (Tải lên).
    2. Đối với Select file (Chọn tệp), hãy nhấp vào Browse (Duyệt tìm), chuyển đến thư mục Finance mà bạn đã tải xuống rồi chọn cymbal_employee_finance.jsonl.
    3. Đối với File format (Định dạng tệp), hãy chọn JSONL (Newline delimited JSON) (JSONL (JSON được phân tách theo dòng mới)).
  9. Trong phần Destination (Đích đến), hãy nhập tên Table (Bảng) là employee_finance.
  10. Trong phần Schema (Giản đồ), hãy chọn hộp đánh dấu Auto-detect (Tự động phát hiện).
  11. Giữ lại các chế độ cài đặt mặc định khác rồi nhấp vào Create table (Tạo bảng).
  12. Lặp lại các bước từ 7 đến 11 để tải dữ liệu vào một bảng mới. Ở bước 8b, hãy chọn product_inventory.jsonl và ở bước 9, hãy nhập product_inventory làm tên Table (Bảng). Nếu bạn không thấy các bảng trong ngăn thông tin chi tiết về tập dữ liệu, hãy nhấp vào Refresh (Làm mới).
  13. Nếu bạn đã tạo thành công tập dữ liệu và 2 bảng, thì tập dữ liệu và 2 bảng đó sẽ trông như hình ảnh sau:Tập dữ liệu tài chính của Cymbal

6. Tạo một ứng dụng Vertex AI Search

  1. Trong Cloud Console, hãy chuyển đến trang Vertex AI Search.
  2. Trong ô Custom search (general) (Tìm kiếm tuỳ chỉnh (chung)), hãy nhấp vào Create (Tạo).
  3. Trên trang Search app configuration (Cấu hình ứng dụng tìm kiếm), hãy đảm bảo rằng các lựa chọn Enterprise edition features (Tính năng phiên bản dành cho doanh nghiệp) và Generative responses (Câu trả lời tạo sinh) được chọn.
  4. Đặt tên cho ứng dụng của bạn là cymbal-employee-portal.
  5. Nhập Company name (Tên công ty) là Cymbal Corp.
  6. Giữ lại Location of your app (Vị trí của ứng dụng) là global.
  7. Nhấp vào Tiếp tục.

7. Tạo và kết nối kho lưu trữ dữ liệu

Trên trang Data stores (Kho lưu trữ dữ liệu), bạn sẽ tạo các kho lưu trữ dữ liệu mà bạn sẽ kết nối với ứng dụng của mình. Bạn phải tạo 3 kho lưu trữ dữ liệu: một kho lưu trữ dữ liệu nhân sự không có cấu trúc và 2 kho lưu trữ dữ liệu tài chính có cấu trúc.

Tạo một kho lưu trữ dữ liệu cho dữ liệu không có cấu trúc

  1. Trên trang Data stores (Kho lưu trữ dữ liệu), hãy nhấp vào Create data store (Tạo kho lưu trữ dữ liệu).
  2. Đối với Select a data source (Chọn nguồn dữ liệu), hãy chọn Cloud storage (Bộ nhớ trên đám mây).
  3. Trên ngăn Import data from Cloud Storage (Nhập dữ liệu từ Cloud Storage), hãy chuyển đến Unstructured data import (Document search and RAG) (Nhập dữ liệu không có cấu trúc (Tìm kiếm tài liệu và RAG)) rồi chọn Documents (Tài liệu).
  4. Giữ lại lựa chọn Synchronization frequency (Tần suất đồng bộ hoá) là One-time (Một lần).
  5. Đối với Select a folder or a file that you want to import (Chọn một thư mục hoặc tệp mà bạn muốn nhập), hãy nhấp vào Folder (Thư mục).
  6. Trong trường gs://..., hãy nhập tên của bộ chứa mà bạn đã tạo trong phần Create a Cloud Storage bucket for unstructured files (Tạo một bộ chứa Cloud Storage cho các tệp không có cấu trúc). Ví dụ: nếu tên của bộ chứa là cymbal-app-hr-12, hãy nhập tên là cymbal-app-hr-12/HR.Việc tiếp nhận từ thư mục HR đảm bảo rằng chỉ các tài liệu nhân sự mới được đưa vào kho lưu trữ dữ liệu này.
  7. Nhấp vào Tiếp tục.
  8. Nhập tên của kho lưu trữ dữ liệu là cymbal-hr.
  9. Nhấp vào Tiếp tục.
  10. Giữ lại lựa chọn cho General pricing (Giá chung).
  11. Nhấp vào Tạo.

Sau khi nhấp vào Tạo, bạn sẽ được đưa trở lại trang Data stores (Kho lưu trữ dữ liệu).

Tạo kho lưu trữ dữ liệu cho dữ liệu có cấu trúc

Bạn sẽ tạo 2 kho lưu trữ dữ liệu cho dữ liệu có cấu trúc từ BigQuery: một kho lưu trữ dữ liệu cho thông tin tài chính của nhân viên và một kho lưu trữ dữ liệu cho kho hàng.

Tạo một kho lưu trữ dữ liệu cho dữ liệu tài chính của nhân viên

  1. Trên trang Data stores (Kho lưu trữ dữ liệu), hãy nhấp vào Create data store (Tạo kho lưu trữ dữ liệu) một lần nữa.
  2. Đối với Select a data source (Chọn nguồn dữ liệu), hãy chọn BigQuery.
  3. Đối với Structured data import (Nhập dữ liệu có cấu trúc), hãy chọn BigQuery table with your own schema (Bảng BigQuery có giản đồ riêng).
  4. Giữ lại lựa chọn Synchronization frequency (Tần suất đồng bộ hoá) là One-time (Một lần).
  5. Đối với Select a table that you want to import (Chọn một bảng mà bạn muốn nhập), hãy nhấp vào Browse (Duyệt tìm). Trong hộp thoại Select path (Chọn đường dẫn) mở ra, hãy chọn bảng employee_finance từ tập dữ liệu cymbal_finance trong dự án của bạn. Bạn có thể thấy các bảng có tên tương tự từ các dự án khác, vì vậy, hãy đảm bảo bạn chọn bảng từ dự án của mình.
  6. Nhấp vào Tiếp tục.
  7. Xem trang Review schema and assign key properties (Xem xét giản đồ và chỉ định các thuộc tính chính).
  8. Nhấp vào Tiếp tục.
  9. Nhập tên của kho lưu trữ dữ liệu là cymbal-finance.
  10. Nhấp vào Tiếp tục.
  11. Giữ lại lựa chọn cho General pricing (Giá chung).
  12. Nhấp vào Tạo.

Sau khi nhấp vào Tạo, bạn sẽ được đưa trở lại trang Data stores (Kho lưu trữ dữ liệu).

Tạo một kho lưu trữ dữ liệu cho dữ liệu kho hàng

  1. Trên trang Data stores (Kho lưu trữ dữ liệu), hãy nhấp vào Create data store (Tạo kho lưu trữ dữ liệu) một lần nữa.
  2. Đối với Select a data source (Chọn nguồn dữ liệu), hãy chọn BigQuery.
  3. Đối với Structured data import (Nhập dữ liệu có cấu trúc), hãy chọn BigQuery table with your own schema (Bảng BigQuery có giản đồ riêng).
  4. Giữ lại lựa chọn Synchronization frequency (Tần suất đồng bộ hoá) là One-time (Một lần).
  5. Đối với Select a table that you want to import (Chọn một bảng mà bạn muốn nhập), hãy nhấp vào Browse (Duyệt tìm). Trong hộp thoại Select path (Chọn đường dẫn) mở ra, hãy chọn bảng product_inventory từ tập dữ liệu cymbal_finance trong dự án của bạn.
  6. Nhấp vào Tiếp tục.
  7. Xem trang Review schema and assign key properties (Xem xét giản đồ và chỉ định các thuộc tính chính).
  8. Nhấp vào Tiếp tục.
  9. Nhập tên của kho lưu trữ dữ liệu là cymbal-inventory.
  10. Nhấp vào Tiếp tục.
  11. Giữ lại lựa chọn cho General pricing (Giá chung).
  12. Nhấp vào Tạo.

Sau khi nhấp vào Tạo, bạn sẽ được đưa trở lại trang Data stores (Kho lưu trữ dữ liệu).

8. Kết nối kho lưu trữ dữ liệu với ứng dụng của bạn

Bây giờ, bạn sẽ thấy 3 kho lưu trữ dữ liệu trong danh sách trên trang Data stores (Kho lưu trữ dữ liệu): cymbal-hr (không có cấu trúc), cymbal-finance (có cấu trúc) và cymbal-inventory (có cấu trúc). Để kết nối các kho lưu trữ dữ liệu này với ứng dụng của bạn, hãy làm theo các bước sau:

  1. Trên trang Data stores (Kho lưu trữ dữ liệu), hãy chọn cả 3 kho lưu trữ dữ liệu mà bạn vừa tạo: cymbal-hr, cymbal-finance và cymbal-inventory. Đảm bảo bạn chọn cả 3 kho lưu trữ dữ liệu trước khi tiếp tục.
  2. Nhấp vào Tiếp tục.
  3. Giữ lại lựa chọn cho General pricing (Giá chung).
  4. Nhấp vào Tạo.

9. Kiểm thử ứng dụng cổng thông tin nhân viên Cymbal

  1. Trong ứng dụng cymbal-employee-portal, hãy nhấp vào Xem trước.
  2. Trong hộp Tìm kiếm tại đây, hãy nhập câu hỏi sau:
    What are the stipends that I get as an employee of Cymbal located in London?
  3. Nhập một câu hỏi liên quan đến kho hàng:
    How many units of sneakers do we have in stock?
  4. Nhập một câu hỏi khác:
    What is the stipend for an executive in Cymbal?

Lưu ý cách ứng dụng tìm kiếm truy xuất thông tin từ nhiều nguồn để xây dựng câu trả lời. Để trả lời những câu hỏi này, ứng dụng đã tìm kiếm trên cả dữ liệu tài chính có cấu trúc được lưu trữ trong BigQuery và tài liệu nhân sự không có cấu trúc trong Cloud Storage.

Điều này cho thấy sức mạnh của Vertex AI Search trong việc tổng hợp câu trả lời trên nhiều định dạng dữ liệu và các kho lưu trữ dữ liệu riêng biệt thành một trải nghiệm duy nhất, gắn kết.

Bạn cũng có thể điều chỉnh mô hình AI để cung cấp câu trả lời chính xác hơn và dành riêng cho miền. Để biết thêm thông tin về cách tuỳ chỉnh trải nghiệm tạo sinh, hãy tham khảo tài liệu Nhận câu trả lời và câu hỏi tiếp theo.

10. Các lựa chọn để triển khai ứng dụng

Mặc dù việc triển khai ứng dụng cho người dùng cuối nằm ngoài phạm vi của lớp học lập trình này, nhưng việc biết cách chuyển đổi ứng dụng này thành một tình huống thực tế sẽ rất hữu ích. Bạn có một số lựa chọn để tích hợp ứng dụng Vertex AI Search vào quy trình công việc của tổ chức:

  • Tiện ích web tạo sẵn. Bạn có thể nhúng trực tiếp giao diện tìm kiếm hoặc trò chuyện sẵn sàng sử dụng vào trang web hoặc trang nội bộ hiện có của công ty bằng thẻ script HTML. Đây là cách nhanh nhất để đưa ứng dụng của bạn đến với người dùng.
  • Tích hợp API tuỳ chỉnh. Để kiểm soát hoàn toàn trải nghiệm người dùng, bạn có thể sử dụng Vertex AI Search API REST hoặc thư viện ứng dụng (chẳng hạn như Python, Node.js hoặc Java) để xây dựng giao diện người dùng tuỳ chỉnh từ đầu.

11. Dọn dẹp

Để tránh bị tính phí liên tục vào tài khoản Google Cloud, hãy xoá các tài nguyên được tạo trong lớp học lập trình này:

  1. Trong bảng điều khiển Cloud, hãy chuyển đến trang Vertex AI Search.
  2. Nhấp vào See existing apps (Xem các ứng dụng hiện có).
  3. Đối với ứng dụng cymbal-employee-portal, hãy nhấp vào 3 dấu chấm dọc cho More (Thêm), rồi nhấp vào Delete (Xoá).
  4. Làm theo lời nhắc trên màn hình để xác nhận việc xoá.
  5. Để xoá kho lưu trữ dữ liệu, hãy nhấp vào Data stores (Kho lưu trữ dữ liệu) trên bảng điều hướng bên trái của bảng điều khiển.
  6. Xoá các kho lưu trữ dữ liệu cymbal-hr, cymbal-finance và cymbal-inventory:
    1. Đối với kho lưu trữ dữ liệu cymbal-hr, hãy nhấp vào 3 dấu chấm dọc cho More (Thêm), rồi nhấp vào Delete (Xoá).
    2. Làm theo lời nhắc trên màn hình để xác nhận việc xoá.
    3. Đối với kho lưu trữ dữ liệu cymbal-finance, hãy nhấp vào ba dấu chấm dọc cho More, rồi nhấp vào Delete.
    4. Làm theo lời nhắc trên màn hình để xác nhận việc xoá.
    5. Đối với kho lưu trữ dữ liệu cymbal-inventory, hãy nhấp vào ba dấu chấm dọc cho More, rồi nhấp vào Delete.
    6. Làm theo lời nhắc trên màn hình để xác nhận việc xoá.
  7. Chuyển đến trang Buckets rồi xoá bộ chứa mà bạn đã tạo (ví dụ: cymbal-app-hr-12).
  8. Chuyển đến trang BigQuery rồi xoá tập dữ liệu cymbal_finance.

12. Xin chúc mừng

Đã hoàn thành nhiệm vụ! Bạn đã tạo thành công trải nghiệm tìm kiếm hợp nhất cho doanh nghiệp bằng Vertex AI Search.

Bằng cách thu hẹp khoảng cách giữa dữ liệu doanh nghiệp không có cấu trúc trong Cloud Storage và bản ghi có cấu trúc từ BigQuery, bạn đã tạo một công cụ mạnh mẽ có khả năng suy luận phức tạp về doanh nghiệp – tất cả đều không cần viết một dòng mã học máy nào.

Kiến thức bạn học được

  • Tiếp nhận: Cách tiếp nhận tài liệu không có cấu trúc từ Cloud Storage và dữ liệu có cấu trúc từ BigQuery vào Vertex AI Search.
  • Truy vấn nhiều kho lưu trữ dữ liệu. Cách truy vấn ứng dụng tìm kiếm nhiều kho lưu trữ dữ liệu để tổng hợp câu trả lời hợp nhất từ cả dữ liệu có cấu trúc và không có cấu trúc.
  • Điều chỉnh và tuỳ chỉnh. Cách điều chỉnh các mô hình AI tạo sinh để cung cấp câu trả lời chính xác hơn, dành riêng cho miền.
  • Các lựa chọn triển khai. Nhiều cách để tích hợp khả năng suy luận này vào các ứng dụng thực tế bằng tiện ích tạo sẵn hoặc API tuỳ chỉnh.

Tài liệu tham khảo