Tạo một ứng dụng nhắn tin bằng Phân tích đàm thoại API cho Looker và BigQuery

1. Trước khi bắt đầu

Lớp học lập trình này sẽ hướng dẫn bạn cách sử dụng Conversational Analytics API (CA API) với Looker và BigQuery để tạo ứng dụng trò chuyện của riêng bạn nhằm truy vấn dữ liệu. Để khai thác tối đa giá trị của tính năng này, bạn cần phải nắm vững BigQuery, Looker, LLM và tác nhân, cũng như Python.

Kiến thức bạn sẽ học được

Sau khi hoàn thành lớp học lập trình này, bạn sẽ học được:

• Cách sử dụng Phân tích đàm thoại với Looker
• Cách thiết lập và sử dụng ứng dụng Bắt đầu nhanh Streamlit Phân tích đàm thoại Python (và cách ứng dụng này hoạt động)
• Lợi ích của việc sử dụng Looker để lập mô hình ngữ nghĩa bằng tính năng Phân tích đàm thoại

Bạn cần có

Để hoàn tất lớp học lập trình này, bạn cần có:

• Một phiên bản Looker đã cài đặt Khối Looker Dữ liệu Nhân khẩu học ASC
• Quyền truy cập vào API và quyền truy cập của nhà phát triển vào thực thể Looker
• Môi trường cục bộ đã cài đặt Python phiên bản 3.11 trở lên, Git và gcloud.
• Một dự án trên đám mây có các vai trò IAM này được thiết lập cho tài khoản người dùng của bạn:
• roles/bigquery.dataViewer Người xem dữ liệu BigQuery
• roles/bigquery.user Người dùng BigQuery
• roles/looker.instanceUser Người dùng phiên bản Looker

2. Tạo và dùng thử ứng dụng nhắn tin bằng BigQuery

Trước tiên, hãy thiết lập và dùng thử ứng dụng Phân tích đàm thoại khởi động nhanh với BigQuery làm nguồn dữ liệu.

Xác thực và bật Cloud APIs

1. Xác thực cục bộ bằng tài khoản người dùng của bạn:

gcloud auth login

2. Bật các API dự án trên đám mây. Vui lòng thay thế YOUR_PROJECT_ID bằng mã dự án trên Google Cloud của bạn:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. Đặt thông tin xác thực mặc định của ứng dụng (ADC) và thông tin thanh toán:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

Thiết lập ứng dụng bắt đầu nhanh

4. Sao chép kho lưu trữ github bắt đầu nhanh vào môi trường cục bộ của bạn. Hãy xem ví dụ về lệnh sau đây:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. Chuyển đến thư mục ca-api-quickstarts mà bạn đã sao chép:

cd ca-api-quickstarts

6. Tạo một tệp secrets.toml trong thư mục .streamlit. YOUR_LOOKER_CLIENT_ID và YOUR_LOOKER_CLIENT_SECRET phải là mã ứng dụng khách Looker và khoá bí mật của ứng dụng khách Looker trong phiên bản Looker của bạn. Nội dung tệp phải như sau:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

Bạn có thể dùng ví dụ về lệnh sau đây để tạo tệp. Nhớ thay thế các giá trị bằng mã dự án, mã ứng dụng khách và khoá bí mật của ứng dụng khách:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. Cài đặt các yêu cầu về Python của ứng dụng bắt đầu nhanh:

pip install -r requirements.txt

8. Chạy ứng dụng bắt đầu nhanh:

streamlit run app.py

Bạn đang chạy một ứng dụng Streamlit được tạo tuỳ chỉnh, đây là một khung ứng dụng Python nguồn mở cho phép bạn tạo mẫu các ứng dụng dữ liệu tương tác. Hãy xem tài liệu về Streamlit để tìm hiểu thêm.

9. Mở https://localhost:8501 trong trình duyệt bạn chọn.

Dùng thử ứng dụng bắt đầu nhanh

Giờ bạn đang ở trang nhân viên hỗ trợ của ứng dụng khởi động nhanh. Bạn không có tác nhân dữ liệu nào.

Tác nhân AI về dữ liệu là gì? Tác nhân AI là hệ thống phần mềm sử dụng AI để theo đuổi mục tiêu và hoàn thành nhiệm vụ thay cho người dùng. Chúng thể hiện khả năng suy luận, lập kế hoạch và ghi nhớ, đồng thời có mức độ tự chủ nhất định để đưa ra quyết định, học hỏi và thích ứng. Trong trường hợp sử dụng của mình, chúng tôi dùng các tác nhân AI để hiểu dữ liệu. Hành vi của một đặc vụ được quy định bởi các chỉ dẫn hệ thống được xác định cho đặc vụ đó. Hãy xem bài viết Tác nhân AI là gì? để biết thêm thông tin.

10. Bây giờ, hãy tạo một tác nhân dữ liệu nói như một tên cướp biển trong biểu mẫu Tạo tác nhân:
11. Đặt trường Tên hiển thị:

Pirate BQ Agent

2. Đặt trường Hướng dẫn hệ thống:

You are a pirate. Answer questions like a pirate

3. Chọn mục BigQuery.
4. Đặt trường Dự án:

bigquery-public-data

5. Đặt trường Tập dữ liệu:

google_trends

6. Đặt trường Bảng:

top_rising_terms

11. Chọn Tạo nhân viên hỗ trợ.

Biểu mẫu Create Agent (Tạo tác nhân) của ứng dụng khởi động nhanh sẽ gọi điểm cuối create dataAgent của CA API thông qua SDK Python của gcloud, truyền vào hướng dẫn hệ thống và nguồn dữ liệu của tác nhân. Ứng dụng này sử dụng Python SDK của gcloud cho tất cả các lệnh gọi đến CA API.

12. Bây giờ, hãy chuyển đến trang trò chuyện thông qua trình đơn điều hướng chính bên trái. Nhân viên hỗ trợ mới tạo của chúng tôi hiện có thể trò chuyện. Hãy bắt đầu trò chuyện bằng cách thêm một câu lệnh/tin nhắn: "Chào bạn, bạn có khoẻ không?"
13. Bây giờ, hãy tìm hiểu một chút về tập dữ liệu này: "Tập dữ liệu này nói về điều gì?"

Điều gì xảy ra khi bạn gửi một câu lệnh (hoặc tin nhắn) trong cuộc trò chuyện? Ứng dụng sẽ gửi tin nhắn của bạn dưới dạng tải trọng đến điểm cuối trò chuyện của CA API. CA API sử dụng các chỉ dẫn hệ thống và thông tin của tác nhân dữ liệu từ nguồn dữ liệu làm bối cảnh cho câu lệnh của bạn, đồng thời gửi câu lệnh và bối cảnh đó đến Gemini. Sau đó, CA API sẽ truyền trực tuyến câu trả lời của Gemini.

14. Đặt một câu hỏi khác, chẳng hạn như:
15. "Tập dữ liệu có những vị trí nào ở [Nhập tiểu bang]?"
16. "Bạn có thể cung cấp cho tôi dữ liệu trong 2 tuần qua cho [Thành phố, Tiểu bang] không?"
17. "Bạn có thể tạo một hình ảnh trực quan không?"

Bạn vừa có một cuộc trò chuyện nhiều lượt với trợ lý dữ liệu và dữ liệu BigQuery trong ứng dụng trò chuyện của riêng mình.

3. Lập mô hình và khám phá dữ liệu của bạn trong Looker

Giờ đây, hãy mô hình hoá và khám phá cùng một dữ liệu BigQuery trong Looker.

Truy vấn dữ liệu điều tra dân số của BigQuery

Điều gì xảy ra khi chúng ta kết nối với một tập dữ liệu quan hệ lớn hơn? Trước tiên, chúng ta sẽ tạo một tác nhân mới.

1. Quay lại biểu mẫu Tạo tác nhân của trang nhân viên hỗ trợ.
2. Đặt trường Tên hiển thị:

BQ Census Agent

2. Đặt trường Hướng dẫn hệ thống:

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. Chọn mục BigQuery.
4. Đặt trường Dự án:

bigquery-public-data

5. Đặt trường Tập dữ liệu:

census_bureau_acs

6. Đặt trường Bảng:

blockgroup_2018_5yr

2. Chọn Tạo nhân viên hỗ trợ.
3. Đặt cho tác nhân mới tạo cả hai câu hỏi sau:
4. "Bạn có dữ liệu gì?"
5. "Bạn có thể cho tôi xem trước dữ liệu của tôi không?"

Khi yêu cầu trợ lý xem trước dữ liệu, bạn có thể thấy rằng bảng không có vị trí mà con người có thể đọc được liên kết với bảng, mà chỉ có một giá trị nhận dạng địa lý (geo_id).

Sử dụng Looker để mô hình hoá dữ liệu điều tra dân số

Bây giờ, chúng ta sẽ sử dụng một mô hình LookML để xác định dữ liệu điều tra dân số của BigQuery. Chúng ta sẽ giải quyết những vấn đề mà chúng ta vừa thấy trước đó.

4. Đăng nhập vào phiên bản Looker của bạn
5. Chuyển đến các tệp khối dữ liệu nhân khẩu học ACS bằng cách chuyển đến trình đơn điều hướng chính bên trái, chọn Phát triển, rồi chọn marketplace_acs_census-v2.
6. Hãy cùng xem một khung hiển thị Looker. Mở thư mục imported_project, thư mục acs_census-v2 và thư mục geography.
7. Cuối cùng, hãy mở tệp cbsa.view.
8. Trên dòng 17, chúng ta có thể thấy rằng LookML đang tạo một bảng dẫn xuất. Nói cách khác, mã này đang tạo một bảng kết hợp mới bằng cách kết hợp hai tập dữ liệu công khai trên BigQuery, một tập dữ liệu có dữ liệu điều tra dân số và một tập dữ liệu có dữ liệu ranh giới địa lý. LookML cho phép chúng ta kết hợp nhiều tập dữ liệu bằng cách tạo một bảng dẫn xuất cố định để truy vấn.

Bảng dẫn xuất cố định (PDT) là một bảng do Looker tạo và được lưu trữ trong cơ sở dữ liệu của bạn (trong trường hợp này là BigQuery). Đây là một chế độ xem cụ thể hoá của một truy vấn phức tạp. Thay vì chạy cùng một truy vấn tốn kém mỗi khi người dùng yêu cầu báo cáo, Looker có thể truy vấn PDT được tính toán trước một cách hiệu quả hơn để tăng hiệu suất và giảm thời gian truy vấn.

Ngoài ra, thao tác kết hợp được xác định trong mã có thể lập phiên bản (LookML) thay vì hướng dẫn hệ thống, giúp việc phát triển tác nhân có khả năng mở rộng hơn. Với LookML, bạn có thể xác định các giả định và ràng buộc cụ thể về dữ liệu để hỗ trợ người dùng khi họ trò chuyện với dữ liệu thông qua một tác nhân dữ liệu.

Khám phá dữ liệu điều tra dân số được lập mô hình trên Looker

Hãy chạy một truy vấn nhanh trong công cụ Khám phá để minh hoạ rằng chúng ta có một nguồn dữ liệu tập trung để truy vấn.

9. Trong trình đơn điều hướng chính ở bên trái, hãy chọn Khám phá, sau đó chọn Khối dữ liệu điều tra dân số,rồi chọn Tiểu bang và quận.
10. Chọn chỉ số Học vấn > Bằng liên kết.
11. Chọn các phương diện sau:
12. Địa lý > Nhóm khối
13. Vị trí địa lý > Quận > Tên quận
14. Địa lý > Tiểu bang > Tiểu bang.
15. Chạy truy vấn (trên cùng bên phải) và giờ đây, bạn sẽ thấy rằng những mã địa lý đó (gọi là "Nhóm khối") hiện được liên kết với các chuỗi mà con người có thể đọc được.
16. Mở thẻ trực quan hoá và bạn sẽ thấy dữ liệu này trên bản đồ.

4. Dùng thử ứng dụng nhắn tin với Looker

Bây giờ, hãy tạo một tác nhân dữ liệu cho Looker.

1. Chuyển đến biểu mẫu Tạo tác nhân trên trang tác nhân của ứng dụng khởi động nhanh:
2. Đặt trường Tên hiển thị:

Cartoon character data analyst

2. Đặt trường Hướng dẫn hệ thống:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. Chọn Looker.
4. Đặt trường Url thành URL của thực thể Looker: "https://..."
5. Đặt trường Model (Mô hình):

data_block_acs_bigquery

6. Đặt trường Khám phá:

cbsa

7. Chọn Tạo nhân viên hỗ trợ.
8. Chuyển đến trang trò chuyện rồi chọn tác nhân mới tạo.
9. Hãy bắt đầu trò chuyện bằng cách thêm một câu lệnh/tin nhắn: "Chào bạn, bạn có khoẻ không?"
10. Hãy yêu cầu trợ lý mô tả tập dữ liệu: "Bạn có dữ liệu nào?"
11. Hãy đặt thêm một vài câu hỏi:
12. "Quận nào ở New York có dân số lớn nhất?"
13. "Còn tỷ lệ tốt nghiệp trung học phổ thông trên đầu người cao nhất thì sao?"
14. "Bạn có thể cho tôi biết dân số theo giới tính và tiểu bang không?"
15. "Tôi muốn xem biểu đồ thanh về 10 tiểu bang có dân số đông nhất."

Bạn có thấy hình ảnh biểu đồ thanh đó trong cuộc trò chuyện không? CA API đã gửi một thông báo đến ứng dụng có quy cách biểu đồ vega. Quy cách biểu đồ vega chứa dữ liệu và cấu hình của hình ảnh trực quan, chẳng hạn như màu sắc, trục, loại biểu đồ, v.v. Với quy cách này, ứng dụng Streamlit sẽ hiển thị dữ liệu dưới dạng biểu đồ vega tương tác để bạn xem và tương tác. CA API không chỉ cho phép bạn truy vấn mà còn trực quan hoá dữ liệu bằng các tác nhân dữ liệu, bằng cách tạo ra các cấu hình trực quan hoá tiêu chuẩn để dễ dàng trực quan hoá.

5. Ứng dụng khởi động nhanh còn có thể làm gì khác?

Giờ đây, bạn có thể:

• Thiết lập ứng dụng nhắn tin cục bộ
• Tạo một tác nhân dữ liệu BigQuery và một tác nhân dữ liệu Looker
• Tổ chức các cuộc trò chuyện với các trợ lý dữ liệu
• Tìm hiểu về lợi ích của việc mô hình hoá ngữ nghĩa trong Looker làm bối cảnh cho các cuộc trò chuyện của bạn

Hãy thử các chức năng khác của ứng dụng khởi động nhanh:

1. Tải lại trang web của ứng dụng khởi động nhanh và chuyển đến trang trò chuyện.
2. Bạn có thể xem các cuộc trò chuyện trước đây cùng với tất cả tin nhắn tương ứng của cả tác nhân BigQuery và Looker. Giao diện người dùng của ứng dụng không lưu trữ các cuộc trò chuyện hoặc tin nhắn trước đây mà đang tìm nạp chúng từ CA API.

API CA cung cấp các điểm cuối cho tất cả cuộc trò chuyện trước đây và tin nhắn của các cuộc trò chuyện đó. Ứng dụng tìm nạp các cuộc trò chuyện trước đây từ điểm cuối danh sách cuộc trò chuyện của CA API. Sau đó, ứng dụng sẽ tìm nạp tất cả tin nhắn trước đây của cuộc trò chuyện từ điểm cuối danh sách tin nhắn. Khi bạn gửi tin nhắn đến một cuộc trò chuyện, CA API có thể liên kết các tin nhắn với một cuộc trò chuyện để đưa tất cả tin nhắn trước đây trong cuộc trò chuyện vào làm bối cảnh cho cuộc trò chuyện nhiều lượt hữu ích hơn.

3. Giờ đây, hãy chuyển đến trang nhân viên hỗ trợ và chọn nhân viên hỗ trợ Looker của bạn trong danh sách.
4. Bạn có thể cập nhật cấu hình của nhân viên hỗ trợ hoặc xoá nhân viên hỗ trợ nếu muốn. Không có tác nhân nào được lưu trữ ở giao diện người dùng của ứng dụng.

Ứng dụng gọi các điểm cuối do API CA cung cấp để liệt kê, tạo, cập nhật và xoá các tác nhân. Ứng dụng này tận dụng khả năng lưu trữ và quản lý các tác nhân của CA API. API CA cũng cung cấp các thao tác khác trên các tác nhân!

6. Thử thách không bắt buộc và khám phá thêm

Nếu muốn, bạn có thể nhân cơ hội này để làm quen với Phân tích đàm thoại và ứng dụng khởi động nhanh. Hoặc thử thách bản thân bằng cách sửa đổi ứng dụng khởi động nhanh. Bạn có thể thử một số đề xuất và thử thách sau đây hoặc chuyển thẳng đến phần cuối cùng.

Làm quen thêm với CA API và ứng dụng khởi động nhanh

• Tìm hiểu thêm về hướng dẫn chi tiết về hệ thống để kiểm soát hành vi của trợ lý.
• Thiết lập một tác nhân dữ liệu khác trỏ đến một tập dữ liệu BigQuery mới.
• Cài đặt một khối Looker mới trong phiên bản Looker, tạo một tác nhân và trỏ tác nhân đó đến một tập dữ liệu Looker mới.

Thử thách sửa đổi ứng dụng khi mới bắt đầu

• Bạn có biết về tính năng nhúng Looker không? Nếu có, hãy thử nhúng một trang tổng quan Looker vào ứng dụng khởi động nhanh. Cân nhắc sử dụng thành phần iframe của Streamlit.
• Tìm một tập dữ liệu công khai có chứa URL của video và cập nhật logic kết xuất cuộc trò chuyện của ứng dụng để hiển thị video trong cuộc trò chuyện.

7. Kết luận và nội dung cần ghi nhớ

Bạn đã đến được câu cuối cùng! Bạn đã tạo một ứng dụng nhắn tin, tạo các tác nhân dữ liệu và trò chuyện với dữ liệu của mình bằng API Phân tích đàm thoại. Hãy cùng xem xét một số chức năng và khái niệm chính!

Các tính năng của Phân tích đàm thoại

Chúng ta đã tìm hiểu nhiều về các chức năng của tính năng Phân tích đàm thoại, chẳng hạn như khả năng:

• Tạo, cập nhật, liệt kê, nhận và xoá các tác nhân dữ liệu.
• Chỉ định các tác nhân dữ liệu đến BigQuery hoặc Looker làm nguồn dữ liệu.
• Tạo, liệt kê và nhận các cuộc trò chuyện cũng như tin nhắn tương ứng.
• Tạo quy cách biểu đồ vega để có hình ảnh trực quan sống động trong các cuộc trò chuyện.
• Sử dụng các tin nhắn trước đây trong một cuộc trò chuyện làm ngữ cảnh hữu ích cho các tin nhắn sau này.

Lợi ích của việc sử dụng Looker với CA API

Looker cung cấp mô hình hoá ngữ nghĩa tập trung, có thể kiểm thử và có thể quản lý cho dữ liệu của bạn. Kết hợp với Phân tích đàm thoại, Looker cung cấp một cách thức có thể mở rộng để cung cấp bối cảnh cho các tác nhân dữ liệu của bạn.

Bước tiếp theo

• Hãy xem tài liệu về Phân tích đàm thoại để biết thêm hướng dẫn, tính năng và trường hợp sử dụng.
• Luôn cập nhật và đóng góp cho kho lưu trữ ứng dụng bắt đầu nhanh.