Thông tin về lớp học lập trình này
1. Trước khi bắt đầu
Một trong những đột phá thú vị nhất về học máy gần đây là Mô hình ngôn ngữ lớn (LLM). Các mô hình này có thể được dùng để tạo văn bản, dịch ngôn ngữ và trả lời câu hỏi một cách toàn diện và giàu thông tin. Các LLM như LaMDA và PaLM của Google được huấn luyện trên một lượng lớn dữ liệu văn bản, cho phép chúng học được các mẫu thống kê và mối quan hệ giữa các từ và cụm từ. Điều này giúp họ tạo ra văn bản tương tự như văn bản do con người viết và dịch ngôn ngữ với độ chính xác cao.
LLM có dung lượng lưu trữ rất lớn và thường tiêu tốn nhiều sức mạnh tính toán để chạy. Điều này có nghĩa là LLM thường được triển khai trên đám mây và khá khó khăn đối với Học máy trên thiết bị (ODML) do sức mạnh tính toán hạn chế trên thiết bị di động. Tuy nhiên, bạn có thể chạy các LLM quy mô nhỏ hơn (ví dụ: GPT-2) trên một thiết bị Android hiện đại và vẫn đạt được kết quả ấn tượng.
Sau đây là bản minh hoạ về việc chạy một phiên bản mô hình PaLM của Google với 1,5 tỷ tham số trên Google Pixel 7 Pro mà không tăng tốc độ phát.
Trong lớp học lập trình này, bạn sẽ tìm hiểu các kỹ thuật và công cụ để tạo một ứng dụng dựa trên LLM (sử dụng GPT-2 làm mô hình ví dụ) bằng:
- KerasNLP để tải một LLM được huấn luyện trước
- KerasNLP để tinh chỉnh một LLM
- TensorFlow Lite để chuyển đổi, tối ưu hoá và triển khai LLM trên Android
Điều kiện tiên quyết
- Kiến thức trung cấp về Keras và TensorFlow Lite
- Kiến thức cơ bản về hoạt động phát triển Android
Kiến thức bạn sẽ học được
- Cách sử dụng KerasNLP để tải một LLM được huấn luyện trước và tinh chỉnh LLM đó
- Cách lượng tử hoá và chuyển đổi một LLM sang TensorFlow Lite
- Cách chạy quy trình suy luận trên mô hình TensorFlow Lite đã chuyển đổi
Bạn cần có
- Quyền truy cập vào Colab
- Phiên bản mới nhất của Android Studio
- Một thiết bị Android hiện đại có RAM lớn hơn 4G
2. Bắt đầu thiết lập
Cách tải mã xuống cho lớp học lập trình này:
- Chuyển đến kho lưu trữ GitHub cho lớp học lập trình này.
- Nhấp vào Code > Download zip (Mã > Tải xuống tệp ZIP) để tải tất cả mã cho lớp học lập trình này xuống.
- Giải nén tệp zip đã tải xuống để giải nén một thư mục gốc
examplescó tất cả tài nguyên bạn cần.
3. Chạy ứng dụng khởi đầu
- Nhập thư mục
examples/lite/examples/generative_ai/androidvào Android Studio. - Khởi động Trình mô phỏng Android, rồi nhấp vào
Chạy trong trình đơn điều hướng.
Chạy và khám phá ứng dụng
Ứng dụng sẽ khởi chạy trên thiết bị Android của bạn. Ứng dụng này có tên là "Tự động hoàn thành". Giao diện người dùng khá đơn giản: bạn có thể nhập một số từ ban đầu vào hộp văn bản rồi nhấn vào Tạo; sau đó, ứng dụng sẽ chạy quy trình suy luận trên một LLM và tạo thêm văn bản dựa trên nội dung bạn nhập.
Hiện tại, nếu bạn nhấn vào Tạo sau khi nhập một số từ, sẽ không có gì xảy ra. Điều này là do Gemini chưa chạy mô hình ngôn ngữ lớn (LLM).
4. Chuẩn bị LLM để triển khai trên thiết bị
- Mở Colab và chạy qua sổ tay (được lưu trữ trong kho lưu trữ TensorFlow Codelabs trên GitHub).
5. Hoàn tất ứng dụng Android
Giờ đây, sau khi chuyển đổi mô hình GPT-2 thành TensorFlow Lite, bạn có thể triển khai mô hình này trong ứng dụng.
Chạy ứng dụng
- Kéo tệp mô hình
autocomplete.tfliteđã tải xuống ở bước cuối cùng vào thư mụcapp/src/main/assets/trong Android Studio.
- Nhấp vào Chạy trong trình đơn điều hướng, rồi đợi ứng dụng tải.
- Nhập một số từ khoá ban đầu vào trường văn bản, rồi nhấn vào Tạo.
6. Lưu ý về AI có trách nhiệm
Như đã lưu ý trong thông báo ban đầu về OpenAI GPT-2, mô hình GPT-2 có những điểm hạn chế và lưu ý đáng kể. Trên thực tế, các LLM hiện nay thường gặp phải một số thách thức nổi tiếng như ảo tưởng, đầu ra phản cảm, tính công bằng và thiên kiến; điều này là do các mô hình này được huấn luyện dựa trên dữ liệu thực tế, khiến chúng phản ánh các vấn đề trong thế giới thực.
Lớp học lập trình này chỉ được tạo ra để minh hoạ cách tạo một ứng dụng dựa trên các LLM bằng công cụ TensorFlow. Mô hình được tạo trong lớp học lập trình này chỉ nhằm mục đích giáo dục và không dành cho mục đích sử dụng trong thực tế.
Việc sử dụng LLM trong sản xuất đòi hỏi phải lựa chọn cẩn thận các tập dữ liệu huấn luyện và các biện pháp giảm thiểu toàn diện về độ an toàn. Để tìm hiểu thêm về AI có trách nhiệm trong bối cảnh LLM, hãy nhớ xem phiên kỹ thuật Phát triển an toàn và có trách nhiệm bằng các mô hình ngôn ngữ tạo sinh tại Google I/O 2023 và xem Bộ công cụ AI có trách nhiệm.
7. Kết luận
Xin chúc mừng! Bạn đã tạo một ứng dụng để tạo văn bản mạch lạc dựa trên thông tin đầu vào của người dùng bằng cách chạy Mô hình ngôn ngữ lớn được huấn luyện trước hoàn toàn trên thiết bị!