Từ Sổ tay đến quy trình Kubeflow với HP Tuning: Một hành trình khoa học dữ liệu

1. Giới thiệu

Kubeflow là một bộ công cụ học máy dành cho Kubernetes. Dự án này nhằm mục đích giúp việc triển khai quy trình học máy (ML) trên Kubernetes trở nên đơn giản, linh hoạt và có khả năng mở rộng. Mục tiêu là cung cấp một cách đơn giản để triển khai các hệ thống nguồn mở tốt nhất cho học máy cho nhiều cơ sở hạ tầng.

Việc triển khai Kubeflow trông như thế nào?

Việc triển khai Kubeflow là:

Di động – Hoạt động trên mọi cụm Kubernetes, cho dù cụm đó nằm trên Google Cloud Platform (GCP), tại cơ sở hạ tầng riêng hay trên nhiều nhà cung cấp.
Có thể mở rộng – Có thể sử dụng các tài nguyên biến động và chỉ bị hạn chế bởi số lượng tài nguyên được phân bổ cho cụm Kubernetes.
Có thể kết hợp – Cho phép bạn định cấu hình các bước độc lập thành một quy trình công việc hoàn chỉnh về học máy, chọn trong số một nhóm khung và thư viện học máy được tuyển chọn.

Kubeflow cho phép bạn sắp xếp các vi dịch vụ được liên kết lỏng lẻo thành một đơn vị duy nhất và triển khai chúng ở nhiều vị trí, bao gồm cả trên máy tính xách tay, tại chỗ hoặc trên đám mây.

Trong lớp học lập trình này, bạn sẽ được hướng dẫn cách tạo bản triển khai Kubeflow của riêng mình bằng MiniKF, sau đó chạy quy trình Kubeflow Pipelines với tính năng điều chỉnh siêu tham số để huấn luyện và phân phát một mô hình. Bạn có thể làm tất cả những việc đó trong Sổ tay Jupyter.

Sản phẩm bạn sẽ tạo ra

Trong lớp học lập trình này, bạn sẽ tạo một quy trình khoa học dữ liệu phức tạp với tính năng điều chỉnh siêu tham số trên Kubeflow Pipelines mà không cần dùng bất kỳ lệnh CLI hoặc SDK nào. Bạn không cần có kiến thức về Kubernetes hoặc Docker. Sau khi hoàn tất, cơ sở hạ tầng của bạn sẽ bao gồm:

Một VM MiniKF (Mini Kubeflow) tự động cài đặt:
Kubernetes (sử dụng Minikube)
Kubeflow
Kale, một công cụ để chuyển đổi Sổ tay Jupyter cho mục đích chung thành quy trình công việc Kubeflow Pipelines ( GitHub)
Arrikto Rok để kiểm soát phiên bản dữ liệu và khả năng tái tạo

Kiến thức bạn sẽ học được

Cách cài đặt Kubeflow bằng MiniKF
Cách chuyển đổi Sổ tay Jupyter sang Kubeflow Pipelines mà không cần dùng bất kỳ lệnh CLI hoặc SDK nào
Cách chạy Kubeflow Pipelines với tính năng điều chỉnh siêu tham số từ bên trong sổ tay chỉ bằng một nút nhấp
Cách tự động tạo phiên bản dữ liệu trong sổ tay và trong từng bước của quy trình

Bạn cần có

Một dự án GCP đang hoạt động mà bạn có quyền sở hữu

Đây là một lớp học lập trình nâng cao tập trung vào Kubeflow. Để biết thêm thông tin cơ bản và phần giới thiệu về nền tảng này, hãy xem tài liệu Giới thiệu về Kubeflow. Các khái niệm và khối mã không liên quan được tinh chỉnh và cung cấp cho bạn, chỉ cần sao chép và dán.

2. Thiết lập môi trường

Thiết lập dự án GCP

Hãy làm theo các bước bên dưới để tạo dự án GCP hoặc định cấu hình dự án GCP hiện có. Nếu bạn dự định sử dụng một dự án hiện có trên Google Cloud Platform, hãy đảm bảo rằng dự án đó đáp ứng các yêu cầu tối thiểu như mô tả bên dưới. Bước đầu tiên là mở trình quản lý tài nguyên trong Bảng điều khiển GCP.

Tạo dự án mới hoặc chọn một dự án hiện có:

Kiểm tra các yêu cầu tối thiểu sau:

Đảm bảo rằng bạn có vai trò chủ sở hữu đối với dự án.
Đảm bảo bạn đã bật tính năng thanh toán cho dự án của mình.
Nếu đang sử dụng Bậc miễn phí của GCP hoặc thời gian dùng thử 12 tháng với khoản tín dụng 300 USD, xin lưu ý rằng bạn không thể chạy bản cài đặt MiniKF mặc định của GCP vì bậc miễn phí không cung cấp đủ tài nguyên. Bạn cần nâng cấp lên tài khoản trả phí.

Để biết thêm thông tin trợ giúp về cách thiết lập dự án GCP, hãy xem tài liệu về GCP.

Sau khi thiết lập dự án GCP, hãy chuyển thẳng đến hướng dẫn cài đặt MiniKF.

Mở dự án đã phân bổ trước của bạn trên Google Cloud Platform

Để mở dự án GCP được phân bổ trước, hãy nhấp vào nút bên dưới để truy cập vào Bảng điều khiển GCP và mở bảng điều khiển Trang chủ trong trình đơn ba đường kẻ ở trên cùng bên trái. Nếu màn hình trống, hãy nhấp vào Có tại lời nhắc để tạo một trang tổng quan.

Nếu bạn chưa chọn dự án, hãy nhấp vào Chọn một dự án:

Chọn dự án của bạn. Bạn chỉ nên có một:

3. Cài đặt MiniKF

Tạo một phiên bản Compute bao gồm MiniKF

Trong GCP Marketplace, hãy tìm "MiniKF".

Chọn máy ảo MiniKF của Arrikto:

Nhấp vào nút RA MẮT rồi chọn dự án của bạn:

Trong cửa sổ Configure & Deploy (Định cấu hình và triển khai), hãy chọn tên và khu vực cho phiên bản MiniKF của bạn và giữ nguyên các lựa chọn mặc định. Sau đó, nhấp vào nút Triển khai:

Chờ phiên bản Compute MiniKF khởi động:

Đăng nhập vào MiniKF

Khi máy ảo MiniKF hoạt động, hãy kết nối và đăng nhập bằng cách nhấp vào nút SSH. Làm theo hướng dẫn trên màn hình để chạy lệnh minikf. Lệnh này sẽ bắt đầu triển khai Minikube, Kubeflow và Rok. Quá trình này sẽ mất vài phút để hoàn tất.

Đăng nhập vào Kubeflow

Khi quá trình cài đặt hoàn tất và tất cả các pod đều sẵn sàng, hãy truy cập vào trang tổng quan MiniKF. Đăng nhập vào Kubeflow bằng tên người dùng và mật khẩu MiniKF:

Người dùng Chrome sẽ thấy màn hình sau:

Người dùng Firefox sẽ thấy màn hình sau:

Người dùng Safari sẽ thấy màn hình sau:

Đăng nhập vào Rok

Sau khi đăng nhập vào Kubeflow, hãy mở trình đơn bên trái bằng cách nhấp vào biểu tượng ba đường kẻ ngang. Nhấp vào Snapshots (Ảnh chụp nhanh) rồi đăng nhập vào Rok bằng tên người dùng và mật khẩu MiniKF.

Xin chúc mừng! Bạn đã triển khai thành công MiniKF trên GCP. Giờ đây, bạn có thể tạo sổ tay, viết mã ML, chạy Kubeflow Pipelines và sử dụng Rok để kiểm soát phiên bản dữ liệu cũng như khả năng tái tạo.

4. Chạy một quy trình từ bên trong sổ tay

Trong phần này, bạn sẽ chạy ví dụ về Nhận dạng giống chó, một dự án trong chương trình Nanodegree về AI của Udacity. Với hình ảnh về một chú chó, mô hình cuối cùng sẽ đưa ra thông tin ước tính về giống chó.

Tạo một máy chủ sổ tay trong cụm Kubeflow

Chuyển đến đường liên kết Notebooks (Sổ tay) trên trang tổng quan trung tâm Kubeflow.

Nhấp vào Máy chủ mới.

Chỉ định tên cho máy chủ sổ tay của bạn.

Đảm bảo bạn đã chọn hình ảnh Docker sau đây (Xin lưu ý rằng thẻ hình ảnh có thể khác):

gcr.io/arrikto/jupyter-kale:f20978e

Thêm một ổ đĩa dữ liệu trống mới có kích thước 5 GB và đặt tên là data.

Nhấp vào Chạy để tạo máy chủ sổ tay.

Khi máy chủ sổ tay có sẵn, hãy nhấp vào Kết nối để kết nối với máy chủ đó.

Tải dữ liệu và sổ tay xuống

Một thẻ mới sẽ mở ra cùng với trang đích của JupyterLab. Tạo một thiết bị đầu cuối mới trong JupyterLab.

Trong cửa sổ dòng lệnh, hãy chạy các lệnh sau để chuyển đến thư mục data và tải sổ tay cũng như dữ liệu mà bạn sẽ dùng cho phần còn lại của phòng thí nghiệm:

cd data/
git clone https://github.com/kubeflow-kale/kale

Kho lưu trữ được sao chép chứa một loạt ví dụ được tuyển chọn có dữ liệu và sổ tay được chú thích.

Trong thanh bên, hãy chuyển đến thư mục data/kale/examples/dog-breed-classification/ rồi mở sổ tay dog-breed.ipynb.

Khám phá mã học máy của ví dụ về tính năng Nhận dạng giống chó

Tạm thời, đừng chạy các ô tải tập dữ liệu xuống, vì bạn sẽ sử dụng một số tập dữ liệu nhỏ hơn có trong kho lưu trữ mà bạn vừa sao chép. Nếu bạn đang tự chạy ví dụ này tại nhà, hãy tải các tập dữ liệu xuống.

Chạy ô imports để nhập tất cả các thư viện cần thiết. Lưu ý rằng mã này không hoạt động vì thiếu một thư viện:

Thông thường, bạn nên tạo một hình ảnh Docker mới để có thể chạy Notebook này dưới dạng một quy trình Kubeflow, bao gồm cả các thư viện mới cài đặt. Rất may, Rok và Kale đảm bảo rằng mọi thư viện bạn cài đặt trong quá trình phát triển sẽ được đưa vào quy trình của bạn, nhờ công nghệ chụp nhanh của Rok và Kale gắn các ổ đĩa được chụp nhanh đó vào các bước trong quy trình.

Chạy ô tiếp theo để cài đặt thư viện bị thiếu:

Khởi động lại nhân sổ tay bằng cách nhấp vào biểu tượng Khởi động lại:

Chạy lại ô imports khi đã cài đặt đúng các thư viện và xem kết quả thành công.

Chuyển đổi sổ tay thành một quy trình trong Kubeflow Pipelines

Bật Kale bằng cách nhấp vào biểu tượng Kubeflow trong ngăn bên trái của sổ tay:

Bật Kale bằng cách nhấp vào thanh trượt trong Bảng triển khai Kale:

Khám phá các phần phụ thuộc theo ô trong sổ tay. Xem cách nhiều ô sổ tay có thể là một phần của một bước trong quy trình duy nhất, như được biểu thị bằng các thanh màu ở bên trái của các ô và cách một bước trong quy trình có thể phụ thuộc vào các bước trước đó, như được biểu thị bằng nhãn phụ thuộc vào phía trên các ô. Ví dụ: hình ảnh bên dưới cho thấy nhiều ô thuộc cùng một bước trong quy trình. Chúng có cùng màu đỏ và phụ thuộc vào một bước trước đó trong quy trình.

Nhấp vào nút Compile and Run (Biên dịch và chạy):

Giờ đây, Kale sẽ tiếp quản và tạo sổ tay của bạn bằng cách chuyển đổi sổ tay đó thành một quy trình Kubeflow Pipelines. Ngoài ra, vì Kale tích hợp với Rok để chụp nhanh khối lượng dữ liệu của sổ tay hiện tại, nên bạn có thể theo dõi tiến trình chụp nhanh. Rok đảm nhiệm việc quản lý phiên bản dữ liệu và tái tạo toàn bộ môi trường như khi bạn nhấp vào nút Compile and Run (Biên dịch và chạy). Bằng cách này, bạn có thể quay lại thời điểm bất kỳ cho dữ liệu và mã của mình, đồng thời quy trình sẽ chạy trong cùng một môi trường nơi bạn đã phát triển mã mà không cần tạo hình ảnh docker mới.

Quy trình này đã được biên dịch và tải lên Kubeflow Pipelines. Bây giờ, hãy nhấp vào đường liên kết để chuyển đến giao diện người dùng Kubeflow Pipelines và xem lượt chạy.

Giao diện người dùng Kubeflow Pipelines sẽ mở ra trong một thẻ mới. Chờ quá trình chạy hoàn tất.

Xin chúc mừng! Bạn vừa chạy một quy trình toàn diện trong Kubeflow Pipelines, bắt đầu từ sổ tay của bạn!

5. Học chuyển giao bằng cách điều chỉnh siêu tham số

Kiểm tra kết quả

Hãy xem nhật ký của bước cnn-from-scratch. (Nhấp vào bước trong biểu đồ trên giao diện người dùng Kubeflow Pipelines, sau đó nhấp vào thẻ Nhật ký.) Đây là bước mà bạn đã huấn luyện một mạng nơ-ron tích chập (CNN) từ đầu. Lưu ý rằng mô hình đã huấn luyện có độ chính xác rất thấp và hơn nữa, bước này mất nhiều thời gian để hoàn tất.

Hãy xem nhật ký của bước cnn-vgg16. Trong bước này, bạn đã sử dụng phương pháp học chuyển giao trên mô hình VGG-16 được huấn luyện trước – một mạng nơ-ron do Nhóm hình học trực quan (VGG) huấn luyện. Độ chính xác cao hơn nhiều so với mô hình trước đây, nhưng chúng ta vẫn có thể làm tốt hơn nữa.

Bây giờ, hãy xem nhật ký của bước cnn-resnet50. Trong bước này, bạn đã sử dụng phương pháp học chuyển giao trên mô hình ResNet-50 được huấn luyện trước. Độ chính xác cao hơn nhiều. Do đó, đây là mô hình bạn sẽ sử dụng trong phần còn lại của lớp học lập trình này.

Điều chỉnh siêu tham số

Quay lại máy chủ sổ tay trong giao diện người dùng Kubeflow và mở sổ tay có tên dog-breed-katib.ipynb (tại đường dẫn data/kale/examples/dog-breed-classification/). Trong sổ tay này, bạn sẽ chạy một số thử nghiệm điều chỉnh siêu tham số trên mô hình ResNet-50 bằng Katib. Lưu ý rằng bạn có một ô ở đầu sổ tay để khai báo các tham số:

Trong ngăn bên trái của sổ tay, hãy bật HP Tuning with Katib để chạy quy trình điều chỉnh siêu tham số:

Sau đó, nhấp vào Thiết lập Katib Job để định cấu hình Katib:

Xác định không gian tìm kiếm cho từng tham số và xác định mục tiêu:

Nhấp vào nút Compile and Run Katib Job (Biên dịch và chạy công việc Katib):

Theo dõi tiến trình của thử nghiệm Katib:

Nhấp vào Xem để xem thử nghiệm Katib:

Nhấp vào Xong để xem các lần chạy trong Kubeflow Pipelines (KFP):

Trong trang thử nghiệm Katib, bạn sẽ thấy các thử nghiệm mới:

Và trong giao diện người dùng KFP, bạn sẽ thấy các lần chạy mới:

Hãy cùng xem xét những gì vừa xảy ra. Trước đây, Kale tạo một lần chạy quy trình từ một sổ tay và giờ đây, công cụ này đang tạo nhiều lần chạy quy trình, trong đó mỗi lần chạy được cung cấp một tổ hợp đối số khác nhau.

Katib là thành phần của Kubeflow để chạy các công việc điều chỉnh siêu tham số cho mục đích chung. Katib không biết gì về các công việc mà nó đang chạy (gọi là thử nghiệm trong thuật ngữ của Katib). Tất cả những gì Kale quan tâm là không gian tìm kiếm, thuật toán tối ưu hoá và mục tiêu. Katib hỗ trợ chạy các Job đơn giản (tức là Pod) dưới dạng các thử nghiệm, nhưng Kale triển khai một shim để các thử nghiệm thực sự chạy pipeline trong Kubeflow Pipelines, sau đó thu thập các chỉ số từ các lần chạy pipeline.

Khi thử nghiệm Katib đang tạo ra các thử nghiệm, bạn sẽ thấy nhiều thử nghiệm hơn trong giao diện người dùng Katib:

Và nhiều lượt chạy khác trong giao diện người dùng KFP:

Khi thử nghiệm Katib hoàn tất, bạn có thể xem tất cả các thử nghiệm trong giao diện người dùng Katib:

Và tất cả các lần chạy trong giao diện người dùng KFP:

Nếu quay lại Notebook, bạn sẽ thấy một nút xem thông tin ngay bên cạnh thử nghiệm Katib trong bảng điều khiển Kale:

Nhấp vào kết quả đó, bạn sẽ thấy kết quả phù hợp nhất và các thông số tạo ra kết quả đó:

6. Dọn dẹp

Huỷ VM MiniKF

Chuyển đến Deployment Manager trong Bảng điều khiển của GCP rồi xoá chế độ triển khai minikf-on-gcp.

7. Xin chúc mừng

Xin chúc mừng, bạn đã chạy thành công một quy trình khoa học dữ liệu toàn diện bằng cách sử dụng Kubeflow (MiniKF), Kale và Rok!

Tiếp theo là gì?

Tham gia cộng đồng Kubeflow: