1. Tổng quan
Chào mừng bạn đến với Lớp học lập trình của Google để chạy một cụm hệ thống tệp song song Lustre trên Google Cloud Platform!
Dữ liệu là yếu tố cốt lõi trong hoạt động Điện toán hiệu năng cao. Việc truy cập vào lượng lớn dữ liệu ở tốc độ cực cao và độ trễ thấp luôn là một thách thức chính trong việc chạy các khối lượng công việc HPC. Yêu cầu này đối với bộ nhớ hiệu suất cao vẫn không thay đổi trên đám mây. Trên thực tế, khả năng sử dụng một lượng lớn bộ nhớ một cách nhanh chóng và dễ dàng đã trở nên vô cùng quan trọng.
Các trung tâm HPC từ lâu đã đáp ứng nhu cầu này tại chỗ bằng cách sử dụng các công nghệ như hệ thống tệp song song Lustre. Lustre là một trong những giải pháp lưu trữ hiệu suất cao mã nguồn mở phổ biến nhất hiện nay. Kể từ tháng 6 năm 2005, giải pháp này luôn được ít nhất một nửa trong số 10 siêu máy tính hàng đầu và hơn 60 trong số 100 siêu máy tính nhanh nhất thế giới sử dụng. Lustre có khả năng mở rộng lên đến hàng trăm PB dung lượng và mang lại hiệu suất tối đa có thể cho các công việc HPC, với các hệ thống cung cấp thông lượng TB/giây trong một không gian tên duy nhất.
Để đáp ứng nhu cầu lưu trữ, Google Cloud đã áp dụng hai phương pháp. Trước tiên, GCP đã hợp tác với DDN để đưa phần mềm DDN EXAScaler Lustre được hỗ trợ ở cấp doanh nghiệp vào GCP Marketplace. Thứ hai, các kỹ sư của chúng tôi tại Google Cloud đã phát triển và cung cấp mã nguồn mở cho một bộ tập lệnh để dễ dàng định cấu hình và triển khai một cụm lưu trữ Lustre trên Google Compute Engine bằng Google Cloud Deployment Manager.
Lustre trên Google Cloud Platform cũng có khả năng mang lại hiệu suất tối đa cho cơ sở hạ tầng mà nó đang chạy. Hiệu suất của hệ thống này trên GCP rất tốt, đến mức đứng thứ 8 trong bảng đo điểm chuẩn hệ thống lưu trữ IO-500 vào năm 2019 cùng với đối tác DDN, thể hiện hệ thống tệp hoạt động trên nền tảng đám mây có thứ hạng cao nhất trên IO-500. Hôm nay, chúng ta sẽ cùng nhau tìm hiểu cách triển khai tập lệnh Open Source Deployment Manager cho Lustre. Nếu bạn muốn có một trải nghiệm Lustre được tăng cường và dành cho doanh nghiệp, với sự hỗ trợ của chuyên gia Lustre cho cụm Lustre của bạn, cũng như các tính năng như GUI quản lý và giám sát hoặc các chế độ điều chỉnh Lustre, thì bạn nên tìm hiểu về sản phẩm DDN EXAScaler Marketplace.
Kiến thức bạn sẽ học được
- Cách sử dụng Dịch vụ Deployment Manager của GCP
- Cách định cấu hình và triển khai một hệ thống tệp Lustre trên GCP.
- Cách định cấu hình phân đoạn và kiểm thử hoạt động I/O đơn giản cho hệ thống tệp Lustre.
Điều kiện tiên quyết
- Tài khoản Google Cloud Platform và một Dự án có tính năng Thanh toán
- Trải nghiệm Linux cơ bản
2. Thiết lập
Thiết lập môi trường theo tốc độ của riêng bạn
Tạo một dự án
Nếu chưa có Tài khoản Google (Gmail hoặc G Suite), bạn phải tạo một tài khoản. Đăng nhập vào Bảng điều khiển Google Cloud Platform ( console.cloud.google.com) rồi mở trang Quản lý tài nguyên:
Nhấp vào Tạo dự án.
Nhập tên dự án. Ghi nhớ mã dự án (được đánh dấu bằng màu đỏ trong ảnh chụp màn hình ở trên). Mã dự án phải là một tên riêng biệt trên tất cả các dự án trên Google Cloud. Nếu tên dự án của bạn không phải là tên duy nhất, Google Cloud sẽ tạo một mã dự án ngẫu nhiên dựa trên tên dự án.
Tiếp theo, bạn cần bật tính năng thanh toán trong Developers Console để sử dụng các tài nguyên của Google Cloud.
Việc thực hiện lớp học lập trình này sẽ không tốn của bạn quá vài đô la, nhưng có thể tốn nhiều hơn nếu bạn quyết định sử dụng nhiều tài nguyên hơn hoặc nếu bạn để các tài nguyên đó chạy (xem phần "Kết luận" ở cuối tài liệu này). Bạn có thể truy cập vào công cụ tính giá của Google Cloud Platform tại đây.
Người dùng mới của Google Cloud Platform đủ điều kiện dùng thử miễn phí trị giá 300 USD.
Google Cloud Shell
Mặc dù có thể vận hành Google Cloud từ xa trên máy tính xách tay, nhưng trong lớp học lập trình này, chúng ta sẽ sử dụng Google Cloud Shell, một môi trường dòng lệnh chạy trên đám mây.
Khởi chạy Google Cloud Shell
Trên Bảng điều khiển GCP, hãy nhấp vào biểu tượng Cloud Shell trên thanh công cụ ở trên cùng bên phải:
Sau đó, hãy nhấp vào Start Cloud Shell (Bắt đầu Cloud Shell):
Quá trình cung cấp và kết nối với môi trường chỉ mất vài phút:
Máy ảo này được trang bị tất cả các công cụ phát triển mà bạn cần. Nền tảng này cung cấp một thư mục chính có dung lượng 5 GB và chạy trên Google Cloud, giúp tăng cường đáng kể hiệu suất mạng và đơn giản hoá quy trình xác thực. Bạn có thể thực hiện hầu hết, nếu không muốn nói là tất cả, công việc trong phòng thí nghiệm này chỉ bằng một trình duyệt web hoặc Google Chromebook.
Sau khi kết nối với Cloud Shell, bạn sẽ thấy rằng mình đã được xác thực và dự án đã được đặt thành PROJECT_ID:
$ gcloud auth list
Đầu ra của lệnh:
Credentialed accounts:
- <myaccount>@<mydomain>.com (active)
$ gcloud config list project
Đầu ra của lệnh:
[core]
project = <PROJECT_ID>
Nếu mã dự án chưa được đặt chính xác, bạn có thể đặt mã dự án bằng lệnh sau:
$ gcloud config set project <PROJECT_ID>
Đầu ra của lệnh:
Updated property [core/project].
3. Chuẩn bị và xem xét cấu hình triển khai Lustre
Tải tập lệnh Lustre Deployment Manager xuống
Trong phiên Cloud Shell, hãy thực thi lệnh sau để sao chép (tải xuống) kho lưu trữ Git chứa các tệp Lustre cho Google Cloud Platform deployment-manager:
git clone https://github.com/GoogleCloudPlatform/deploymentmanager-samples.git
Chuyển sang thư mục cấu hình triển khai Lustre bằng cách thực thi lệnh sau:
cd deploymentmanager-samples/community/lustre/
Định cấu hình YAML triển khai Lustre
Deployment Manager sử dụng tệp YAML để cung cấp cấu hình triển khai. Tệp YAML này nêu chi tiết cấu hình của quá trình triển khai, chẳng hạn như phiên bản Lustre cần triển khai và các loại phiên bản máy cần triển khai. Theo mặc định, tệp này được định cấu hình để triển khai trong một dự án mới mà không tăng hạn mức. Tuy nhiên, bạn có thể thay đổi loại máy hoặc dung lượng theo ý muốn cho lớp học lập trình này. Lớp học lập trình này được viết để sử dụng các giá trị mặc định này, vì vậy, nếu thực hiện bất kỳ thay đổi nào, bạn phải thực hiện những thay đổi đó trong suốt lớp học lập trình này để tránh lỗi. Trong quá trình sản xuất, chúng tôi khuyên bạn nên dùng ít nhất một thực thể 32 vCPU cho nút MDS và ít nhất một thực thể 8 hoặc 16 vCPU cho các nút OSS, tuỳ thuộc vào dung lượng và loại bộ nhớ.
Để xem xét hoặc chỉnh sửa tệp YAML trong phiên Cloud Shell, hãy mở tệp YAML cấu hình triển khai Lustre-cluster.yaml. Bạn có thể sử dụng trình chỉnh sửa dòng lệnh mà mình muốn (vi, nano, emacs, v.v.) hoặc sử dụng Trình chỉnh sửa mã của Cloud Console để xem nội dung tệp:
Nội dung của tệp sẽ có dạng như sau:
# [START cluster_yaml]
imports:
- path: lustre.jinja
resources:
- name: lustre
type: lustre.jinja
properties:
## Cluster Configuration
cluster_name : lustre
zone : us-central1-f
cidr : 10.20.0.0/16
external_ips : True
### Use these fields to deploy Lustre in an existing VPC, Subnet, and/or Shared VPC
#vpc_net : < VPC Network Name >
#vpc_subnet : < VPC Subnet Name >
#shared_vpc_host_proj : < Shared VPC Host Project name >
## Filesystem Configuration
fs_name : lustre
### Review https://downloads.whamcloud.com/public/ to determine version naming
lustre_version : latest-release
e2fs_version : latest
## Lustre MDS/MGS Node Configuration
#mds_node_count : 1
mds_ip_address : 10.20.0.2
mds_machine_type : n1-standard-8
### MDS/MGS Boot disk
mds_boot_disk_type : pd-standard
mds_boot_disk_size_gb : 10
### Lustre MetaData Target disk
mdt_disk_type : pd-ssd
mdt_disk_size_gb : 1000
## Lustre OSS Configuration
oss_node_count : 4
oss_ip_range_start : 10.20.0.5
oss_machine_type : n1-standard-4
### OSS Boot disk
oss_boot_disk_type : pd-standard
oss_boot_disk_size_gb : 10
### Lustre Object Storage Target disk
ost_disk_type : pd-standard
ost_disk_size_gb : 5000
# [END cluster_yaml]
Trong tệp YAML này có một số trường. Bạn phải điền vào các trường có dấu hoa thị (*) bên dưới. Các trường này bao gồm:
Cấu hình cụm
- cluster_name* – Tên của cụm Lustre, thêm vào trước tất cả các tài nguyên đã triển khai
- zone* – Vùng để triển khai cụm
- cidr* – Dải IP ở định dạng CIDR
- external_ips* – True/False, các nút Lustre có địa chỉ IP ngoài. Nếu là false, thì Cloud NAT sẽ được thiết lập làm cổng NAT
- vpc_net – Xác định trường này và trường vpc_subnet để triển khai cụm Lustre vào một VPC hiện có
- vpc_subnet – Mạng con VPC hiện có để triển khai cụm Lustre
- shared_vpc_host_proj – Xác định trường này, cũng như các trường vpc_net và vpc_subnet, để triển khai cụm vào một VPC dùng chung
Cấu hình hệ thống tệp
- fs_name – Tên hệ thống tệp Lustre
- lustre_version – Phiên bản Lustre cần triển khai, hãy dùng "latest-release" để triển khai nhánh mới nhất từ https://downloads.whamcloud.com/public/lustre/ hoặc lustre-X.X.X để triển khai mọi phiên bản khác
- e2fs_version – Phiên bản E2fsprogs cần triển khai, sử dụng "latest" để triển khai nhánh mới nhất từ https://downloads.whamcloud.com/public/e2fsprogs/ hoặc X.XX.X.wcX để triển khai mọi phiên bản khác
Cấu hình MDS/MGS
- mds_ip_address – Địa chỉ IP nội bộ cần chỉ định cho nút MDS/MGS
- mds_machine_type – Loại máy dùng cho nút MDS/MGS (xem https://cloud.google.com/compute/docs/machine-types)
- mds_boot_disk_type – Loại ổ đĩa dùng cho ổ đĩa khởi động MDS/MGS (pd-standard, pd-ssd)
- mds_boot_disk_size_gb – Dung lượng của ổ đĩa khởi động MDS (tính bằng GB)
- mdt_disk_type* – Loại ổ đĩa dùng cho ổ đĩa Mục tiêu siêu dữ liệu (MDT) (pd-standard, pd-ssd, local-ssd)
- mdt_disk_size_gb* – Dung lượng ổ đĩa MDT tính bằng GB
Cấu hình OSS
- oss_node_count* – Số lượng nút Máy chủ lưu trữ đối tượng (OSS) cần tạo
- oss_ip_range_start – Điểm bắt đầu của dải IP cho(các) nút OSS. Nếu không chỉ định, hãy sử dụng tính năng tự động chỉ định IP
- oss_machine_type – Loại máy dùng cho(các) nút OSS
- oss_boot_disk_type – Loại ổ đĩa dùng cho ổ đĩa khởi động OSS (pd-standard, pd-ssd)
- oss_boot_disk_size_gb – Dung lượng ổ đĩa khởi động MDS (tính bằng GB)
- ost_disk_type* – Loại ổ đĩa dùng cho ổ đĩa Đích lưu trữ đối tượng (OST) (pd-standard, pd-ssd, local-ssd)
- ost_disk_size_gb* – Dung lượng ổ đĩa OST tính bằng GB
4. Triển khai và xác minh cấu hình
Triển khai cấu hình
Trong phiên Cloud Shell, hãy thực thi lệnh sau đây từ thư mục Lustre-gcp:
gcloud deployment-manager deployments create lustre --config lustre.yaml
Lệnh này sẽ tạo một hoạt động triển khai có tên là Lustre. Quá trình này có thể mất từ 10 đến 20 phút để hoàn tất, vì vậy hãy kiên nhẫn.
Sau khi quá trình triển khai hoàn tất, bạn sẽ thấy kết quả tương tự như sau:
Create operation operation-1572410719018-5961966591cad-e25384f6-d4c905f8 completed successfully.
NAME TYPE STATE ERRORS INTENT
lustre-all-internal-firewall-rule compute.v1.firewall COMPLETED []
lustre-lustre-network compute.v1.network COMPLETED []
lustre-lustre-subnet compute.v1.subnetwork COMPLETED []
lustre-mds1 compute.v1.instance COMPLETED []
lustre-oss1 compute.v1.instance COMPLETED []
lustre-oss2 compute.v1.instance COMPLETED []
lustre-oss3 compute.v1.instance COMPLETED []
lustre-oss4 compute.v1.instance COMPLETED []
lustre-ssh-firewall-rule compute.v1.firewall COMPLETED []
Xác minh quá trình triển khai
Làm theo các bước sau để xem quá trình triển khai trong Bảng điều khiển Google Cloud Platform:
- Trong Bảng điều khiển Cloud Platform, hãy mở trình đơn Sản phẩm và dịch vụ ở góc trên cùng bên trái của bảng điều khiển (3 đường kẻ ngang).
- Nhấp vào Deployment Manager.
- Nhấp vào Lustre để xem thông tin chi tiết về việc triển khai.
- Nhấp vào Tổng quan – Lustre. Ngăn Deployment properties (Thuộc tính triển khai) hiển thị cấu hình triển khai tổng thể.
- Nhấp vào "Xem" trên thuộc tính Config. Ngăn Config (Cấu hình) hiển thị nội dung của tệp YAML cấu hình triển khai đã được sửa đổi trước đó. Hãy xác minh nội dung là chính xác trước khi tiếp tục. Nếu bạn cần thay đổi cấu hình triển khai, chỉ cần xoá cấu hình triển khai theo các bước trong phần "Dọn dẹp cấu hình triển khai" rồi khởi động lại cấu hình triển khai theo các bước trong phần "Định cấu hình tệp YAML triển khai Lustre".
- (Không bắt buộc) Trong phần Lustre-cluster, hãy nhấp vào từng tài nguyên do mẫu Lustre.jinja tạo và xem thông tin chi tiết.
Sau khi xác minh cấu hình triển khai, hãy xác nhận rằng các phiên bản của cụm đã được khởi động. Trong Bảng điều khiển Cloud Platform, trong trình đơn Sản phẩm và dịch vụ, hãy nhấp vào Compute Engine > VM Instances (Compute Engine > Các phiên bản máy ảo).
Trên trang VM Instances (Các thực thể máy ảo), hãy xem xét 5 thực thể máy ảo do trình quản lý triển khai tạo. Trong đó có lustre-mds1, lustre-oss1, lustre-oss2, lustre-oss3 và lustre-oss4.
5. Truy cập vào Cụm Lustre
Giám sát quá trình cài đặt
Trên trang VM Instances (Phiên bản máy ảo), hãy nhấp vào lustre-mds1 để mở trang Instance details (Chi tiết phiên bản).
Nhấp vào Serial port 1 (console) (Cổng nối tiếp 1 (bảng điều khiển)) để mở trang đầu ra của bảng điều khiển nối tiếp. Chúng tôi sẽ sử dụng đầu ra nối tiếp này để giám sát quá trình cài đặt thực thể MDS và đợi cho đến khi tập lệnh khởi động hoàn tất. Nhấp vào nút "làm mới" ở đầu trang để cập nhật đầu ra nối tiếp. Nút sẽ khởi động lại một lần để khởi động vào nhân Lustre và hiển thị các thông báo tương tự như bên dưới:
Startup finished in 838ms (kernel) + 6.964s (initrd) + 49.302s (userspace) = 57.105s.
Lustre: lustre-MDT0000: Connection restored to 374e2d80-0b31-0cd7-b2bf-de35b8119534 (at 0@lo)
Điều này có nghĩa là Lustre đã được cài đặt trên cụm Lustre và hệ thống tệp đã sẵn sàng để sử dụng!
Truy cập vào Cụm Lustre
Trong phiên Cloud Shell, hãy nhấp vào nút SSH bên cạnh thực thể lustre-mds1 trong bảng điều khiển Cloud của Google. Hoặc thực thi lệnh sau trong Cloud Shell, thay thế <ZONE> bằng vùng của nút lustre-mds1:
gcloud compute ssh lustre-mds1 --zone=<ZONE>
Lệnh này đăng nhập vào máy ảo lustre-mds1. Đây là phiên bản Lustre Metadata Server (MDS), cũng đóng vai trò là phiên bản Lustre Management Server (MGS). Thực thể này xử lý tất cả các yêu cầu xác thực và siêu dữ liệu cho hệ thống tệp.
Hãy gắn kết hệ thống tệp vào thực thể lustre-mds1 để có thể kiểm thử sau này. Thực thi các lệnh sau:
sudo mkdir /mnt/lustre sudo mount -t lustre lustre-mds1:/lustre /mnt/lustre cd /mnt/lustre
Ba lệnh này thực hiện 3 việc. Lệnh đầu tiên tạo một thư mục cục bộ mà chúng ta sẽ dùng làm điểm gắn kết tại "/mnt/lustre". Lệnh thứ hai chạy lệnh "mount" để gắn hệ thống tệp loại "lustre" nằm trên máy chủ lustre-mds1 và nơi tên hệ thống tệp là "lustre", được xem là "/lustre". Lệnh gắn sẽ gắn hệ thống tệp Lustre vào thư mục "/mnt/lustre" trên máy của bạn. Cuối cùng, lệnh thứ ba sẽ thay đổi thư mục thành thư mục /mnt/lustre, nơi Lustre được gắn.
Giờ đây, bạn đã kết nối hệ thống tệp Lustre tại /mnt/lustre. Hãy xem chúng ta có thể làm gì với hệ thống tệp này.
6. Khám phá các công cụ CLI của Lustre
Nếu bạn chưa quen với Lustre và các công cụ của Lustre, chúng tôi sẽ hướng dẫn bạn một số lệnh quan trọng tại đây.
"lctl" là công cụ quản lý cụm cấp thấp của Lustre. Chúng ta có thể dùng lctl để định cấu hình và quản lý cụm Lustre, cũng như xem các dịch vụ của cụm Lustre. Để xem các dịch vụ và phiên bản trong cụm Lustre mới của chúng tôi, hãy thực thi:
sudo lctl dl
Bạn sẽ thấy kết quả tương tự như bên dưới, tuỳ thuộc vào những thay đổi mà bạn đã thực hiện đối với tệp cấu hình Lustre YAML:
0 UP osd-ldiskfs lustre-MDT0000-osd lustre-MDT0000-osd_UUID 11
1 UP mgs MGS MGS 12
2 UP mgc MGC10.128.15.2@tcp 374e2d80-0b31-0cd7-b2bf-de35b8119534 4
3 UP mds MDS MDS_uuid 2
4 UP lod lustre-MDT0000-mdtlov lustre-MDT0000-mdtlov_UUID 3
5 UP mdt lustre-MDT0000 lustre-MDT0000_UUID 12
6 UP mdd lustre-MDD0000 lustre-MDD0000_UUID 3
7 UP qmt lustre-QMT0000 lustre-QMT0000_UUID 3
8 UP lwp lustre-MDT0000-lwp-MDT0000 lustre-MDT0000-lwp-MDT0000_UUID 4
9 UP osp lustre-OST0000-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
10 UP osp lustre-OST0002-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
11 UP osp lustre-OST0001-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
12 UP osp lustre-OST0003-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
Chúng ta có thể thấy Lustre Management Server (MGS) là mục 1, Lustre Metadata Server (MDS) là mục 3, Lustre Metadata Target (MDT) là mục 5 và 4 Lustre Object Storage Server (OSS) là các mục từ 8 đến 12. Để tìm hiểu các dịch vụ khác, vui lòng xem Hướng dẫn sử dụng Lustre.
Công cụ định cấu hình hệ thống tệp của Lustre là "lfs". Chúng tôi có thể sử dụng lfs để quản lý việc phân đoạn tệp trên các Máy chủ lưu trữ đối tượng (OSS) Lustre và Mục tiêu lưu trữ đối tượng (OST) tương ứng, cũng như chạy các thao tác hệ thống tệp thông thường như tìm, df và quản lý hạn ngạch.
Tính năng phân đoạn cho phép chúng tôi định cấu hình cách phân phối một tệp trên cụm Lustre để mang lại hiệu suất tốt nhất có thể. Mặc dù việc phân chia một tệp lớn trên nhiều OSS nhất có thể thường mang lại hiệu suất tốt nhất bằng cách song song hoá IO, nhưng việc phân chia một tệp nhỏ có thể dẫn đến hiệu suất kém hơn so với trường hợp tệp đó chỉ được ghi vào một phiên bản duy nhất.
Để kiểm thử điều này, hãy thiết lập hai thư mục, một thư mục có số lượng dải là một OSS và một thư mục có số lượng dải là "-1", cho biết rằng các tệp được ghi trong thư mục đó sẽ được phân dải trên nhiều OSS nhất có thể. Các thư mục có thể chứa cấu hình phân đoạn mà các tệp được tạo trong đó sẽ kế thừa, nhưng sau đó, bạn có thể định cấu hình các thư mục con và tệp riêng lẻ trong thư mục đó để phân đoạn theo cách khác nếu muốn. Để tạo hai thư mục này, hãy thực thi các lệnh sau trong thư mục "/mnt/lustre":
sudo mkdir stripe_one sudo mkdir stripe_all sudo lfs setstripe -c 1 stripe_one/ sudo lfs setstripe -c -1 stripe_all/
Bạn có thể xem chế độ cài đặt dải của một tệp hoặc thư mục bằng cách sử dụng lfs getstripe:
sudo lfs getstripe stripe_all/
Bạn sẽ thấy kết quả cho biết số lượng sọc được đặt là -1:
stripe_all/
stripe_count: -1 stripe_size: 1048576 pattern: raid0 stripe_offset: -1
Giờ đây, chúng ta đã sẵn sàng kiểm thử những điểm cải thiện về hiệu suất có thể đạt được bằng cách ghi một tệp lớn được phân chia trên nhiều OSS.
7. Kiểm thử I/O Lustre
Chúng tôi sẽ chạy 2 thử nghiệm đơn giản về Lustre IO để minh hoạ những lợi thế có thể có về hiệu suất và khả năng mở rộng của hệ thống tệp Lustre. Trước tiên, chúng ta sẽ chạy một kiểm thử đơn giản bằng phần mềm tiện ích "dd" để ghi một tệp 5 GB vào thư mục "stripe_one". Thực thi lệnh sau:
sudo dd if=/dev/zero of=stripe_one/test bs=1M count=5000
Quá trình ghi 5 GB dữ liệu vào hệ thống tệp mất trung bình khoảng 27 giây, ghi vào một Persistent Disk (PD) duy nhất trên một Máy chủ lưu trữ đối tượng (OSS) duy nhất.
Để kiểm thử việc phân đoạn trên nhiều OSS và do đó trên nhiều PD, chúng ta chỉ cần thay đổi thư mục đầu ra mà chúng ta ghi vào. Thực thi lệnh sau:
sudo dd if=/dev/zero of=stripe_all/test bs=1M count=5000
Xin lưu ý rằng chúng tôi đã thay đổi "of=stripe_one/test" thành "of=stripe_all/test". Điều này sẽ cho phép hoạt động ghi luồng đơn phân phối các hoạt động ghi trên tất cả các Máy chủ lưu trữ đối tượng của chúng tôi và hoàn tất hoạt động ghi trong trung bình 5, 5 giây, nhanh hơn khoảng 4 lần khi có 4 OSS.
Hiệu suất này tiếp tục tăng khi bạn thêm Máy chủ lưu trữ đối tượng và bạn có thể thêm OSS khi hệ thống tệp đang trực tuyến và bắt đầu phân chia dữ liệu cho các máy chủ đó để tăng dung lượng và hiệu suất trực tuyến. Có vô vàn khả năng khi sử dụng Lustre trên Google Cloud Platform. Chúng tôi rất mong được thấy những thành quả mà bạn có thể xây dựng và những vấn đề mà bạn có thể giải quyết.
8. Kết luận
Xin chúc mừng, bạn đã tạo một cụm Lustre trên Google Cloud Platform! Bạn có thể sử dụng các tập lệnh này làm điểm xuất phát để tạo cụm Lustre của riêng mình và tích hợp cụm đó với cụm điện toán dựa trên đám mây.
Dọn dẹp quá trình triển khai
Đăng xuất khỏi nút Lustre:
exit
Bạn có thể dễ dàng dọn dẹp quá trình triển khai sau khi hoàn tất bằng cách thực thi lệnh sau từ Google Cloud Shell, sau khi đăng xuất khỏi cụm Lustre:
gcloud deployment-manager deployments delete lustre
Khi được nhắc, hãy nhập Y để tiếp tục. Thao tác này có thể mất chút thời gian, vui lòng kiên nhẫn chờ đợi.
Xoá dự án
Để dọn dẹp, chúng ta chỉ cần xoá dự án.
- Trong trình đơn điều hướng, hãy chọn Quản trị và quản lý danh tính và quyền truy cập (IAM)
- Sau đó, nhấp vào biểu tượng cài đặt trong trình đơn phụ
- Nhấp vào biểu tượng thùng rác có văn bản "Xoá dự án"
- Làm theo hướng dẫn trong lời nhắc
Nội dung đã đề cập
- Cách sử dụng Dịch vụ Deployment Manager của GCP.
- Cách định cấu hình và triển khai một hệ thống tệp Lustre trên GCP.
- Cách định cấu hình phân đoạn và kiểm thử hoạt động I/O đơn giản cho hệ thống tệp Lustre.
Tìm thông tin hỗ trợ
Bạn có đang xây dựng một ứng dụng thú vị bằng tập lệnh trình quản lý triển khai Lustre không? Bạn có thắc mắc? Trò chuyện với chúng tôi trong nhóm thảo luận về Google Cloud Lustre. Để yêu cầu tính năng, gửi ý kiến phản hồi hoặc báo cáo lỗi, vui lòng sử dụng biểu mẫu này hoặc thoải mái sửa đổi mã và gửi yêu cầu kéo! Bạn muốn trao đổi với một chuyên gia của Google Cloud? Hãy liên hệ với nhóm Google Cloud ngay hôm nay thông qua trang web Điện toán hiệu suất cao của Google Cloud.
Tìm hiểu thêm
Phản hồi
Vui lòng gửi ý kiến phản hồi về lớp học lập trình này qua đường liên kết này. Bạn chỉ mất chưa đến 5 phút để hoàn thành việc gửi ý kiến phản hồi. Cảm ơn bạn!