เรียกใช้โมเดลการพยากรณ์สภาพอากาศ WRF ด้วยตัวเลขแบบไหล Slurm-GCP

1. บทนำ

อัปเดตล่าสุด: 2021-05-05

สิ่งที่คุณจะสร้าง

ใน Codelab นี้ คุณจะได้ติดตั้งใช้งานคลัสเตอร์การประมวลผลประสิทธิภาพสูง (HPC) ที่ปรับขนาดอัตโนมัติใน Google Cloud ด้วยตัวจัดกำหนดการงาน Slurm คุณจะใช้การติดตั้งใช้งาน Terraform ตัวอย่างที่ติดตั้งคลัสเตอร์นี้โดยติดตั้ง WRF® ผ่าน Spack จากนั้นคุณจะใช้โครงสร้างพื้นฐานนี้เพื่อเรียกใช้การเปรียบเทียบ CONUS 2.5 กม. หรือการเปรียบเทียบ CONUS 12 กม.

สิ่งที่คุณจะได้เรียนรู้

• วิธีกำหนดค่านโยบาย Identity and Access Management (IAM) สำหรับการใช้งานคลัสเตอร์ HPC บน Google Cloud Platform
• วิธีติดตั้งใช้งานคลัสเตอร์ HPC ที่ดำเนินการบนระบบคลาวด์ด้วยตัวจัดกำหนดการงาน Slurm
• วิธีเรียกใช้ WRF® แบบขนานใน Google Cloud โดยใช้ชื่องานแบบกลุ่มของ Slurm

สิ่งที่คุณจะต้องมี

• บัญชี Gmail ที่แนบคีย์ SSH หรือ Google Workspace, Cloud Identity
• โปรเจ็กต์ Google Cloud Platform ที่เปิดใช้การเรียกเก็บเงิน
• บทบาทเจ้าของโปรเจ็กต์ในโปรเจ็กต์ GCP
• โควต้า Compute Engine เพียงพอ (480 vCPU ของ c2 และดิสก์ PD-Standard ขนาด 500 GB)

2. การกำหนดค่า

เปิดใช้ Google Cloud APIs

หากต้องการสร้างและใช้ทรัพยากร Google Cloud คุณต้องเปิดใช้ API

gcloud services enable compute.googleapis.com 

กำหนดนโยบาย IAM

ใน HPC จะมีความแตกต่างที่ชัดเจนระหว่างผู้ดูแลระบบและผู้ใช้ระบบ โดยทั่วไปแล้ว ผู้ดูแลระบบจะมี "สิทธิ์เข้าถึงระดับรูท" ซึ่งช่วยให้จัดการและใช้งานทรัพยากรการประมวลผลได้ โดยทั่วไป ผู้ใช้ระบบคือ นักวิจัย นักวิทยาศาสตร์ และวิศวกรแอปพลิเคชันที่ต้องการใช้ทรัพยากรเพื่อเรียกใช้งานเท่านั้น

ใน Google Cloud OS Login API จะจัดสรรข้อมูลผู้ใช้ POSIX จากบัญชี Google Workspace, Cloud Identity และ Gmail นอกจากนี้ OS Login ยังผสานรวมกับระบบIdentity and Access Management (IAM) ของ GCP เพื่อพิจารณาว่าควรอนุญาตให้ผู้ใช้เพิ่มสิทธิ์ในระบบ Linux หรือไม่

ในบทแนะนำนี้ เราจะถือว่าคุณกำลังกรอกข้อมูลในบทบาทผู้ดูแลระบบและผู้ดูแลระบบ Compute Engine เราจะกำหนดค่านโยบาย IAM เพื่อให้คุณมีสิทธิ์เพียงพอในการทำงานต่อไปนี้

• สร้าง/ลบอินสแตนซ์ VM ของ Google Compute Engine (GCE)
• SSH ไปยังอินสแตนซ์ VM ของ GCE

หากต้องการมอบบทบาท IAM ที่จำเป็นให้ตัวเองเพื่อทำตามบทแนะนำนี้ ให้ทำดังนี้ในคอนโซล Google Cloud

1. ไปที่ IAM และผู้ดูแลระบบ > IAM ในเมนูผลิตภัณฑ์และบริการ
2. คลิก "+เพิ่ม" ที่ด้านบนของหน้า
3. พิมพ์บัญชี Google Workspace, บัญชี Cloud Identity หรือบัญชี Gmail ในส่วน "สมาชิกใหม่"
4. เพิ่มบทบาทต่อไปนี้ ได้แก่ ผู้ดูแลระบบ Compute, การเข้าสู่ระบบปฏิบัติการ Compute และผู้ใช้บัญชีบริการ
5. คลิก "บันทึก"

ตัวเลือก: หาก UI ของคอนโซลไม่สอดคล้องกับสิ่งที่แสดงที่นี่ คำสั่ง gcloud ต่อไปนี้จะให้ผลลัพธ์เดียวกัน โดยแทนที่ YOUR_PROJECT และ EMAIL_ADDRESS ด้วยโปรเจ็กต์และอีเมลของคุณ

• gcloud projects add-iam-policy-binding YOUR_PROJECT –role roles/iam.serviceAccountUser –member="user:EMAIL_ADDRESS"
• gcloud projects add-iam-policy-binding YOUR_PROJECT –role roles/compute.osLogin –member="user:EMAIL_ADDRESS"
• gcloud projects add-iam-policy-binding YOUR_PROJECT –role roles/compute.admin –member="user:EMAIL_ADDRESS"

ตอนนี้การเข้าสู่ระบบของคุณมีสิทธิ์ที่จำเป็นในการเริ่มสร้างคลัสเตอร์ HPC แล้ว

หากต้องการยืนยันว่าคุณได้กำหนดบทบาทที่ถูกต้องแล้ว ให้เปิด Cloud Shell แล้วเรียกใช้คำสั่งต่อไปนี้ โดยแทนที่ YOUR_PROJECT และ EMAIL_ADDRESS ด้วยโปรเจ็กต์และอีเมลของคุณ

$ gcloud projects get-iam-policy YOUR_PROJECT --flatten="bindings[].members" --format='table(bindings.role)' --filter="bindings.members=user:EMAIL_ADDRESS"

คำสั่งนี้จะให้ผลลัพธ์ดังนี้

ROLE
roles/compute.osLogin
roles/iam.serviceAccountUser
roles/compute.admin

ข้อควรระวัง: หากวางแผนที่จะใช้ SSH ของบุคคลที่สาม (เช่น OpenSSH) เพื่อเชื่อมต่อกับคลัสเตอร์ โปรดตรวจสอบว่าได้แนบคีย์ SSH กับโปรไฟล์ Cloud Identity โดยใช้การเข้าสู่ระบบปฏิบัติการ ดูข้อมูลเพิ่มเติมเกี่ยวกับการเพิ่มคีย์ SSH ลงในโปรไฟล์ Cloud Identity

3. โควต้าต่ำ: ติดตั้งใช้งานคลัสเตอร์ HPC ที่ปรับขนาดอัตโนมัติด้วย Terraform

ในส่วนนี้ คุณจะติดตั้งใช้งานคลัสเตอร์ HPC ที่ปรับขนาดอัตโนมัติ ซึ่งรวมถึงตัวกำหนดเวลางาน Slurm ซึ่งเหมือนกับตัวเลือกโควต้าสูงทุกประการ ยกเว้นประเภทเครื่องที่ใช้จะมีขนาดเล็กกว่าและจำนวน vCPU ที่ใช้จะมีน้อยกว่า

สำคัญ: โดยปกติแล้ว โควต้าเริ่มต้นสำหรับ CPU ของ C2 สำหรับโปรเจ็กต์ใหม่คือ 24 vCPU หากมีโควต้าที่ใหญ่ขึ้นและต้องการเรียกใช้การเปรียบเทียบ CONUS 2.5 กม. คุณสามารถข้ามส่วนนี้และส่วนถัดไปได้

1. เปิด Cloud Shell ใน GCP
2. โคลนที่เก็บ FluidNumerics/slurm-gcp

cd ~
git clone https://github.com/FluidNumerics/slurm-gcp.git

3. เปลี่ยนเป็นไดเรกทอรี WRF โดยใช้คำสั่งต่อไปนี้

cd  ~/slurm-gcp/tf/examples/wrf

4. สร้างและตรวจสอบแผน Terraform ตั้งค่าตัวแปรสภาพแวดล้อม WRF_NAME, WRF_PROJECT และ WRF_ZONE เพื่อระบุชื่อคลัสเตอร์ โปรเจ็กต์ GCP และโซนที่คุณต้องการติดตั้งใช้งาน

export WRF_PROJECT=<PROJECT ID>
export WRF_ZONE=<ZONE>
export WRF_NAME="wrf-small"

5. ครั้งแรกที่คุณเรียกใช้ Terraform คุณต้องเรียกใช้คำสั่ง init

terraform init

6. สร้างแผนด้วยคำสั่ง make ซึ่งจะเรียกใช้ terraform

make plan

หมายเหตุ: หากต้องการให้ประสิทธิภาพการทำงานของไฟล์ IO ผ่าน NFS ดีขึ้น ให้เพิ่มขนาดดิสก์ของตัวควบคุมเป็น 2.5 TB และเปลี่ยน controller_disk_type เป็น pd-ssd คุณเปลี่ยนขนาดดิสก์ได้โดยแก้ไข basic.tfvars.tmpl และเพิ่ม controller_disk_size_gb = 2500 หรือขอแนะนำให้ใช้ระบบไฟล์ Lustre

ข้อควรระวัง: เมื่อเลือกโซน โปรดตรวจสอบว่าคุณเลือกโซนที่มีอินสแตนซ์ C2 ดูข้อมูลเพิ่มเติมเกี่ยวกับภูมิภาคและโซนที่พร้อมให้บริการ

หากต้องการดูข้อมูลเพิ่มเติมเกี่ยวกับข้อจำกัดของโควต้าในโปรเจ็กต์ ให้ไปที่หน้าโควต้าในคอนโซล Google Cloud ซึ่งจะแสดงโควต้าทั้งหมด ค้นหา "ชื่อขีดจำกัด: CPU C2" ซึ่งจะแสดง CPU ของ C2 ที่พร้อมใช้งานในโซนที่คุณเลือก

7. ทำให้คลัสเตอร์ใช้งานได้ กระบวนการติดตั้งและตั้งค่าอาจใช้เวลาถึง 2 ชั่วโมง ในระหว่างการติดตั้งใช้งาน ระบบจะติดตั้ง WRF และการขึ้นต่อกันทั้งหมด

make apply

8. SSH ไปยังโหนด login ที่สร้างไว้ในขั้นตอนก่อนหน้า คุณจะเห็นโหนดนี้ในขั้นตอนก่อนหน้า (อาจมีชื่อว่า wrf-small-login0) คุณทำได้โดยคลิกปุ่ม SSH ข้างรายการอินสแตนซ์ VM ในรายการในเมนูคอนโซล Compute Engine -> อินสแตนซ์ VM

ตัวเลือก: คำสั่ง gcloud 2 รายการนี้จะค้นหาชื่อโหนดการเข้าสู่ระบบและ SSH เข้าไป

export CLUSTER_LOGIN_NODE=$(gcloud compute instances list --zones ${WRF_ZONE} --filter="name ~ .*login" --format="value(name)" | head -n1)

gcloud compute ssh ${CLUSTER_LOGIN_NODE} --zone ${WRF_ZONE}

9. เมื่อเชื่อมต่อกับโหนดการเข้าสู่ระบบแล้ว ให้ตรวจสอบว่าโมดูล wrf พร้อมใช้งานเพื่อยืนยันการตั้งค่าคลัสเตอร์

$ module load gcc && module load openmpi && module avail
-------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/openmpi/4.0.5-eagetxh/gcc/9.2.0 --------------------------------------
   hdf5/1.10.7    netcdf-c/4.7.4    netcdf-fortran/4.5.3    parallel-netcdf/1.12.1    wrf/4.2

------------------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/gcc/9.2.0 -------------------------------------------------
   hwloc/2.2.0      libiconv/1.16          libpng/1.6.37     nasm/2.15.05            openmpi/4.0.5 (L,D)    time/1.9              zlib/1.2.11
   jasper/2.0.16    libjpeg-turbo/2.0.4    libtirpc/1.2.6    ncurses/5.9.20130511    perl/5.16.3            util-macros/1.19.1
   krb5/1.15.1      libpciaccess/0.16      libxml2/2.9.10    numactl/2.0.14          tcsh/6.22.02           xz/5.2.2

--------------------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/Core ----------------------------------------------------
   gcc/9.2.0 (L)

---------------------------------------------------------------------- /apps/modulefiles ----------------------------------------------------------------------
   openmpi/v4.1.x

10. ตรวจสอบว่า /apps/share/conus-12km มีเนื้อหาตามที่ระบุไว้ด้านล่าง

$  ls -1 /apps/share/conus-12km/
FILE:2018-06-17_00
FILE:2018-06-17_03
FILE:2018-06-17_06
FILE:2018-06-17_09
FILE:2018-06-17_12
geo_em.d01.nc
geogrid.log
met_em.d01.2018-06-17_00:00:00.nc
met_em.d01.2018-06-17_03:00:00.nc
met_em.d01.2018-06-17_06:00:00.nc
met_em.d01.2018-06-17_09:00:00.nc
met_em.d01.2018-06-17_12:00:00.nc
metgrid.log
namelist.input
namelist.wps
ungrib.log
wrfbdy_d01
wrfinput_d01

หมายเหตุ: การติดตั้งใช้งานนี้ใช้รูปภาพที่กำหนดเองซึ่งสร้างขึ้นโดยใช้รูปภาพ VM ของ schedmd-slurm-public/schedmd-slurm-20-11-4-centos-7 คุณสร้าง WRF สำหรับระบบปฏิบัติการอื่นๆ ได้โดยใช้ที่เก็บ fluidnumerics/hpc-apps-gcp บน Github

4. เรียกใช้การเปรียบเทียบ CONUS 12 กม.

หากต้องการเรียกใช้การทดสอบ CONUS 12 กม. คุณจะต้องส่งงานแบบกลุ่มของ Slurm อินพุตสำหรับเกณฑ์มาตรฐานนี้รวมอยู่ในอิมเมจ VM ของ wrf-gcp ใน /apps/share/benchmarks/conus-12km

สำหรับส่วนนี้ คุณต้องเชื่อมต่อ SSH กับโหนด login ของคลัสเตอร์

1. คัดลอกไฟล์แบทช์ wrf-conus.sh ตัวอย่างจาก /apps/share

cp /apps/share/wrf-conus12.sh ~/

2. เปิด wrf-conus.sh ในเครื่องมือแก้ไขข้อความเพื่อตรวจสอบว่าได้ตั้งค่า --partition และ --ntasks อย่างถูกต้องแล้ว ควรตั้งค่าจำนวนงานให้เท่ากับจำนวนอันดับ MPI ที่ต้องการใช้เพื่อเปิดใช้งานงาน สำหรับการสาธิตนี้ จำนวนงานจะเท่ากับจำนวน vCPU ที่ใช้สำหรับงาน และไม่ควรเกินโควต้าที่มี

หมายเหตุ: คุณแสดงรายการพาร์ติชันที่พร้อมใช้งานในคลัสเตอร์ได้ด้วย sinfo จำนวนงานในการสาธิตนี้เทียบเท่ากับจำนวน Rank ของ MPI

#!/bin/bash
#SBATCH --partition=wrf
#SBATCH --ntasks=24
#SBATCH --ntasks-per-node=8
#SBATCH --mem-per-cpu=2g
#SBATCH --cpus-per-task=1
#SBATCH --account=default
#
# /////////////////////////////////////////////// #

WORK_PATH=${HOME}/wrf-benchmark/
SRUN_FLAGS="-n $SLURM_NTASKS --cpu-bind=threads"

. /apps/share/spack.sh
module load gcc/9.2.0
module load openmpi
module load hdf5 netcdf-c netcdf-fortran wrf

mkdir -p ${WORK_PATH}
cd ${WORK_PATH}
ln -s ${INSTALL_ROOT}/share/conus-12km/* .
ln -s $(spack location -i wrf)/run/* .

srun $MPI_FLAGS ./wrf.exe

3. ส่งงานแบบกลุ่มโดยใช้ sbatch

sbatch wrf-conus12.sh

หมายเหตุ: ระบบจะสร้างโหนดประมวลผลตามความจำเป็นเมื่อส่งงาน สำหรับการส่งงานครั้งแรกนี้ ระบบอาจใช้เวลาถึง 3 นาทีในการเริ่มงาน

4. รอให้งานเสร็จสมบูรณ์ การเปรียบเทียบนี้ได้รับการกำหนดค่าให้เรียกใช้การคาดการณ์ 6 ชั่วโมง ซึ่งใช้เวลาประมาณ 3 ชั่วโมงจึงจะเสร็จสมบูรณ์โดยมี 24 อันดับ คุณตรวจสอบสถานะของงานได้ด้วย squeue
5. เมื่อการทำงานเสร็จสมบูรณ์แล้ว ให้ตรวจสอบเนื้อหาของ rsl.out.0000 เพื่อยืนยันว่าคุณเห็นข้อความ "wrf: SUCCESS COMPLETE WRF" คำต่อท้ายที่เป็นตัวเลขจะแตกต่างกันหากคุณเรียกใช้ชิ้นงานมากกว่า 1 ครั้ง เช่น คุณตั้งค่ากำหนดค่าผิดและต้องเรียกใช้ชิ้นงานอีกครั้ง

$ tail -n1 ${HOME}/wrf-benchmark/rsl.out.0000
d01 2018-06-17_06:00:00 wrf: SUCCESS COMPLETE WRF

5. โควต้าสูง: ทำให้ใช้งานได้คลัสเตอร์ HPC ที่ปรับขนาดอัตโนมัติด้วย Terraform

ในส่วนนี้ คุณจะทำให้ใช้งานได้คลัสเตอร์ HPC ที่ปรับขนาดอัตโนมัติ รวมถึงตัวจัดกำหนดการงาน Slurm ใน GCP

สำคัญ: โดยปกติแล้ว โควต้าเริ่มต้นสำหรับ CPU ของ C2 สำหรับโปรเจ็กต์ใหม่คือ 24 vCPU ซึ่งไม่เพียงพอที่จะเรียกใช้การเปรียบเทียบ CONUS 2.5 กม. ที่ใหญ่ขึ้น หากมีโควต้าขนาดใหญ่สำหรับ vCPU สูงสุด 480 รายการ คุณจะเรียกใช้ส่วนนี้ของ Codelab ได้

1. เปิด Cloud Shell ใน GCP
2. โคลนที่เก็บ FluidNumerics/slurm-gcp

cd ~
git clone https://github.com/FluidNumerics/slurm-gcp.git

3. เปลี่ยนเป็นไดเรกทอรี WRF โดยใช้คำสั่งต่อไปนี้

cd  ~/slurm-gcp/tf/examples/wrf

4. สร้างและตรวจสอบแผน Terraform ตั้งค่าตัวแปรสภาพแวดล้อม WRF_NAME, WRF_PROJECT, WRF_ZONE, WRF_MAX_NODE และ WRF_MACHINE_TYPE เพื่อระบุชื่อคลัสเตอร์ โปรเจ็กต์ GCP โซนที่คุณต้องการทำให้ใช้งานได้ จำนวนโหนดสูงสุด และประเภทเครื่อง สําหรับการเปรียบเทียบ CONUS 2.5 กม. เราขอแนะนําให้ใช้อินสแตนซ์ c2-standard-60 ที่มีโหนดอย่างน้อย 8 โหนดเพื่อเรียกใช้ชื่องานที่มี MPI Rank 480 รายการ

export WRF_PROJECT=<PROJECT ID>
export WRF_ZONE=<ZONE>
export WRF_NAME=wrf-large
export WRF_MAX_NODE=5
export WRF_MACHINE_TYPE="c2-standard-60"

5. หากคุณไม่ได้ดำเนินการข้างต้น คุณต้องเรียกใช้ terraform init เพื่อเริ่มต้น Terraform

terraform init

6. สร้างแผนด้วยคำสั่ง make

make plan

หมายเหตุ: หากต้องการให้ประสิทธิภาพการทำงานของไฟล์ IO ผ่าน NFS ดีขึ้น ให้เพิ่มขนาดดิสก์ของตัวควบคุมเป็น 2.5 TB และเปลี่ยน controller_disk_type เป็น pd-ssd คุณเปลี่ยนขนาดดิสก์ได้โดยแก้ไข basic.tfvars.tmpl และเพิ่ม controller_disk_size_gb = 2500 หรือขอแนะนำให้ใช้ระบบไฟล์ Lustre

ข้อควรระวัง: เมื่อเลือกโซน โปรดตรวจสอบว่าคุณเลือกโซนที่มีอินสแตนซ์ C2 ดูข้อมูลเพิ่มเติมเกี่ยวกับภูมิภาคและโซนที่พร้อมให้บริการ

หากต้องการดูข้อมูลเพิ่มเติมเกี่ยวกับข้อจำกัดของโควต้าในโปรเจ็กต์ ให้ไปที่หน้าโควต้าในคอนโซล Google Cloud ซึ่งจะแสดงโควต้าทั้งหมด ค้นหา "ชื่อขีดจำกัด: CPU C2" ซึ่งจะแสดง CPU ของ C2 ที่พร้อมใช้งานในโซนที่คุณเลือก

7. ทำให้คลัสเตอร์ใช้งานได้ กระบวนการติดตั้งและตั้งค่าอาจใช้เวลาถึง 2 ชั่วโมง ในระหว่างการติดตั้งใช้งาน ระบบจะติดตั้ง WRF และการขึ้นต่อกันทั้งหมด

make apply

8. SSH ไปยังโหนด login ที่สร้างไว้ในขั้นตอนก่อนหน้า คุณจะเห็นโหนดนี้ในขั้นตอนก่อนหน้า (อาจมีชื่อว่า wrf-large-login0) คุณทำได้โดยคลิกปุ่ม SSH ข้างรายการอินสแตนซ์ VM ในรายการในเมนูคอนโซล Compute Engine -> อินสแตนซ์ VM

ตัวเลือก: คำสั่ง gcloud 2 รายการนี้จะค้นหาชื่อโหนดการเข้าสู่ระบบและ SSH เข้าไป

export CLUSTER_LOGIN_NODE=$(gcloud compute instances list --zones ${WRF_ZONE} --filter="name ~ .*login" --format="value(name)" | head -n1)

gcloud compute ssh ${CLUSTER_LOGIN_NODE} --zone ${WRF_ZONE}

คำสั่งที่ 2 ควรทำให้คุณเชื่อมต่อกับโหนดเข้าสู่ระบบ Slurm

9. เมื่อเชื่อมต่อกับโหนดการเข้าสู่ระบบแล้ว ให้ตรวจสอบว่าโมดูล wrf พร้อมใช้งานเพื่อยืนยันการตั้งค่าคลัสเตอร์

$ module load gcc && module load openmpi && module avail
-------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/openmpi/4.0.5-eagetxh/gcc/9.2.0 --------------------------------------
   hdf5/1.10.7    netcdf-c/4.7.4    netcdf-fortran/4.5.3    parallel-netcdf/1.12.1    wrf/4.2

------------------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/gcc/9.2.0 -------------------------------------------------
   hwloc/2.2.0      libiconv/1.16          libpng/1.6.37     nasm/2.15.05            openmpi/4.0.5 (L,D)    time/1.9              zlib/1.2.11
   jasper/2.0.16    libjpeg-turbo/2.0.4    libtirpc/1.2.6    ncurses/5.9.20130511    perl/5.16.3            util-macros/1.19.1
   krb5/1.15.1      libpciaccess/0.16      libxml2/2.9.10    numactl/2.0.14          tcsh/6.22.02           xz/5.2.2

--------------------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/Core ----------------------------------------------------
   gcc/9.2.0 (L)

---------------------------------------------------------------------- /apps/modulefiles ----------------------------------------------------------------------
   openmpi/v4.1.x

10. ตรวจสอบว่า /apps/share/conus-2.5km มีเนื้อหาตามที่ระบุไว้ด้านล่าง

$ ls -1 /apps/share/conus-2.5km
FILE:2018-06-17_00
FILE:2018-06-17_03
FILE:2018-06-17_06
FILE:2018-06-17_09
FILE:2018-06-17_12
geo_em.d01.nc
geogrid.log
gfs.0p25.2018061700.f000.grib2
gfs.0p25.2018061700.f003.grib2
gfs.0p25.2018061700.f006.grib2
gfs.0p25.2018061700.f009.grib2
gfs.0p25.2018061700.f012.grib2
met_em.d01.2018-06-17_00:00:00.nc
met_em.d01.2018-06-17_03:00:00.nc
met_em.d01.2018-06-17_06:00:00.nc
met_em.d01.2018-06-17_09:00:00.nc
met_em.d01.2018-06-17_12:00:00.nc
metgrid.log
namelist.input
namelist.wps
ungrib.log
wrfbdy_d01
wrfinput_d01

หมายเหตุ: การติดตั้งใช้งานนี้ใช้รูปภาพที่กำหนดเองซึ่งสร้างขึ้นโดยใช้รูปภาพ VM ของ schedmd-slurm-public/schedmd-slurm-20-11-4-centos-7 คุณสร้าง WRF สำหรับระบบปฏิบัติการอื่นๆ ได้โดยใช้ที่เก็บ fluidnumerics/hpc-apps-gcp บน Github

6. เรียกใช้การเปรียบเทียบ CONUS 2.5 กม.

หากต้องการเรียกใช้การทดสอบ CONUS 2.5 กม. คุณจะต้องส่งงานแบบกลุ่มของ Slurm อินพุตสำหรับเกณฑ์มาตรฐานนี้รวมอยู่ในอิมเมจ VM ของ WRF-GCP ใน /apps/share/benchmarks/conus-2.5km

สำหรับส่วนนี้ คุณต้องเชื่อมต่อ SSH กับโหนด login ของคลัสเตอร์

6. คัดลอกไฟล์แบทช์ wrf-conus.sh ตัวอย่างจาก /apps/share

cp /apps/share/wrf-conus2p5.sh ~/

7. เปิด wrf-conus.sh ในเครื่องมือแก้ไขข้อความเพื่อตรวจสอบว่าได้ตั้งค่า --partition และ --ntasks อย่างถูกต้องแล้ว ควรกำหนดพาร์ติชันเป็น c2-60 ควรตั้งค่าจำนวนงานให้เท่ากับจำนวนอันดับ MPI ที่ต้องการใช้เพื่อเปิดใช้งานงาน สำหรับการสาธิตนี้ จำนวนงานจะเท่ากับจำนวน vCPU ที่ใช้สำหรับงาน และไม่ควรเกินโควต้าที่มี

หมายเหตุ: คุณแสดงรายการพาร์ติชันที่พร้อมใช้งานในคลัสเตอร์ได้ด้วย sinfo จำนวนงานในการสาธิตนี้เทียบเท่ากับจำนวน Rank ของ MPI

#!/bin/bash
#SBATCH --partition=c2-60
#SBATCH --ntasks=480
#SBATCH --ntasks-per-node=60
#SBATCH --mem-per-cpu=2g
#SBATCH --cpus-per-task=1
#SBATCH --account=default
#
# /////////////////////////////////////////////// #

WORK_PATH=${HOME}/wrf-benchmark/
SRUN_FLAGS="-n $SLURM_NTASKS --cpu-bind=threads"

. /apps/share/spack.sh
module load gcc/9.2.0
module load openmpi
module load hdf5 netcdf-c netcdf-fortran wrf

mkdir -p ${WORK_PATH}
cd ${WORK_PATH}
ln -s ${INSTALL_ROOT}/share/conus-2.5km/* .
ln -s $(spack location -i wrf)/run/* .

srun $MPI_FLAGS ./wrf.exe

8. ส่งงานแบบกลุ่มโดยใช้ sbatch

sbatch wrf-conus2p5.sh

หมายเหตุ: ระบบจะสร้างโหนดประมวลผลตามความจำเป็นเมื่อส่งงาน สำหรับการส่งงานครั้งแรกนี้ ระบบอาจใช้เวลาถึง 3 นาทีในการเริ่มงาน

9. รอให้งานเสร็จสมบูรณ์ การเปรียบเทียบนี้ได้รับการกำหนดค่าให้เรียกใช้การคาดการณ์ 6 ชั่วโมง ซึ่งใช้เวลาประมาณ 1 ชั่วโมงจึงจะเสร็จสมบูรณ์โดยมีอันดับ 480 รายการ คุณตรวจสอบสถานะของงานได้ด้วย squeue
10. เมื่อการทำงานเสร็จสมบูรณ์แล้ว ให้ตรวจสอบเนื้อหาของ rsl.out.0000 เพื่อยืนยันว่าคุณเห็นข้อความ "wrf: SUCCESS COMPLETE WRF" คำต่อท้ายที่เป็นตัวเลขจะแตกต่างกันหากคุณเรียกใช้ชิ้นงานมากกว่า 1 ครั้ง เช่น คุณตั้งค่ากำหนดค่าผิดและต้องเรียกใช้ชิ้นงานอีกครั้ง

$ tail -n1 ${HOME}/wrf-benchmark/rsl.out.0000
d01 2018-06-17_06:00:00 wrf: SUCCESS COMPLETE WRF

7. ขอแสดงความยินดี

ใน Codelab นี้ คุณได้สร้างคลัสเตอร์ HPC ที่ดำเนินการบนระบบคลาวด์ซึ่งปรับขนาดอัตโนมัติ และเรียกใช้การจำลอง WRF® แบบคู่ขนานบน Google Cloud Platform

การล้างข้อมูล

โปรดดำเนินการดังนี้เพื่อเลี่ยงไม่ให้เกิดการเรียกเก็บเงินกับบัญชี Google Cloud Platform สำหรับทรัพยากรที่ใช้ใน Codelab นี้

ลบโปรเจ็กต์

วิธีที่ง่ายที่สุดในการยกเลิกการเรียกเก็บเงินคือการลบโปรเจ็กต์ที่คุณสร้างขึ้นสำหรับโค้ดแล็บ

ข้อควรระวัง: การลบโปรเจ็กต์จะมีผลดังต่อไปนี้

• ระบบจะลบทุกอย่างในโปรเจ็กต์ หากใช้โปรเจ็กต์ที่มีอยู่สำหรับ Codelab นี้ เมื่อลบโปรเจ็กต์ ระบบจะลบงานอื่นๆ ที่คุณทำในโปรเจ็กต์ด้วย
• รหัสโปรเจ็กต์ที่กำหนดเองจะหายไป เมื่อสร้างโปรเจ็กต์นี้ คุณอาจสร้างรหัสโปรเจ็กต์ที่กำหนดเองซึ่งต้องการใช้ในอนาคต หากต้องการเก็บ URL ที่ใช้รหัสโปรเจ็กต์ เช่น URL ของ appspot.com ให้ลบทรัพยากรที่เลือกภายในโปรเจ็กต์แทนการลบทั้งโปรเจ็กต์

หากวางแผนที่จะสำรวจ Codelab และการเริ่มต้นใช้งานด่วนหลายรายการ การนำโปรเจ็กต์กลับมาใช้ใหม่จะช่วยให้คุณไม่เกินขีดจำกัดโควต้าของโปรเจ็กต์

1. ใน Cloud Console ให้ไปที่หน้าจัดการทรัพยากร ไปที่หน้าจัดการทรัพยากร
2. ในรายการโปรเจ็กต์ ให้เลือกโปรเจ็กต์ที่ต้องการลบ แล้วคลิกลบ
3. ในกล่องโต้ตอบ ให้พิมพ์รหัสโปรเจ็กต์ แล้วคลิกปิดเพื่อลบโปรเจ็กต์

ลบทรัพยากรแต่ละรายการ

1. เปิด Cloud Shell แล้วไปที่ไดเรกทอรีตัวอย่าง WRF

cd  ~/slurm-gcp/tf/examples/wrf

2. เรียกใช้ make destroy เพื่อลบทรัพยากรทั้งหมด

make destroy