เรียกใช้โมเดลการพยากรณ์สภาพอากาศ WRF ด้วยตัวเลขแบบไหล Slurm-GCP

1. บทนำ

อัปเดตล่าสุด:05-05-2021

สิ่งที่คุณจะสร้าง

ใน Codelab นี้ คุณกำลังจะทำให้คลัสเตอร์ High Performance Computing (HPC) ที่ปรับขนาดอัตโนมัติใช้งานได้บน Google Cloud ด้วยเครื่องจัดตารางเวลางาน Slurm คุณจะใช้ตัวอย่างการทำให้ Terraform ใช้งานได้ซึ่งจะทำให้คลัสเตอร์นี้ใช้งานได้ซึ่งติดตั้ง WRF® ผ่าน Spack จากนั้น ให้ใช้โครงสร้างพื้นฐานนี้เพื่อทำเกณฑ์มาตรฐาน CONUS 2.5 กม. หรือการเปรียบเทียบ CONUS 12 กม.

สิ่งที่คุณจะได้เรียนรู้

• วิธีกำหนดค่านโยบาย Identity and Access Management (IAM) สำหรับการดำเนินการคลัสเตอร์ HPC บน Google Cloud Platform
• วิธีทำให้คลัสเตอร์ HPC ที่ดำเนินการบนระบบคลาวด์ใช้งานได้ด้วยเครื่องจัดตารางเวลางาน Slurm
• วิธีเรียกใช้ WRF® พร้อมกันบน Google Cloud โดยใช้งานกลุ่ม Slurm

สิ่งที่คุณต้องมี

• บัญชี Gmail ที่มีคีย์ SSH แนบ หรือ Google Workspace, Cloud Identity
• โปรเจ็กต์ Google Cloud Platform ที่เปิดใช้การเรียกเก็บเงิน
• บทบาทเจ้าของโปรเจ็กต์ในโปรเจ็กต์ GCP ของคุณ
• โควต้า Compute Engine ที่เพียงพอ (vCPU 480 c2 และดิสก์มาตรฐาน PD ขนาด 500 GB)

2. การกำหนดค่า

เปิดใช้ Google Cloud APIs

หากต้องการสร้างและใช้ API ทรัพยากรของ Google Cloud จะต้องเปิดใช้งาน

gcloud services enable compute.googleapis.com 

กำหนดนโยบาย IAM

ใน HPC ผู้ดูแลระบบและผู้ใช้ระบบมีความแตกต่างกันอย่างชัดเจน โดยทั่วไปผู้ดูแลระบบจะมี "การเข้าถึงระดับรูท" ซึ่งช่วยให้จัดการและดำเนินการกับทรัพยากรการประมวลผลได้ ผู้ใช้ระบบโดยทั่วไปคือนักวิจัย นักวิทยาศาสตร์ และวิศวกรแอปพลิเคชันที่จำเป็นต้องใช้ทรัพยากรเพื่อดำเนินงานเท่านั้น

ใน Google Cloud นั้น OS Login API จะจัดสรรข้อมูลผู้ใช้ POSIX จากบัญชี Google Workspace, Cloud Identity และ Gmail นอกจากนี้ การเข้าสู่ระบบปฏิบัติการยังผสานรวมกับระบบ Identity and Access Management (IAM) ของ GCP เพื่อกำหนดว่าผู้ใช้ควรได้รับอนุญาตให้ส่งต่อสิทธิ์ในระบบ Linux หรือไม่

ในบทแนะนำนี้ เราจะถือว่าคุณมีบทบาทเป็นผู้ดูแลระบบและผู้ดูแลระบบ Compute Engine เราจะกำหนดค่านโยบาย IAM เพื่อให้สิทธิ์ที่เพียงพอแก่คุณในการทำงานต่อไปนี้

• สร้าง/ลบอินสแตนซ์ VM ของ Google Compute Engine (GCE)
• SSH ไปยังอินสแตนซ์ VM ใน GCE

หากต้องการมอบบทบาท IAM ที่จำเป็นในการทำบทแนะนำนี้ให้ตัวเองใน Google Cloud Console ให้ทำดังนี้

1. ไปที่ IAM และ ผู้ดูแลระบบ > IAM ในเมนูผลิตภัณฑ์และบริการ
2. คลิก "+เพิ่ม" ใกล้ด้านบนของหน้า
3. พิมพ์บัญชี Google Workspace, บัญชี Cloud Identity หรือบัญชี Gmail ในส่วน "สมาชิกใหม่"
4. เพิ่มบทบาทต่อไปนี้ : ผู้ดูแลระบบ Compute, เข้าสู่ระบบ OS ของ Compute และผู้ใช้บัญชีบริการ
5. คลิก "บันทึก"

ตัวเลือก: หาก UI ของ Console ไม่สอดคล้องกับสิ่งที่แสดงที่นี่ คำสั่ง gcloud ต่อไปนี้จะให้ผลลัพธ์ที่เหมือนกัน โดยแทนที่ YOUR_PROJECT และ EMAIL_ADDRESS ด้วยโปรเจ็กต์และอีเมลของคุณ

• โปรเจ็กต์ gcloud add-iam-policy-binding YOUR_PROJECT –role role/iam.serviceAccountUser –member="user:EMAIL_ADDRESS"
• gcloud projects add-iam-policy-binding YOUR_PROJECT –role role/compute.osLogin –member="user:EMAIL_ADDRESS"
• โปรเจ็กต์ gcloud add-iam-policy-binding YOUR_PROJECT –role role/compute.admin –member="user:EMAIL_ADDRESS"

ตอนนี้การเข้าสู่ระบบของคุณมีสิทธิ์ที่จำเป็นในการเริ่มต้นการสร้างคลัสเตอร์ HPC

หากต้องการยืนยันว่าคุณได้กำหนดบทบาทที่ถูกต้องแล้ว ให้เปิด Cloud Shell แล้วเรียกใช้คำสั่งต่อไปนี้ โดยแทนที่ YOUR_PROJECT และ EMAIL_ADDRESS ด้วยโปรเจ็กต์และอีเมลของคุณ

$ gcloud projects get-iam-policy YOUR_PROJECT --flatten="bindings[].members" --format='table(bindings.role)' --filter="bindings.members=user:EMAIL_ADDRESS"

คำสั่งนี้จะแสดงเอาต์พุต ดังนี้

ROLE
roles/compute.osLogin
roles/iam.serviceAccountUser
roles/compute.admin

ข้อควรระวัง: หากคุณวางแผนที่จะใช้ SSH ของบุคคลที่สาม (เช่น OpenSSH) เพื่อเชื่อมต่อกับคลัสเตอร์ อย่าลืมแนบคีย์ ssh กับโปรไฟล์ Cloud Identity โดยใช้การเข้าสู่ระบบ OS ดูข้อมูลเพิ่มเติมเกี่ยวกับการเพิ่มคีย์ SSH ลงในโปรไฟล์ Cloud Identity

3. โควต้าต่ำ: ทำให้คลัสเตอร์ HPC ที่ปรับขนาดอัตโนมัติใช้งานได้ด้วย Terraform

ในส่วนนี้ คุณจะได้ทำให้คลัสเตอร์ HPC ที่ปรับขนาดอัตโนมัติ รวมถึงเครื่องจัดตารางเวลางาน Slurm ด้วย ตัวเลือกนี้เหมือนกับตัวเลือกโควต้าสูง ยกเว้นว่าประเภทเครื่องที่ใช้มีขนาดเล็กกว่าและจำนวน vCPU ที่ใช้น้อยกว่า

สำคัญ: โควต้าเริ่มต้นสำหรับ CPU C2 สำหรับโปรเจ็กต์ใหม่โดยทั่วไปคือ 24 vCPU หากคุณมีโควต้ามากกว่าและต้องการเรียกใช้การเปรียบเทียบ CONUS 2.5 กม. ให้ข้ามส่วนนี้และส่วนถัดไป

1. เปิด Cloud Shell ใน GCP
2. โคลนที่เก็บ FluidNumerics/slurm-gcp

cd ~
git clone https://github.com/FluidNumerics/slurm-gcp.git

3. เปลี่ยนเป็นไดเรกทอรี WRF:

cd  ~/slurm-gcp/tf/examples/wrf

4. สร้างและตรวจสอบแผน Terraform ตั้งค่าตัวแปรสภาพแวดล้อม WRF_NAME, WRF_PROJECT และ WRF_ZONE เพื่อระบุชื่อของคลัสเตอร์ โปรเจ็กต์ GCP และโซนที่ต้องการทำให้ใช้งานได้

export WRF_PROJECT=<PROJECT ID>
export WRF_ZONE=<ZONE>
export WRF_NAME="wrf-small"

5. ครั้งแรกที่เรียกใช้ terraform คุณต้องเรียกใช้คำสั่ง init:

terraform init

6. สร้างแผนด้วยคำสั่งสร้าง ซึ่งจะเรียกใช้ terraform

make plan

หมายเหตุ: เพื่อให้ไฟล์ IO มีประสิทธิภาพมากกว่า NFS ให้เพิ่มขนาดดิสก์ตัวควบคุมเป็น 2.5 TB และเปลี่ยน Controller_disk_type เป็น pd-ssd คุณเปลี่ยนขนาดดิสก์ได้โดยแก้ไข Basic.tfvars.tmpl แล้วเพิ่ม controller_disk_size_gb = 2500 หรือแนะนำให้ใช้ระบบไฟล์ Lustre

ข้อควรระวัง: เมื่อเลือกโซน อย่าลืมเลือกโซนที่มีอินสแตนซ์ C2 พร้อมใช้งาน ดูข้อมูลเพิ่มเติมเกี่ยวกับภูมิภาคและโซนที่ใช้ได้

หากต้องการดูข้อมูลเพิ่มเติมเกี่ยวกับขีดจํากัดโควต้าในโปรเจ็กต์ หน้าโควต้าในคอนโซล Google Cloud จะแสดงรายการโควต้าทั้งหมด ค้นหา "ชื่อขีดจำกัด: CPU C2" ซึ่งจะแสดง CPU ที่พร้อมใช้งานในโซนที่เลือก

7. ทำให้คลัสเตอร์ใช้งานได้ ขั้นตอนการติดตั้งและตั้งค่าอาจใช้เวลาถึง 2 ชั่วโมง ในระหว่างการทำให้ใช้งานได้ ระบบจะติดตั้ง WRF และทรัพยากร Dependency ทั้งหมด

make apply

8. SSH ไปยังโหนด login ที่สร้างขึ้นในขั้นตอนก่อนหน้า คุณดูโหนดนี้ในขั้นตอนก่อนหน้า (อาจเรียกว่า wrf-small-login0) คุณสามารถดำเนินการดังกล่าวได้โดยคลิกปุ่ม SSH ข้างรายการอินสแตนซ์ VM ในรายการเมนูคอนโซล Compute Engine -> อินสแตนซ์ VM

ตัวเลือก: คำสั่ง gcloud คู่นี้จะระบุชื่อโหนดการเข้าสู่ระบบและ SSH เอาไว้

export CLUSTER_LOGIN_NODE=$(gcloud compute instances list --zones ${WRF_ZONE} --filter="name ~ .*login" --format="value(name)" | head -n1)

gcloud compute ssh ${CLUSTER_LOGIN_NODE} --zone ${WRF_ZONE}

9. เมื่อคุณเชื่อมต่อกับโหนดการเข้าสู่ระบบแล้ว ให้ตรวจสอบว่ามีโมดูล wrf อยู่เพื่อยืนยันการตั้งค่าคลัสเตอร์

$ module load gcc && module load openmpi && module avail
-------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/openmpi/4.0.5-eagetxh/gcc/9.2.0 --------------------------------------
   hdf5/1.10.7    netcdf-c/4.7.4    netcdf-fortran/4.5.3    parallel-netcdf/1.12.1    wrf/4.2

------------------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/gcc/9.2.0 -------------------------------------------------
   hwloc/2.2.0      libiconv/1.16          libpng/1.6.37     nasm/2.15.05            openmpi/4.0.5 (L,D)    time/1.9              zlib/1.2.11
   jasper/2.0.16    libjpeg-turbo/2.0.4    libtirpc/1.2.6    ncurses/5.9.20130511    perl/5.16.3            util-macros/1.19.1
   krb5/1.15.1      libpciaccess/0.16      libxml2/2.9.10    numactl/2.0.14          tcsh/6.22.02           xz/5.2.2

--------------------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/Core ----------------------------------------------------
   gcc/9.2.0 (L)

---------------------------------------------------------------------- /apps/modulefiles ----------------------------------------------------------------------
   openmpi/v4.1.x

10. ตรวจสอบว่า /apps/share/conus-12km มีเนื้อหาตามที่ระบุไว้ด้านล่าง

$  ls -1 /apps/share/conus-12km/
FILE:2018-06-17_00
FILE:2018-06-17_03
FILE:2018-06-17_06
FILE:2018-06-17_09
FILE:2018-06-17_12
geo_em.d01.nc
geogrid.log
met_em.d01.2018-06-17_00:00:00.nc
met_em.d01.2018-06-17_03:00:00.nc
met_em.d01.2018-06-17_06:00:00.nc
met_em.d01.2018-06-17_09:00:00.nc
met_em.d01.2018-06-17_12:00:00.nc
metgrid.log
namelist.input
namelist.wps
ungrib.log
wrfbdy_d01
wrfinput_d01

หมายเหตุ: การติดตั้งใช้งานนี้ใช้อิมเมจที่กำหนดเองที่สร้างขึ้นโดยใช้อิมเมจ VM schedmd-slurm-public/schedmd-slurm-20-11-4-centos-7 คุณสร้าง WRF สำหรับระบบปฏิบัติการอื่นๆ ได้โดยใช้ที่เก็บ fluidnumerics/hpc-apps-gcp ใน GitHub

4. เรียกใช้การเปรียบเทียบ CONUS 12 กม.

หากต้องการทำการเปรียบเทียบ CONUS 12 กม. คุณจะต้องส่งงานแบบกลุ่มของ Slurm ชุดสไลด์อินพุตสำหรับการเปรียบเทียบนี้รวมอยู่ในรูปภาพ VM wrf-gcp ใต้ /apps/share/benchmarks/conus-12km

สำหรับส่วนนี้ คุณต้องเป็น SSH ที่เชื่อมต่อกับโหนด login ของคลัสเตอร์

1. คัดลอกตัวอย่างไฟล์กลุ่ม wrf-conus.sh จาก /apps/share

cp /apps/share/wrf-conus12.sh ~/

2. เปิด wrf-conus.sh ในเครื่องมือแก้ไขข้อความเพื่อยืนยันว่าตั้งค่า --partition และ --ntasks อย่างถูกต้องแล้ว ควรกำหนดจำนวนงานตามจำนวนของอันดับ MPI ที่ต้องการใช้เพื่อเปิดงาน สำหรับการสาธิตนี้ จำนวนงานเทียบเท่ากับจำนวน vCPU ที่ใช้สำหรับงาน และไม่ควรเกินโควต้าที่มีอยู่ของคุณ

หมายเหตุ: คุณแสดงรายการพาร์ติชันที่พร้อมใช้งานบนคลัสเตอร์ได้ด้วย sinfo จำนวนงานในการสาธิตนี้เทียบเท่ากับจำนวนอันดับ MPI

#!/bin/bash
#SBATCH --partition=wrf
#SBATCH --ntasks=24
#SBATCH --ntasks-per-node=8
#SBATCH --mem-per-cpu=2g
#SBATCH --cpus-per-task=1
#SBATCH --account=default
#
# /////////////////////////////////////////////// #

WORK_PATH=${HOME}/wrf-benchmark/
SRUN_FLAGS="-n $SLURM_NTASKS --cpu-bind=threads"

. /apps/share/spack.sh
module load gcc/9.2.0
module load openmpi
module load hdf5 netcdf-c netcdf-fortran wrf

mkdir -p ${WORK_PATH}
cd ${WORK_PATH}
ln -s ${INSTALL_ROOT}/share/conus-12km/* .
ln -s $(spack location -i wrf)/run/* .

srun $MPI_FLAGS ./wrf.exe

3. ส่งงานแบบกลุ่มโดยใช้ sbatch

sbatch wrf-conus12.sh

หมายเหตุ: ระบบจะสร้างโหนดประมวลผลตามความจำเป็นเมื่อมีการส่งงาน สำหรับการส่งงานครั้งแรกนี้อาจใช้เวลาถึง 3 นาทีก่อนที่งานจะเริ่มต้น

4. รอให้งานเสร็จสมบูรณ์ การเปรียบเทียบนี้ได้รับการกำหนดค่าให้เรียกใช้การคาดการณ์ 6 ชั่วโมง ซึ่งใช้เวลาประมาณ 3 ชั่วโมงจึงจะเสร็จสมบูรณ์โดยมี 24 อันดับ คุณสามารถตรวจสอบสถานะของงานได้ด้วย squeue
5. เมื่องานเสร็จสมบูรณ์ ให้ตรวจสอบเนื้อหาของ rsl.out.0000 เพื่อดูว่าคุณเห็นข้อความ "wrf: สำเร็จ COMPLETE WRF" หรือไม่ ส่วนต่อท้ายที่เป็นตัวเลขจะแตกต่างกันหากคุณเรียกใช้งานมากกว่า 1 ครั้ง เช่น คุณตั้งค่าการกำหนดค่าไม่ถูกต้องและต้องเรียกใช้ใหม่

$ tail -n1 ${HOME}/wrf-benchmark/rsl.out.0000
d01 2018-06-17_06:00:00 wrf: SUCCESS COMPLETE WRF

5. โควต้าสูง: ทำให้คลัสเตอร์ HPC ที่ปรับขนาดอัตโนมัติใช้งานได้ด้วย Terraform

ในส่วนนี้ คุณจะได้ทำให้คลัสเตอร์ HPC ที่ปรับขนาดอัตโนมัติ รวมถึงเครื่องจัดตารางเวลางาน Slurm ใน GCP ใช้งานได้

สำคัญ: โควต้าเริ่มต้นสำหรับ CPU C2 สำหรับโปรเจ็กต์ใหม่มักจะอยู่ที่ 24 vCPU ยังไม่เพียงพอที่จะใช้เกณฑ์มาตรฐาน CONUS ที่ใหญ่กว่า 2.5 กม. หากคุณมีโควต้าขนาดใหญ่สำหรับ vCPU สูงสุด 480 เครื่อง คุณสามารถเรียกใช้ส่วนนี้ของ Codelab ได้

1. เปิด Cloud Shell ใน GCP
2. โคลนที่เก็บ FluidNumerics/slurm-gcp

cd ~
git clone https://github.com/FluidNumerics/slurm-gcp.git

3. เปลี่ยนเป็นไดเรกทอรี WRF:

cd  ~/slurm-gcp/tf/examples/wrf

4. สร้างและตรวจสอบแผน Terraform ตั้งค่าตัวแปรสภาพแวดล้อม WRF_NAME, WRF_PROJECT, WRF_ZONE, WRF_MAX_NODE และ WRF_MACHINE_TYPE เพื่อระบุชื่อของคลัสเตอร์, โปรเจ็กต์ GCP, โซนที่คุณต้องการทำให้ใช้งานได้ จำนวนโหนดสูงสุด และประเภทเครื่อง สำหรับการเปรียบเทียบ CONUS 2.5 กม. เราขอแนะนำให้ใช้อินสแตนซ์ c2-standard-60 ที่มีการเรียกใช้งานโหนดอย่างน้อย 8 โหนดที่มีอันดับ MPI 480 MP

export WRF_PROJECT=<PROJECT ID>
export WRF_ZONE=<ZONE>
export WRF_NAME=wrf-large
export WRF_MAX_NODE=5
export WRF_MACHINE_TYPE="c2-standard-60"

5. หากไม่ได้ดำเนินการข้างต้น คุณต้องเรียกใช้ terraform init เพื่อเริ่มต้น terraform:

terraform init

6. สร้างแผนด้วยคำสั่งทำ

make plan

หมายเหตุ: เพื่อให้ไฟล์ IO มีประสิทธิภาพดีกว่า NFS ให้เพิ่มขนาดดิสก์ตัวควบคุมเป็น 2.5 TB และเปลี่ยน Controller_disk_type เป็น pd-ssd คุณเปลี่ยนขนาดดิสก์ได้โดยแก้ไข Basic.tfvars.tmpl แล้วเพิ่ม controller_disk_size_gb = 2500 หรือแนะนำให้ใช้ระบบไฟล์ Lustre

ข้อควรระวัง: เมื่อเลือกโซน อย่าลืมเลือกโซนที่มีอินสแตนซ์ C2 พร้อมใช้งาน ดูข้อมูลเพิ่มเติมเกี่ยวกับภูมิภาคและโซนที่ใช้ได้

หากต้องการดูข้อมูลเพิ่มเติมเกี่ยวกับขีดจํากัดโควต้าในโปรเจ็กต์ หน้าโควต้าในคอนโซล Google Cloud จะแสดงรายการโควต้าทั้งหมด ค้นหา "ชื่อขีดจำกัด: CPU C2" ซึ่งจะแสดง CPU ที่พร้อมใช้งานในโซนที่เลือก

7. ทำให้คลัสเตอร์ใช้งานได้ ขั้นตอนการติดตั้งและตั้งค่าอาจใช้เวลาถึง 2 ชั่วโมง ในระหว่างการทำให้ใช้งานได้ ระบบจะติดตั้ง WRF และทรัพยากร Dependency ทั้งหมด

make apply

8. SSH ไปยังโหนด login ที่สร้างขึ้นในขั้นตอนก่อนหน้า คุณดูโหนดนี้ในขั้นตอนก่อนหน้า (อาจเรียกว่า wrf-large-login0) คุณสามารถดำเนินการดังกล่าวได้โดยคลิกปุ่ม SSH ข้างรายการอินสแตนซ์ VM ในรายการเมนูคอนโซล Compute Engine -> อินสแตนซ์ VM

ตัวเลือก: คำสั่ง gcloud คู่นี้จะระบุชื่อโหนดการเข้าสู่ระบบและ SSH เอาไว้

export CLUSTER_LOGIN_NODE=$(gcloud compute instances list --zones ${WRF_ZONE} --filter="name ~ .*login" --format="value(name)" | head -n1)

gcloud compute ssh ${CLUSTER_LOGIN_NODE} --zone ${WRF_ZONE}

คำสั่งที่สองควรจะส่งผลให้คุณเชื่อมต่อกับโหนดการเข้าสู่ระบบของ Slurm

9. เมื่อคุณเชื่อมต่อกับโหนดการเข้าสู่ระบบแล้ว ให้ตรวจสอบว่ามีโมดูล wrf อยู่เพื่อยืนยันการตั้งค่าคลัสเตอร์

$ module load gcc && module load openmpi && module avail
-------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/openmpi/4.0.5-eagetxh/gcc/9.2.0 --------------------------------------
   hdf5/1.10.7    netcdf-c/4.7.4    netcdf-fortran/4.5.3    parallel-netcdf/1.12.1    wrf/4.2

------------------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/gcc/9.2.0 -------------------------------------------------
   hwloc/2.2.0      libiconv/1.16          libpng/1.6.37     nasm/2.15.05            openmpi/4.0.5 (L,D)    time/1.9              zlib/1.2.11
   jasper/2.0.16    libjpeg-turbo/2.0.4    libtirpc/1.2.6    ncurses/5.9.20130511    perl/5.16.3            util-macros/1.19.1
   krb5/1.15.1      libpciaccess/0.16      libxml2/2.9.10    numactl/2.0.14          tcsh/6.22.02           xz/5.2.2

--------------------------------------------------- /apps/spack/share/spack/lmod/linux-centos7-x86_64/Core ----------------------------------------------------
   gcc/9.2.0 (L)

---------------------------------------------------------------------- /apps/modulefiles ----------------------------------------------------------------------
   openmpi/v4.1.x

10. ตรวจสอบว่า /apps/share/conus-2.5km มีเนื้อหาตามที่ระบุไว้ด้านล่าง

$ ls -1 /apps/share/conus-2.5km
FILE:2018-06-17_00
FILE:2018-06-17_03
FILE:2018-06-17_06
FILE:2018-06-17_09
FILE:2018-06-17_12
geo_em.d01.nc
geogrid.log
gfs.0p25.2018061700.f000.grib2
gfs.0p25.2018061700.f003.grib2
gfs.0p25.2018061700.f006.grib2
gfs.0p25.2018061700.f009.grib2
gfs.0p25.2018061700.f012.grib2
met_em.d01.2018-06-17_00:00:00.nc
met_em.d01.2018-06-17_03:00:00.nc
met_em.d01.2018-06-17_06:00:00.nc
met_em.d01.2018-06-17_09:00:00.nc
met_em.d01.2018-06-17_12:00:00.nc
metgrid.log
namelist.input
namelist.wps
ungrib.log
wrfbdy_d01
wrfinput_d01

หมายเหตุ: การติดตั้งใช้งานนี้ใช้อิมเมจที่กำหนดเองที่สร้างขึ้นโดยใช้อิมเมจ VM schedmd-slurm-public/schedmd-slurm-20-11-4-centos-7 คุณสร้าง WRF สำหรับระบบปฏิบัติการอื่นๆ ได้โดยใช้ที่เก็บ fluidnumerics/hpc-apps-gcp ใน GitHub

6. ทำการเปรียบเทียบ CONUS 2.5 กม.

หากต้องการทำการเปรียบเทียบ CONUS 2.5 กม. คุณจะต้องส่งงานแบบกลุ่มของ Slurm ชุดสไลด์อินพุตสำหรับการเปรียบเทียบนี้รวมอยู่ในรูปภาพ VM wrf-gcp ใต้ /apps/share/benchmarks/conus-2.5km

สำหรับส่วนนี้ คุณต้องเป็น SSH ที่เชื่อมต่อกับโหนด login ของคลัสเตอร์

6. คัดลอกตัวอย่างไฟล์กลุ่ม wrf-conus.sh จาก /apps/share

cp /apps/share/wrf-conus2p5.sh ~/

7. เปิด wrf-conus.sh ในเครื่องมือแก้ไขข้อความเพื่อยืนยันว่าตั้งค่า --partition และ --ntasks อย่างถูกต้องแล้ว ควรตั้งค่าพาร์ติชันเป็น c2-60 ควรกำหนดจำนวนงานตามจำนวนของอันดับ MPI ที่ต้องการใช้เพื่อเปิดงาน สำหรับการสาธิตนี้ จำนวนงานเทียบเท่ากับจำนวน vCPU ที่ใช้สำหรับงาน และไม่ควรเกินโควต้าที่มีอยู่ของคุณ

หมายเหตุ: คุณแสดงรายการพาร์ติชันที่พร้อมใช้งานบนคลัสเตอร์ได้ด้วย sinfo จำนวนงานในการสาธิตนี้เทียบเท่ากับจำนวนอันดับ MPI

#!/bin/bash
#SBATCH --partition=c2-60
#SBATCH --ntasks=480
#SBATCH --ntasks-per-node=60
#SBATCH --mem-per-cpu=2g
#SBATCH --cpus-per-task=1
#SBATCH --account=default
#
# /////////////////////////////////////////////// #

WORK_PATH=${HOME}/wrf-benchmark/
SRUN_FLAGS="-n $SLURM_NTASKS --cpu-bind=threads"

. /apps/share/spack.sh
module load gcc/9.2.0
module load openmpi
module load hdf5 netcdf-c netcdf-fortran wrf

mkdir -p ${WORK_PATH}
cd ${WORK_PATH}
ln -s ${INSTALL_ROOT}/share/conus-2.5km/* .
ln -s $(spack location -i wrf)/run/* .

srun $MPI_FLAGS ./wrf.exe

8. ส่งงานแบบกลุ่มโดยใช้ sbatch

sbatch wrf-conus2p5.sh

หมายเหตุ: ระบบจะสร้างโหนดประมวลผลตามความจำเป็นเมื่อมีการส่งงาน สำหรับการส่งงานครั้งแรกนี้อาจใช้เวลาถึง 3 นาทีก่อนที่งานจะเริ่มต้น

9. รอให้งานเสร็จสมบูรณ์ การเปรียบเทียบนี้ได้รับการกำหนดค่าให้เรียกใช้การคาดการณ์ 6 ชั่วโมง ซึ่งใช้เวลาประมาณ 1 ชั่วโมงจึงจะเสร็จสมบูรณ์ด้วยอันดับ 480 คุณสามารถตรวจสอบสถานะของงานได้ด้วย squeue
10. เมื่องานเสร็จสมบูรณ์ ให้ตรวจสอบเนื้อหาของ rsl.out.0000 เพื่อดูว่าคุณเห็นข้อความ "wrf: สำเร็จ COMPLETE WRF" หรือไม่ ส่วนต่อท้ายที่เป็นตัวเลขจะแตกต่างกันหากคุณเรียกใช้งานมากกว่า 1 ครั้ง เช่น คุณตั้งค่าการกำหนดค่าไม่ถูกต้องและต้องเรียกใช้ใหม่

$ tail -n1 ${HOME}/wrf-benchmark/rsl.out.0000
d01 2018-06-17_06:00:00 wrf: SUCCESS COMPLETE WRF

7. ขอแสดงความยินดี

ใน Codelab นี้ คุณได้สร้างคลัสเตอร์ HPC ที่ดำเนินการบนระบบคลาวด์และมีการปรับขนาดอัตโนมัติ และเรียกใช้การจำลอง WRF® พร้อมกันบน Google Cloud Platform

กำลังล้างข้อมูล

โปรดดำเนินการต่อไปนี้เพื่อเลี่ยงไม่ให้เกิดการเรียกเก็บเงินกับบัญชี Google Cloud Platform สำหรับทรัพยากรที่ใช้ใน Codelab นี้

ลบโปรเจ็กต์

วิธีที่ง่ายที่สุดในการยกเลิกการเรียกเก็บเงินคือการลบโปรเจ็กต์ที่คุณสร้างสำหรับ Codelab

ข้อควรระวัง: การลบโครงการจะมีผลกระทบดังต่อไปนี้

• ทุกอย่างในโปรเจ็กต์จะถูกลบ หากคุณใช้โปรเจ็กต์ที่มีอยู่สำหรับ Codelab นี้ เมื่อคุณลบโปรเจ็กต์ดังกล่าว คุณจะลบงานอื่นๆ ที่ทำในโปรเจ็กต์ดังกล่าวด้วย
• รหัสโปรเจ็กต์ที่กำหนดเองสูญหาย เมื่อสร้างโปรเจ็กต์นี้ คุณอาจสร้างรหัสโปรเจ็กต์ที่กําหนดเองที่ต้องการใช้ในอนาคต หากต้องการเก็บ URL ที่ใช้รหัสโปรเจ็กต์ไว้ เช่น URL ของ appspot.com ให้ลบทรัพยากรที่เลือกภายในโปรเจ็กต์แทนการลบทั้งโปรเจ็กต์

หากคุณวางแผนที่จะสำรวจ Codelab และการเริ่มต้นใช้งานอย่างรวดเร็วหลายรายการ การใช้โปรเจ็กต์ซ้ำจะช่วยให้คุณหลีกเลี่ยงไม่ให้เกินขีดจำกัดโควต้าของโปรเจ็กต์

1. ใน Cloud Console ให้ไปที่หน้าจัดการทรัพยากร ไปที่หน้าจัดการทรัพยากร
2. ในรายการโปรเจ็กต์ ให้เลือกโปรเจ็กต์ที่ต้องการลบ แล้วคลิกลบ
3. ในกล่องโต้ตอบ ให้พิมพ์รหัสโปรเจ็กต์แล้วคลิกปิดเครื่องเพื่อลบโปรเจ็กต์

ลบทรัพยากรแต่ละรายการ

1. เปิด Cloud Shell และไปที่ไดเรกทอรีตัวอย่าง wrf

cd  ~/slurm-gcp/tf/examples/wrf

2. เรียกใช้ "ทำลาย" เพื่อลบทรัพยากรทั้งหมด

make destroy