تمت ترجمة هذه الصفحة بواسطة Cloud Translation API‏.

نشر نظام Lustre Parallel File System على Google Cloud Platform

1. نظرة عامة

مرحبًا بك في Google Codelab لتشغيل مجموعة Lustre Parallel file system على Google Cloud Platform.

تُعدّ البيانات أساسية لممارسة الحوسبة العالية الأداء، وكان الوصول إلى كميات كبيرة من البيانات بسرعات عالية جدًا وبوقت استجابة منخفض دائمًا أحد التحديات الرئيسية في تشغيل أعباء العمل في الحوسبة العالية الأداء. لم يطرأ أي تغيير على متطلبات مساحة التخزين العالية الأداء في السحابة الإلكترونية، بل أصبحت إمكانية استخدام كميات هائلة من مساحة التخزين بسرعة وسهولة كبيرة.

ولطالما استوفت مراكز HPC هذه الحاجة داخل مقراتها باستخدام تقنيات مثل نظام الملفات المتوازية Lustre. يعتبر Lustre أحد أشهر حلول التخزين عالي الأداء مفتوح المصدر اليوم، ومنذ حزيران (يونيو) 2005، تم استخدامه بشكل مستمر من قِبل ما لا يقل عن نصف أهم عشرة أجهزة، وأكثر من 60 من أسرع 100 جهاز كمبيوتر خارق في العالم. يمكن لنظام Lustre توسيع سعة التخزين إلى مئات وحدات بيتابايت، وتقديم أفضل أداء ممكن لوظائف HPC، مع أنظمة توفّر معدل نقل بيانات يبلغ تيرابايت في الثانية في مساحة اسم واحدة.

لتلبية الطلب على مساحة التخزين، اتّبعت Google Cloud طريقتَين. أولاً، عقدت Google Cloud شراكة مع DDN لجلب برنامج DDN EXAScaler Lustre المتوافق مع المؤسسات إلى سوق Google Cloud Platform. ثانيًا، طوّر مهندسونا في Google Cloud مجموعة من النصوص البرمجية وأطلقوا برنامجًا مفتوح المصدر منها لإعداد مجموعة تخزين Lustre ونشرها على Google Compute Engine باستخدام Google Cloud Deployment Manager.

بإمكان Lustre على Google Cloud Platform أيضًا تقديم أفضل أداء للبنية الأساسية التي تعمل عليها. يُعدّ أداؤه على Google Cloud Platform جيدًا جدًا، ما أدّى إلى حصوله على المركز الثامن في مقياس أداء نظام التخزين IO-500 في عام 2019 مع شريكنا DDN، ما يمثّل أعلى ترتيب لنظام الملفات المستنِد إلى السحابة الإلكترونية في مقياس IO-500. سنرشدك اليوم خلال عملية نشر نصوص إدارة النشر مفتوحة المصدر في Lustre. إذا كنت تريد الحصول على تجربة أكثر تطوّرًا لمؤسسة Lustre مع دعم من خبراء Lustre لمجموعة Lustre، بالإضافة إلى ميزات مثل إدارة ومراقبة عمليات ضبط واجهة المستخدم الرسومية أو Lustre، ننصحك بالاستعانة بعرض DDN EXAScaler Marketplace.

المُعطيات

كيفية استخدام خدمة إدارة النشر على Google Cloud Platform
كيفية إعداد نظام ملفات Lustre ونشره على Google Cloud Platform
كيفية ضبط وضع التجزئة واختبار عمليات الإدخال/الإخراج البسيطة في نظام ملفات Lustre

المتطلبات الأساسية

حساب على Google Cloud Platform ومشروع يتضمّن ميزة الفوترة
تجربة Linux الأساسية

2. ضبط إعدادات الجهاز

إعداد بيئة ذاتية

إنشاء مشروع

إذا لم يكن لديك حساب على Google (Gmail أو G Suite)، عليك إنشاء حساب. سجِّل الدخول إلى وحدة تحكّم Google Cloud Platform (console.cloud.google.com) وافتح صفحة "إدارة الموارد":

انقر على إنشاء مشروع.

أدخِل اسم مشروع. تذكَّر رقم تعريف المشروع (المميّز باللون الأحمر في لقطة الشاشة أعلاه). يجب أن يكون رقم تعريف المشروع اسمًا فريدًا في جميع مشاريع Google Cloud. إذا لم يكن اسم مشروعك فريدًا، ستنشئ Google Cloud رقم تعريف مشروع عشوائيًا استنادًا إلى اسم المشروع.

بعد ذلك، عليك تفعيل الفوترة في Developers Console لاستخدام موارد Google Cloud.

لا ينبغي أن يكلفك تنفيذ هذا الدرس التطبيقي أكثر من بضعة دولارات، ولكن قد تزيد التكاليف إذا قررت استخدام المزيد من الموارد أو إذا تركتها قيد التشغيل (راجع قسم "الخاتمة" في نهاية هذا المستند). تتوفّر حاسبة أسعار Google Cloud Platform هنا.

المستخدمون الجدد في Google Cloud Platform مؤهّلون للاستفادة من فترة تجريبية مجانية بقيمة 300 دولار أمريكي.

Google Cloud Shell

يمكن إدارة Google Cloud عن بُعد من الكمبيوتر المحمول، ولكن في هذا الدرس التطبيقي حول الترميز، سنستخدم Google Cloud Shell، وهي بيئة سطر أوامر يتم تشغيلها في السحابة الإلكترونية.

تشغيل Google Cloud Shell

من وحدة تحكّم Google Cloud Platform، انقر على رمز Cloud Shell في شريط الأدوات العلوي الأيسر:

بعد ذلك، انقر على بدء Cloud Shell:

ينبغي ألا تستغرق إدارة الحسابات والاتصال بالبيئة أكثر من بضع لحظات.

يتم تحميل هذه الآلة الافتراضية مزوّدة بكل أدوات التطوير التي ستحتاج إليها. ويقدّم هذا الدليل دليلاً منزليًا دائمًا بسعة 5 غيغابايت، ويتم تشغيله على Google Cloud، ما يعزّز أداء الشبكة بشكل كبير ويبسّط عملية المصادقة. يمكنك، إن لم يكن كل عملك، في هذا التمرين من خلال متصفح ويب أو جهاز Google Chromebook.

بعد الاتصال بقشرة السحابة الإلكترونية، من المفترض أن تظهر لك رسالة تفيد بأنّه سبق أن تم مصادقة حسابك وأنّه سبق ضبط المشروع على PROJECT_ID:

$ gcloud auth list

ناتج الأمر:

Credentialed accounts:
 - <myaccount>@<mydomain>.com (active)

$ gcloud config list project

ناتج الأمر:

[core]
project = <PROJECT_ID>

إذا لم يتم ضبط رقم تعريف المشروع بشكل صحيح، يمكنك ضبطه باستخدام الأمر التالي:

$ gcloud config set project <PROJECT_ID>

مخرجات الأمر:

Updated property [core/project].

3- إعداد ومراجعة ضبط نشر Lustre

تنزيل نصوص Lustre Deployment Manager

في جلسة Cloud Shell، نفِّذ الأمر التالي لنسخ (تنزيل) مستودع Git الذي يحتوي على Lustre لملفات مدير نشر Google Cloud Platform:

git clone https://github.com/GoogleCloudPlatform/deploymentmanager-samples.git

انتقِل إلى دليل إعدادات نشر Lustre من خلال تنفيذ الأمر التالي:

cd deploymentmanager-samples/community/lustre/

إعداد Lustre Deployment YAML

يستخدم Deployment Manager ملف YAML لتوفير إعدادات النشر. يوضّح ملف YAML هذا تفاصيل عملية النشر، مثل إصدار Lustre المطلوب نشره وأنواع مثيلات الأجهزة المطلوب نشرها. يتم ضبط الملف تلقائيًا ليتم نشره في مشروع جديد بدون زيادة أي حصة، ولكن يمكنك تغيير نوع الجهاز أو السعة كما هو مطلوب في هذا الدرس التطبيقي حول الترميز. تمّ كتابة ورشة رموز البرامج هذه لاستخدام هذه الإعدادات التلقائية، لذا إذا أجريت أي تغييرات، عليك تطبيقها على مستوى ورشة رموز البرامج هذه لتجنّب حدوث أخطاء. في مرحلة الإنتاج، ننصحك باستخدام مثيل يضمّ 32 وحدة معالجة مركزية افتراضية على الأقلّ لعقدة MDS، ومثيل يضمّ 8 أو 16 وحدة معالجة مركزية افتراضية على الأقلّ لعقد OSS، وذلك استنادًا إلى سعة التخزين ونوعه.

لمراجعة ملف YAML أو تعديله في جلسة Cloud Shell، افتح ملف YAML لإعداد النشر Lustre-cluster.yaml. يمكنك استخدام محرِّر سطر الأوامر المفضّل لديك (vi أو nano أو emacs أو غير ذلك) أو استخدام "محرِّر الرموز البرمجية" في Cloud Console لعرض محتوى الملف:

ستظهر محتويات الملف على النحو التالي:

# [START cluster_yaml]
imports:
- path: lustre.jinja

resources:
- name: lustre
  type: lustre.jinja
  properties:
    ## Cluster Configuration
    cluster_name            : lustre
    zone                    : us-central1-f
    cidr                    : 10.20.0.0/16
    external_ips            : True
    ### Use these fields to deploy Lustre in an existing VPC, Subnet, and/or Shared VPC
    #vpc_net                 : < VPC Network Name >
    #vpc_subnet              : < VPC Subnet Name >
    #shared_vpc_host_proj    : < Shared VPC Host Project name >

    ## Filesystem Configuration
    fs_name                 : lustre
    ### Review https://downloads.whamcloud.com/public/ to determine version naming
    lustre_version          : latest-release
    e2fs_version            : latest

    ## Lustre MDS/MGS Node Configuration
    #mds_node_count          : 1
    mds_ip_address          : 10.20.0.2
    mds_machine_type        : n1-standard-8
    ### MDS/MGS Boot disk
    mds_boot_disk_type      : pd-standard
    mds_boot_disk_size_gb   : 10
    ### Lustre MetaData Target disk
    mdt_disk_type           : pd-ssd
    mdt_disk_size_gb        : 1000

    ## Lustre OSS Configuration
    oss_node_count          : 4
    oss_ip_range_start      : 10.20.0.5
    oss_machine_type        : n1-standard-4
    ### OSS Boot disk
    oss_boot_disk_type      : pd-standard
    oss_boot_disk_size_gb   : 10
    ### Lustre Object Storage Target disk
    ost_disk_type           : pd-standard
    ost_disk_size_gb        : 5000
#  [END cluster_yaml]

يوجد داخل ملف YAML هذا عدة حقول. يجب ملء الحقول أدناه التي تحمل علامة النجمة (*). تشمل هذه الحقول ما يلي:

إعدادات المجموعة

cluster_name* - اسم مجموعة Lustre، يتم إضافته في بداية جميع الموارد المنشورة
zone* - المنطقة التي سيتم نشر المجموعة فيها
‫cidr* - نطاق عنوان IP بتنسيق CIDR
external_ips* - صواب/خطأ، تتضمن عُقد Lustre عناوين IP خارجية. إذا كانت القيمة خطأ، يتم إعداد Cloud NAT كمدخل NAT.
vpc_net: حدِّد هذا الحقل وحقل vpc_subnet لنشر مجموعة Lustre في شبكة VPC حالية.
vpc_subnet - شبكة فرعية حالية لشبكة VPC لنشر مجموعة Lustre إليها
Shared_vpc_host_proj - حدِّد هذا الحقل، بالإضافة إلى الحقلين vpc_net وvpc_subnet، لنشر المجموعة على شبكة VPC مشتركة

ضبط نظام الملفات

fs_name - اسم نظام ملفات Lustre
lustre_version: إصدار Lustre المطلوب نشره. استخدِم "latest-release" لنشر أحدث إصدار من https://downloads.whamcloud.com/public/lustre/ أو lustre-X.X.X لنشر أي إصدارات أخرى.
e2fs_version - إصدار E2fsprogs لنشره، استخدِم "الأحدث" لنشر أحدث فرع من https://downloads.whamcloud.com/public/e2fsprogs/ أو من X.XX.X.wcX لنشر أي إصدارات أخرى.

إعداد MDS/MGS

mds_ip_address: عنوان IP الداخلي الذي يجب تحديده لعقدة MDS/MGS
mds_machine_type: نوع الجهاز المراد استخدامه لعقدة MDS/MGS (اطّلِع على https://cloud.google.com/compute/docs/machine-types)
mds_boot_disk_type: نوع القرص المراد استخدامه لقرص التمهيد في MDS/MGS (pd-standard أو pd-ssd)
mds_boot_disk_size_gb - حجم قرص تشغيل MDS بالجيجا بايت
mdt_disk_type* - نوع القرص الذي سيتم استخدامه لقرص "استهداف البيانات الوصفية" (MDT) (pd-standard أو pd-ssd أو local-ssd)
mdt_disk_size_gb* - حجم قرص MDT بالكيلوبايت

إعدادات OSS

oss_node_count* - عدد عُقد خادم تخزين الكائنات (OSS) المطلوب إنشاؤها
oss_ip_range_start: بداية نطاق IP لعقد OSS إذا لم يتم تحديده، استخدِم التعيين التلقائي لعنوان IP.
oss_machine_type: نوع الجهاز المراد استخدامه لعقد OSS
oss_boot_disk_type - نوع القرص المطلوب استخدامه لقرص تشغيل OSS (معيار pd-standard، pd-ssd)
oss_boot_disk_size_gb - حجم قرص التمهيد في MDS بالكيلوبايت
ost_disk_type* - نوع القرص المراد استخدامه لقرص "هدف مساحة تخزين العناصر" (OST) (pd-standard أو pd-ssd أو local-ssd)
ost_disk_size_gb* - حجم قرص OST بالجيجا بايت

4. نشر الإعدادات والتحقّق منها

نشر عملية الإعداد

في جلسة Cloud Shell، يمكنك تنفيذ الأمر التالي من مجلد Lustre-gcp:

gcloud deployment-manager deployments create lustre --config lustre.yaml

ينشئ هذا الأمر عملية نشر باسم Lustre. قد يستغرق اكتمال العملية مدةً تتراوح بين 10 و20 دقيقة، لذا يُرجى الانتظار.

بعد اكتمال عملية النشر، ستظهر لك نتيجة مشابهة لما يلي:

Create operation operation-1572410719018-5961966591cad-e25384f6-d4c905f8 completed successfully.
NAME                                TYPE                   STATE      ERRORS  INTENT
lustre-all-internal-firewall-rule  compute.v1.firewall    COMPLETED  []
lustre-lustre-network              compute.v1.network     COMPLETED  []
lustre-lustre-subnet               compute.v1.subnetwork  COMPLETED  []
lustre-mds1                        compute.v1.instance    COMPLETED  []
lustre-oss1                        compute.v1.instance    COMPLETED  []
lustre-oss2                        compute.v1.instance    COMPLETED  []
lustre-oss3                        compute.v1.instance    COMPLETED  []
lustre-oss4                        compute.v1.instance    COMPLETED  []
lustre-ssh-firewall-rule           compute.v1.firewall    COMPLETED  []

التحقّق من عملية النشر

اتّبِع الخطوات التالية لعرض عملية النشر في "وحدة تحكّم Google Cloud Platform":

في Cloud Platform Console، افتح قائمة المنتجات والخدمات في أعلى يمين وحدة التحكّم (ثلاثة خطوط أفقية).
انقر على Deployment Manager.
انقر على Lustre للاطّلاع على تفاصيل عملية النشر.
انقر على نظرة عامة - Lustre. تعرِض لوحة خصائص النشر الإعدادات العامة لعملية النشر.
انقر على عرض في سمة الإعداد. يعرض جزء الإعداد محتوى ملف YAML الخاص بإعدادات النشر الذي تم تعديله سابقًا. يُرجى التأكّد من صحة المحتوى قبل المتابعة. إذا كنت بحاجة إلى تغيير إعدادات النشر، ما عليك سوى حذف عملية النشر وفقًا للخطوات الواردة في "تنظيف عملية النشر"، ثم إعادة تشغيل عملية النشر وفقًا للخطوات الواردة في "ضبط ملف Lustre Deployment YAML".
(اختياري) ضمن قسم Lustre-cluster، انقر على كلّ من الموارد التي أنشأها نموذج Lustre.jinja وراجِع التفاصيل.

بعد التحقّق من إعدادات عملية النشر، لنتأكّد من بدء تشغيل نُسخ المجموعة. في Cloud Platform Console، في قائمة المنتجات والخدمات، انقر على Compute Engine > حالات VM.

في صفحة مثيلات الأجهزة الافتراضية، راجِع المثيلات الخمس للأجهزة الافتراضية التي أنشأها مدير النشر. ويشمل ذلك lustre-mds1 وlustre-oss1 وlustre-oss2 وlustre-oss3 وlustre-oss4.

5- الوصول إلى مجموعة Lustre

مراقبة التثبيت

في صفحة "مثيلات الأجهزة الافتراضية"، انقر على lustre-mds1 لفتح صفحة تفاصيل المثيل.

انقر على منفذ تسلسلي 1 (وحدة التحكّم) لفتح صفحة إخراج وحدة التحكّم التسلسلي. سنستخدم هذا الإخراج التسلسلي لتتبُّع عملية تثبيت مثيل MDS والانتظار إلى أن يكتمل نص التشغيل. انقر على الزر "تحديث" في أعلى الصفحة لتعديل الإخراج التسلسلي. ستتم إعادة تشغيل العقدة مرة واحدة ليتم تشغيل نواة Lustre، وسيتم عرض رسائل مشابهة لما يلي:

Startup finished in 838ms (kernel) + 6.964s (initrd) + 49.302s (userspace) = 57.105s.
Lustre: lustre-MDT0000: Connection restored to 374e2d80-0b31-0cd7-b2bf-de35b8119534 (at 0@lo)

يعني هذا أنّه تم تثبيت Lustre على مجموعة Lustre، وأصبح نظام الملفات جاهزًا للاستخدام.

الوصول إلى مجموعة Lustre

في جلسة Cloud Shell، انقر على الزر SSH بجانب المثيل lustre-mds1 في Google Cloud Console. بدلاً من ذلك، يمكنك تنفيذ الأمر التالي في Cloud Shell، مع استبدال <ZONE> بمنطقة عقدة lustre-mds1:

gcloud compute ssh lustre-mds1 --zone=<ZONE>

يسجِّل هذا الأمر الدخول إلى الجهاز الافتراضي lustre-mds1. هذا هو مثيل Lustre Metadata Server (MDS)، الذي يعمل أيضًا مثيل Lustre Management Server (MGS). يعالج هذا المثيل جميع طلبات المصادقة والبيانات الوصفية لنظام الملفات.

لنقم بتثبيت نظام الملفات على مثيل lustre-mds1 لنتمكن من اختباره لاحقًا. نفِّذ الأوامر التالية:

sudo mkdir /mnt/lustre
sudo mount -t lustre lustre-mds1:/lustre /mnt/lustre
cd /mnt/lustre

تؤدي هذه الأوامر الثلاثة ثلاثة إجراءات. يُنشئ الأمر الأول دليلاً محليًا سنستخدمه كنقطة تثبيت في " /mnt/lustre". يُشغِّل الأمر الثاني الأمر "mount" لتركيب نظام الملفات من النوع "lustre"، والذي يقع على خادم lustre-mds1، ويكون اسم نظام الملفات فيه "lustre"، ويُعرَف باسم "‎/lustre". يُثبِّت الأمر mount نظام الملفات Lustre في الدليل المحلي "‎/mnt/lustre". أخيرًا، يغيّر الأمر الثالث الدليل إلى الدليل ‎/mnt/lustre، حيث يتم تثبيت Lustre.

لقد ثبَّت الآن نظام ملفات Lustre في ‎/mnt/lustre. لنلقِ نظرة على الإجراءات التي يمكننا اتّخاذها بشأن نظام الملفات هذا.

6- جولة في أدوات Lustre CLI

إذا لم تكن على دراية ببرنامج Lustre وأدواته، سنشرح لك هنا بعض الأوامر المهمة.

أداة إدارة المجموعات المنخفضة المستوى في Lustre هي "lctl". يمكننا استخدام lctl لضبط مجموعة Lustre وإدارتها، وعرض خدمات مجموعة Lustre. للاطّلاع على الخدمات والحالات في مجموعة Lustre الجديدة، نفِّذ:

sudo lctl dl

ستظهر لك مخرجات مشابهة لما يلي، بناءً على التغييرات التي أجريتها على ملف إعداد Lustre YAML:

  0 UP osd-ldiskfs lustre-MDT0000-osd lustre-MDT0000-osd_UUID 11
  1 UP mgs MGS MGS 12
  2 UP mgc MGC10.128.15.2@tcp 374e2d80-0b31-0cd7-b2bf-de35b8119534 4
  3 UP mds MDS MDS_uuid 2
  4 UP lod lustre-MDT0000-mdtlov lustre-MDT0000-mdtlov_UUID 3
  5 UP mdt lustre-MDT0000 lustre-MDT0000_UUID 12
  6 UP mdd lustre-MDD0000 lustre-MDD0000_UUID 3
  7 UP qmt lustre-QMT0000 lustre-QMT0000_UUID 3
  8 UP lwp lustre-MDT0000-lwp-MDT0000 lustre-MDT0000-lwp-MDT0000_UUID 4
  9 UP osp lustre-OST0000-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
 10 UP osp lustre-OST0002-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
 11 UP osp lustre-OST0001-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
 12 UP osp lustre-OST0003-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4

يمكننا رؤية خادم إدارة Lustre (MGS) باعتباره العنصر 1، وخادم البيانات الوصفية Lustre (MDS) كعنصر 3، وهدف بيانات Lustre الوصفية (MDT) كعنصر 5، وخوادم تخزين الكائنات الأربعة (OSS) من Lustre كعناصر من 8 إلى 12. للتعرّف على الخدمات الأخرى، يُرجى مراجعة دليل Lustre.

أداة إعداد نظام ملفات Lustre هي "lfs". يمكننا استخدام ملفات lf لإدارة تقسيم الملفات عبر خوادم Lustre Object Storage Server (OSS) وهدف تخزين العناصر (OST) لكل منها، بالإضافة إلى تنفيذ عمليات نظام الملفات الشائعة مثل إدارة البحث وdf (الحصة) وحصّة البيانات.

تتيح لنا عملية التقطيع ضبط كيفية توزيع الملف على مجموعة Lustre لتقديم أفضل أداء ممكن. على الرغم من أنّ تقسيم ملف كبير على أكبر عدد ممكن من خدمات OSS غالبًا ما يحقّق أفضل أداء من خلال مزامنة عمليات I/O، قد يؤدي تقسيم ملف صغير إلى أداء أسوأ مما لو تمّت كتابة هذا الملف في مثيل واحد فقط.

لاختبار ذلك، لنعدّ دليلَين، أحدهما يتضمّن عددًا من الأقسام متساوًٍ مع عدد وحدات تخزين سحابي أساسية، والآخر يتضمّن عددًا من الأقسام يساوي "-1"، ما يشير إلى أنّه يجب تقسيم الملفات المكتوبة في هذا الدليل على أكبر عدد ممكن من وحدات التخزين السحابي الأساسية. يمكن أن تحتوي الدلائل على عمليات تهيئة شريطية مكتسبة من خلال الملفات التي تم إنشاؤها داخلها، ولكن يمكن بعد ذلك تهيئة الأدلة الفرعية والملفات الفردية داخل هذا الدليل بحيث يتم تخطيطها على نحو مختلف إذا رغبت في ذلك. لإنشاء هذين الدليلَين، نفِّذ الأوامر التالية أثناء الانتقال إلى الدليل "‎/mnt/lustre":

sudo mkdir stripe_one
sudo mkdir stripe_all
sudo lfs setstripe -c 1 stripe_one/
sudo lfs setstripe -c -1 stripe_all/

يمكنك عرض إعدادات الخطوط في ملف أو دليل باستخدام lfs getstripe:

sudo lfs getstripe stripe_all/

ستظهر لك إخراج يُظهر عدد الشرائط التي تم ضبطها على -1:

stripe_all/
stripe_count:  -1 stripe_size:   1048576 pattern:    raid0 stripe_offset: -1

نحن الآن جاهزون لاختبار تحسينات الأداء التي يمكن تحقيقها من خلال كتابة ملف كبير مخطط على عدة أنظمة تشغيل (OSS).

7- إدخال/إخراج Test Lustre

سنُجري اختبارَين بسيطَين لوحدة الإدخال/الإخراج Lustre لإظهار مزايا الأداء المحتملة وإمكانات التوسيع لنظام ملفات Lustre. أولاً، سنُجري اختبارًا بسيطًا باستخدام الأداة "dd" لكتابة ملف بسعة 5 غيغابايت في الدليل "stripe_one". نفِّذ الأمر التالي:

sudo dd if=/dev/zero of=stripe_one/test bs=1M count=5000

تستغرق عملية كتابة 5 غيغابايت من البيانات في نظام الملفات حوالي 27 ثانية في المتوسط، ويتم الكتابة على قرص دائم (PD) واحد على خادم تخزين عناصر واحد (OSS).

لاختبار تقسيم البيانات على أنظمة تشغيل سحابي مفتوحة المصدر متعددة، وبالتالي وحدات تخزين سحابي متعددة، ما عليك سوى تغيير دليل الإخراج الذي نكتب فيه. نفِّذ الأمر التالي:

sudo dd if=/dev/zero of=stripe_all/test bs=1M count=5000

لاحظ أننا قمنا بتغيير "of=stripe_one/test" إلى "of=stripe_all/test". وهذا ما يسمح بالكتابة في ساحة المشاركات الفردية بتوزيع الكتابة على جميع خوادم تخزين العناصر، وإكمال الكتابة في المتوسط 5.5 ثوانٍ، أي حوالي 4 أضعاف السرعة باستخدام أربعة أنظمة تشغيل مفتوح (OSS).

ويستمر هذا الأداء في الزيادة عند إضافة خوادم تخزين العناصر، ويمكنك إضافة خوادم تخزين العناصر مع نظام الملفات على الإنترنت والبدء في تقسيم البيانات إليها لزيادة السعة والأداء على الإنترنت. تتوفّر إمكانيات لا حصر لها باستخدام Lustre على Google Cloud Platform، ونحن متحمّسون لمعرفة ما يمكنك إنشاؤه والمشاكل التي يمكنك حلّها.

8. الخاتمة

تهانينا، لقد أنشأت مجموعة Lustre على Google Cloud Platform. يمكنك استخدام النصوص البرمجية هذه كنقطة بداية لإنشاء مجموعة Lustre الخاصة بك، ودمجها مع مجموعة الحوسبة المستندة إلى السحابة الإلكترونية.

إخلاء مساحة النشر

تسجيل الخروج من عقدة Lustre:

exit

يمكنك بسهولة إزالة عملية النشر بعد الانتهاء من تنفيذ الأمر التالي من Google Cloud Shell، بعد تسجيل الخروج من مجموعة Lustre:

gcloud deployment-manager deployments delete lustre

اكتب Y للمتابعة عندما يُطلب منك ذلك. يمكن أن تستغرق هذه العملية بعض الوقت، لذا يُرجى الانتظار.

حذف المشروع

للتنظيف، نحذف مشروعنا ببساطة.

في قائمة التنقّل، اختَر "إدارة الهوية وإمكانية الوصول والمشرف"
بعد ذلك، انقر على "الإعدادات" في القائمة الفرعية.
النقر على رمز سلة المهملات الذي يتضمن النص "حذف المشروع"
اتّبِع التعليمات الواردة في الرسائل.

المواضيع التي تناولناها

كيفية استخدام خدمة Deployment Manager في Google Cloud Platform
كيفية إعداد نظام ملفات Lustre ونشره على Google Cloud Platform
كيفية ضبط وضع التجزئة واختبار عمليات الإدخال/الإخراج البسيطة في نظام ملفات Lustre

الحصول على الدعم

هل تنشئ شيئًا رائعًا باستخدام النصوص البرمجية لمدير نشر Lustre؟ هل لديك أسئلة؟ يمكنك التواصل معنا في مجموعة مناقشة Google Cloud Lustre. لطلب ميزات أو تقديم ملاحظات أو الإبلاغ عن أخطاء، يُرجى استخدام هذا النموذج، أو يمكنك تعديل الرمز البرمجي وإرسال طلب سحب. هل تريد التحدّث إلى خبير في Google Cloud؟ يمكنك التواصل مع فريق Google Cloud اليوم من خلال موقع "الحوسبة العالية الأداء" على Google Cloud الإلكتروني.

مزيد من المعلومات

ملاحظات

يُرجى إرسال ملاحظاتك حول هذا الدرس التطبيقي حول الترميز باستخدام هذا الرابط. يستغرق اكتمال إرسال الملاحظات أقل من 5 دقائق. شكرًا