مشاركة عبر

نظرة عامة على الجهاز الظاهري لسلسلة HX

  • مقالة

ينطبق على: ✔️ أجهزة ظاهرية بنظام التشغيل Linux ✔️ أجهزة ظاهرية بنظام التشغيل Windows ✔️ مجموعات التوسعة المرنة ✔️ مجموعات التوسعة الموحدة

يتميز خادم سلسلة HX بوحدات EPYC 9V33X 2 * 96 نواة لإجمالي 192 ذاكرة أساسية فعلية "Zen4" مع ذاكرة التخزين المؤقت AMD 3D-V. تم تعطيل Multithreading المتزامن (SMT) على HX. تنقسم هذه الذاكرات الأساسية البالغ عددها 192 إلى 24 قسما (12 لكل مأخذ توصيل)، ويحتوي كل قسم على 8 ذاكرات أساسية للمعالج مع وصول موحد إلى ذاكرة التخزين المؤقت L3 96 ميغابايت. تقوم خوادم Azure HX أيضا بتشغيل إعدادات AMD BIOS التالية:

Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled

ونتيجة لذلك، يتم تمهيد الخادم مع 4 مجالات NUMA (2 لكل مأخذ توصيل) كل 48 نواة في الحجم. كل NUMA لديه حق الوصول المباشر إلى 6 قنوات من DRAM الفعلي.

لتوفير مساحة ل Azure hypervisor للعمل دون التداخل مع الجهاز الظاهري، نحجز 16 نواة فعلية لكل خادم.

طوبولوجيا الجهاز الظاهري

يعرض الرسم التخطيطي التالي طوبولوجيا الخادم. نحجز هذه الذاكرات الأساسية لمضيف برنامج hypervisor ال 16 (الأصفر) بشكل متماثل عبر كل من مآخذ CPU، مع أخذ أول نواتين من Core Complex Dies (CCDs) محددة في كل مجال NUMA، مع الذاكرات الأساسية المتبقية للجهاز الظاهري لسلسلة HX (الأخضر).

لقطة شاشة لطوبولوجيا خادم سلسلة HX.

يختلف حد CCD عن حد NUMA. في HX، يتم تكوين مجموعة من ستة (6) CCDs متتالية كمجال NUMA، على مستوى الخادم المضيف وداخل الجهاز الظاهري الضيف. وبالتالي، تعرض جميع أحجام الأجهزة الظاهرية HX 4 مجالات NUMA موحدة ستظهر لنظام التشغيل والتطبيق كما هو موضح أدناه، ولكل منها عدد مختلف من الذاكرات الأساسية اعتمادا على حجم HX VM المحدد.

لقطة شاشة لطوبولوجيا الجهاز الظاهري من سلسلة HX.

يتشابه كل حجم HX VM في التخطيط الفعلي والميزات والأداء لوحدة معالجة مركزية مختلفة من سلسلة AMD EPYC 9004، كما يلي:

حجم الجهاز الظاهري من سلسلة HX مجالات NUMA الذاكرة الأساسية لكل مجال NUMA التشابه مع AMD EPYC
Standard_HX176rs 4 44 مأخذ توصيل مزدوج EPYC 9V33X
Standard_HX176-144rs 4 36 مأخذ توصيل مزدوج EPYC 9V33X
Standard_HX176-96rs 4 24 مأخذ توصيل مزدوج EPYC 9V33X
Standard_HX176-48rs 4 12 مأخذ توصيل مزدوج EPYC 9V33X
Standard_HX176-24rs 4 6 مأخذ توصيل مزدوج EPYC 9V33X

إشعار

تقلل أحجام الأجهزة الظاهرية ذات الذاكرات الأساسية المقيدة فقط من عدد الذاكرات الأساسية الفعلية المعرضة للجهاز الظاهري. تظل جميع الأصول المشتركة العالمية (ذاكرة RAM والنطاق الترددي للذاكرة وذاكرة التخزين المؤقت L3 واتصال GMI وxGMI وInfiniBand وشبكة إيثرنت لـ Azure وSSD المحلية) ثابتة. يتيح ذلك للعميل اختيار حجم جهاز ظاهري مصمم بشكل أفضل لمجموعة معينة من احتياجات حمل العمل أو ترخيص البرامج.

يتم تعيين تعيين NUMA الظاهري لكل حجم HX VM إلى طوبولوجيا NUMA الفعلية الأساسية. لا يوجد تجريد مضلل محتمل لطوبولوجيا الأجهزة.

يظهر المخطط الدقيق لحجم HX VM المتنوع كما يلي باستخدام إخراج lstopo:

lstopo-no-graphics --no-io --no-legend --of txt

انقر لعرض إخراج lstopo Standard_HX176rs

إخراج lstopo ل HX-176 VM

انقر لعرض إخراج lstopo ل Standard_HX176-144rs

إخراج lstopo ل HX-144 VM

انقر لعرض إخراج lstopo ل Standard_HX176-96rs

إخراج lstopo لجهاز HX-96 الظاهري

انقر لعرض إخراج lstopo ل Standard_HX176-48rs

إخراج lstopo لجهاز HX-48 الظاهري

انقر لعرض إخراج lstopo ل Standard_HX176-24rs

إخراج lstopo ل HX-24 VM

شبكات InfiniBand

تتميز أجهزة HX الظاهرية أيضا بمحولات شبكة NVIDIA Mellanox NDR InfiniBand (ConnectX-7) التي تعمل حتى 400 جيجابت/ثانية. يتم تمرير NIC إلى الجهاز الظاهري عبر SRIOV، ما يتيح حركة مرور الشبكة لتجاوز برنامج تشغيل الآلة الافتراضية. ونتيجة لذلك، يقوم العملاء بتحميل برامج تشغيل Mellanox OFED القياسية على الأجهزة الظاهرية HX كما لو كانت بيئة بلا نظام تشغيل.

تدعم أجهزة HX الظاهرية التوجيه التكيفي، والنقل المتصل الديناميكي (DCT، بالإضافة إلى عمليات نقل RC وUD القياسية)، والتفريغ المستند إلى الأجهزة لجماعات MPI إلى المعالج الداخلي لمحول ConnectX-7. هذه الميزات تعزز أداء التطبيق وقابلية التوسع والاتساق، ويوصى باستخدامها.

التخزين المؤقت

تتميز أجهزة HX الظاهرية ب 3 أجهزة SSD محلية فعليا. تم تنسيق جهاز واحد مسبقا ليكون بمثابة ملف صفحة، وقد ظهر داخل الجهاز الظاهري الخاص بك كجهاز "SSD" عام.

يتم توفير اثنين من محركات أقراص SSD الأخرى الأكبر حجمًا كأجهزة NVMe غير منسقة عبر NVMeDirect. نظرا لأن جهاز NVMe للكتلة يتجاوز برنامج تشغيل الآلة الافتراضية، فإنه يحتوي على نطاق ترددي أعلى، وIOOPS أعلى، وزمن انتقال أقل لكل IOP.

عند إقرانه في صفيف مخطط، يوفر NVMe SSD ما يصل إلى 12 غيغابايت/ ثانية من القراءات و7 غيغابايت/ ثانية يكتب، وما يصل إلى 186000 عملية الإدخال والإخراج في الثانية (قراءة) و201000 عملية الإدخال والإخراج في الثانية (كتابة) لأعماق قائمة الانتظار العميقة.

مواصفات الأجهزة

مواصفات الأجهزة الأجهزة الظاهرية من سلسلة HX
الذاكرات الأساسية 176 أو 144 أو 96 أو 48 أو 24 (تم تعطيل SMT)
CPU AMD EPYC 9V33X
تردد CPU (غير AVX) قاعدة 2.4 غيغاهرتز، دفعة ذروة 3.7 غيغاهرتز
الذاكرة 1.4 تيرابايت (ذاكرة الوصول العشوائي لكل ذاكرة أساسية تعتمد على حجم الجهاز الظاهري)
قرص محلي 2 * 1.8 تيرابايت NVMe (كتلة)، 480 غيغابايت SSD (ملف الصفحة)
InfiniBand 400 جيجابايت/ثانية Mellanox ConnectX-7 NDR InfiniBand
الشبكة 80 جيجابت/ ثانية Ethernet (40 جيجابت/ ثانية قابل للاستخدام) Azure Gen SmartNIC الثاني

مواصفات البرنامج

مواصفات البرنامج الأجهزة الظاهرية من سلسلة HX
الحد الأقصى لحجم مهمة MPI 52800 نواة (300 جهاز ظاهري في مجموعة مقياس جهاز ظاهري واحد مع singlePlacementGroup=true)
دعم MPI HPC-X (2.13 أو أعلى)، Intel MPI (2021.7.0 أو أعلى)، OpenMPI (4.1.3 أو أعلى)، MVAPICH2 (2.3.7 أو أعلى)، MPICH (4.1 أو أعلى)
أطر عمل إضافية UCX أو libfabric أو PGAS أو أوقات تشغيل أخرى تستند إلى InfiniBand
دعم تخزين Azure الأقراص القياسية والمميزة (بحد أقصى 32 قرصا)، وAzure NetApp Files، وAzure Files، وAzure HPC Cache، ونظام ملفات Lustre المدار من Azure
نظام التشغيل المدعوم والمتحقق من صحته AlmaLinux 8.6، 8.7، Ubuntu 20.04+
نظام التشغيل الموصى به للأداء AlmaLinux HPC 8.7، Ubuntu-HPC 20.04+
دعم المُنسق Azure CycleCloud، وAzure Batch، وAKS؛ خيارات تكوين نظام المجموعة

إشعار

  • تدعم هذه الأجهزة الظاهرية الجيل 2 فقط.
  • يبدأ الدعم الرسمي على مستوى النواة من AMD ب RHEL 8.6 و AlmaLinux 8.6، وهو مشتق من RHEL.
  • Windows Server 2012 R2 غير مدعوم على HX والأجهزة الظاهرية الأخرى مع أكثر من 64 نواة (ظاهرية أو فعلية). لمزيد من المعلومات، راجع أنظمة تشغيل Windows الضيف المدعومة ل Hyper-V على Windows Server. Windows Server 2022 مطلوب لأحجام الذاكرة الأساسية 144 و176، يعمل Windows Server 2016 أيضا مع 24 و48 و96 حجم ذاكرة أساسية، ويعمل Windows Server مع 24 و48 حجم ذاكرة أساسية فقط.

هام

URN الصورة الموصى بها: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101، لنشر هذه الصورة عبر Azure CLI، تأكد من تضمين المعلمات التالية --الخطة 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. بالنسبة لاختبارات التحجيم، يرجى استخدام URN الموصى به مع HPC-X tarball الجديد.

إشعار

  • تتم إضافة دعم NDR في UCX 1.13 أو أحدث. ستقوم إصدارات UCX الأقدم بالإبلاغ عن خطأ وقت التشغيل أعلاه. خطأ UCX: سرعة [1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128نشطة غير صحيحة .
  • يظهر Ibstat سرعة منخفضة (SDR): إصدارات Mellanox OFED القديمة (MOFED) لا تدعم NDR وقد تبلغ عن سرعات IB أبطأ. يرجى استخدام إصدارات MOFED MOFED 5.6-1.0.3.3 أو أعلى.

الخطوات التالية