نظرة عامة على الجهاز الظاهري من سلسلة HBv4
ينطبق على: ✔️ أجهزة ظاهرية بنظام التشغيل Linux ✔️ أجهزة ظاهرية بنظام التشغيل Windows ✔️ مجموعات التوسعة المرنة ✔️ مجموعات التوسعة الموحدة
يتميز خادم HBv4-series بوحدات معالجة مركزية EPYC 9V33X 2 * 96 نواة لإجمالي 192 ذاكرة أساسية فعلية "Zen4" مع ذاكرة التخزين المؤقت AMD 3D-V. تم تعطيل Multithreading المتزامن (SMT) على HBv4. تنقسم هذه الذاكرات الأساسية البالغ عددها 192 إلى 24 قسما (12 لكل مأخذ توصيل)، ويحتوي كل قسم على 8 ذاكرات أساسية للمعالج مع وصول موحد إلى ذاكرة التخزين المؤقت L3 96 ميغابايت. تقوم خوادم Azure HBv4 أيضا بتشغيل إعدادات AMD BIOS التالية:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
ونتيجة لذلك، يتم تمهيد الخادم مع 4 مجالات NUMA (2 لكل مأخذ توصيل) كل 48 نواة في الحجم. كل NUMA لديه حق الوصول المباشر إلى 6 قنوات من DRAM الفعلي.
لتوفير مساحة ل Azure hypervisor للعمل دون التداخل مع الجهاز الظاهري، نحجز 16 نواة فعلية لكل خادم.
طوبولوجيا الجهاز الظاهري
يعرض الرسم التخطيطي التالي طوبولوجيا الخادم. نحجز هذه الذاكرات الأساسية لمضيف برنامج hypervisor ال 16 (الأصفر) بشكل متماثل عبر كل من مآخذ CPU، مع أخذ أول نواتين من Core Complex Dies (CCDs) محددة في كل مجال NUMA، مع الذاكرات الأساسية المتبقية للجهاز الظاهري من سلسلة HBv4 (الأخضر).
يختلف حد CCD عن حد NUMA. في HBv4، يتم تكوين مجموعة من ستة (6) CCDs متتالية كمجال NUMA، على مستوى الخادم المضيف وداخل الجهاز الظاهري الضيف. وبالتالي، تعرض جميع أحجام الأجهزة الظاهرية HBv4 4 مجالات NUMA موحدة تظهر لنظام التشغيل والتطبيق كما هو موضح أدناه، ولكل منها عدد مختلف من الذاكرات الأساسية اعتمادا على حجم الجهاز الظاهري HBv4 المحدد.
يتشابه كل حجم جهاز ظاهري HBv4 في التخطيط الفعلي والميزات والأداء لوحدة معالجة مركزية مختلفة عن AMD EPYC 9V33X، كما يلي:
| حجم الجهاز الظاهري من سلسلة HBv4 | مجالات NUMA | الذاكرة الأساسية لكل مجال NUMA | التشابه مع AMD EPYC |
|---|---|---|---|
| Standard_HB176rs_v4 | 4 | 44 | مأخذ توصيل مزدوج EPYC 9V33X |
| 144rs_v4 Standard_HB176 | 4 | 36 | مأخذ توصيل مزدوج EPYC 9V33X |
| 96rs_v4 Standard_HB176 | 4 | 24 | مأخذ توصيل مزدوج EPYC 9V33X |
| 48rs_v4 Standard_HB176 | 4 | 12 | مأخذ توصيل مزدوج EPYC 9V33X |
| 24rs_v4 Standard_HB176 | 4 | 6 | مأخذ توصيل مزدوج EPYC 9V33X |
إشعار
تقلل أحجام الأجهزة الظاهرية ذات الذاكرات الأساسية المقيدة فقط من عدد الذاكرات الأساسية الفعلية المعرضة للجهاز الظاهري. تظل جميع الأصول المشتركة العالمية (ذاكرة RAM والنطاق الترددي للذاكرة وذاكرة التخزين المؤقت L3 واتصال GMI وxGMI وInfiniBand وشبكة إيثرنت لـ Azure وSSD المحلية) ثابتة. يتيح ذلك للعميل اختيار حجم جهاز ظاهري مصمم بشكل أفضل لمجموعة معينة من احتياجات حمل العمل أو ترخيص البرامج.
يتم تعيين تعيين NUMA الظاهري لكل حجم جهاز ظاهري HBv4 إلى طوبولوجيا NUMA الفعلية الأساسية. لا يوجد تجريد مضلل محتمل لطوبولوجيا الأجهزة.
يظهر المخطط الدقيق لحجم الجهاز الظاهري HBv4 المتنوع كما يلي باستخدام إخراج lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
انقر لعرض إخراج lstopo ل Standard_HB176rs_v4
انقر لعرض إخراج lstopo ل Standard_HB176-144rs_v4
انقر لعرض إخراج lstopo ل Standard_HB176-96rs_v4
انقر لعرض إخراج lstopo ل Standard_HB176-48rs_v4
انقر لعرض إخراج lstopo ل Standard_HB176-24rs_v4
شبكات InfiniBand
تتميز الأجهزة الظاهرية HBv4 أيضا بمحولات شبكة NVIDIA Mellanox NDR InfiniBand (ConnectX-7) التي تعمل حتى 400 جيجابت/ثانية. يتم تمرير NIC إلى الجهاز الظاهري عبر SRIOV، ما يتيح حركة مرور الشبكة لتجاوز برنامج تشغيل الآلة الافتراضية. ونتيجة لذلك، يقوم العملاء بتحميل برامج تشغيل Mellanox OFED القياسية على الأجهزة الظاهرية HBv4 كما لو كانت بيئة بلا نظام تشغيل.
تدعم الأجهزة الظاهرية HBv4 التوجيه التكيفي، والنقل الديناميكي المتصل (DCT، بالإضافة إلى عمليات نقل RC وUD القياسية)، والتفريغ المستند إلى الأجهزة لجماعات MPI إلى المعالج الداخلي لمحول ConnectX-7. هذه الميزات تعزز أداء التطبيق وقابلية التوسع والاتساق، ويوصى باستخدامها.
التخزين المؤقت
تتميز الأجهزة الظاهرية HBv4 ب 3 أجهزة SSD محلية فعليا. تم تنسيق جهاز واحد مسبقا ليكون بمثابة ملف صفحة، وقد ظهر داخل الجهاز الظاهري الخاص بك كجهاز "SSD" عام.
يتم توفير اثنين من محركات أقراص SSD الأخرى الأكبر حجمًا كأجهزة NVMe غير منسقة عبر NVMeDirect. نظرا لأن جهاز NVMe للكتلة يتجاوز برنامج تشغيل الآلة الافتراضية، فإنه يحتوي على نطاق ترددي أعلى، وIOOPS أعلى، وزمن انتقال أقل لكل IOP.
عند إقرانه في صفيف مخطط، يوفر NVMe SSD ما يصل إلى 12 غيغابايت/ ثانية من القراءات و7 غيغابايت/ ثانية يكتب، وما يصل إلى 186000 عملية الإدخال والإخراج في الثانية (قراءة) و201000 عملية الإدخال والإخراج في الثانية (كتابة) لأعماق قائمة الانتظار العميقة.
مواصفات الأجهزة
| مواصفات الأجهزة | الأجهزة الظاهرية من سلسلة HBv4 |
|---|---|
| الذاكرات الأساسية | 176 أو 144 أو 96 أو 48 أو 24 (تم تعطيل SMT) |
| CPU | AMD EPYC 9V33X |
| تردد CPU (غير AVX) | قاعدة 2.4 غيغاهرتز، دفعة ذروة 3.7 غيغاهرتز |
| الذاكرة | 768 غيغابايت (ذاكرة الوصول العشوائي لكل ذاكرة أساسية تعتمد على حجم الجهاز الظاهري) |
| قرص محلي | 2 * 1.8 تيرابايت NVMe (كتلة)، 480 غيغابايت SSD (ملف الصفحة) |
| InfiniBand | 400 جيجابايت/ثانية Mellanox ConnectX-7 NDR InfiniBand |
| الشبكة | 80 جيجابت/ ثانية Ethernet (40 جيجابت/ ثانية قابل للاستخدام) Azure Gen SmartNIC الثاني |
مواصفات البرنامج
| مواصفات البرنامج | الأجهزة الظاهرية من سلسلة HBv4 |
|---|---|
| الحد الأقصى لحجم مهمة MPI | 52800 نواة (300 جهاز ظاهري في مجموعة مقياس جهاز ظاهري واحد مع singlePlacementGroup=true) |
| دعم MPI | HPC-X (2.13 أو أعلى)، Intel MPI (2021.7.0 أو أعلى)، OpenMPI (4.1.3 أو أعلى)، MVAPICH2 (2.3.7 أو أعلى)، MPICH (4.1 أو أعلى) |
| أطر عمل إضافية | UCX أو libfabric أو PGAS أو أوقات تشغيل أخرى تستند إلى InfiniBand |
| دعم تخزين Azure | الأقراص القياسية والمميزة (بحد أقصى 32 قرصا)، وAzure NetApp Files، وAzure Files، وAzure HPC Cache، ونظام ملفات Lustre المدار من Azure |
| نظام التشغيل المدعوم والمتحقق من صحته | AlmaLinux 8.6، 8.7، Ubuntu 20.04+ |
| نظام التشغيل الموصى به للأداء | AlmaLinux HPC 8.7، Ubuntu-HPC 20.04+ |
| دعم المُنسق | Azure CycleCloud، وAzure Batch، وAKS؛ خيارات تكوين نظام المجموعة |
إشعار
- تدعم هذه الأجهزة الظاهرية الجيل 2 فقط.
- يبدأ الدعم الرسمي على مستوى النواة من AMD ب RHEL 8.6 و AlmaLinux 8.6، وهو مشتق من RHEL.
- Windows Server 2012 R2 غير مدعوم على HBv4 والأجهزة الظاهرية الأخرى مع أكثر من 64 نواة (ظاهرية أو فعلية). لمزيد من المعلومات، راجع أنظمة تشغيل Windows الضيف المدعومة ل Hyper-V على Windows Server. Windows Server 2022 مطلوب لأحجام الذاكرة الأساسية 144 و176، يعمل Windows Server 2016 أيضا مع 24 و48 و96 حجم ذاكرة أساسية، ويعمل Windows Server مع 24 و48 حجم ذاكرة أساسية فقط.
هام
URN الصورة الموصى بها: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101، لنشر هذه الصورة عبر Azure CLI، تأكد من تضمين المعلمات التالية --الخطة 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. بالنسبة لاختبارات التحجيم، يرجى استخدام URN الموصى به مع HPC-X tarball الجديد.
إشعار
- تتم إضافة دعم NDR في UCX 1.13 أو أحدث. ستقوم إصدارات UCX الأقدم بالإبلاغ عن خطأ وقت التشغيل أعلاه. خطأ UCX: سرعة
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128نشطة غير صحيحة . - يظهر Ibstat سرعة منخفضة (SDR): إصدارات Mellanox OFED القديمة (MOFED) لا تدعم NDR وقد تبلغ عن سرعات IB أبطأ. يرجى استخدام إصدارات MOFED MOFED 5.6-1.0.3.3 أو أعلى.
الخطوات التالية
- اقرأ بشأن أحدث الإعلانات، والأمثلة حول حمل عمل الحوسبة عالية الأداء (HPC)، ونتائج الأداء في مدوّنات المجتمع التقني حول الحساب في Azure.
- من أجل عرض هندسي ذي مستوى أعلى لتشغيل أحمال عمل الحوسبة عالية الأداء (HPC)، راجع الحوسبة عالية الأداء (HPC) على Azure.