HBv2 シリーズの仮想マシンの概要
適用対象: ✔️ Linux VM ✔️ Windows VM ✔️ フレキシブル スケール セット ✔️ 均一スケール セット。
AMD EPYC でハイパフォーマンス コンピューティング (HPC) アプリケーションのパフォーマンスを最大化するには、綿密なアプローチによるメモリの局所性とプロセスの配置が必要です。 以下、AMD EPYC アーキテクチャと、Azure での HPC アプリケーション向けのその実装について概説します。 物理 NUMA ドメインを指して pNUMA という用語を、また仮想化 NUMA ドメインを指して vNUMA を使用します。
物理的には、HBv2 シリーズ サーバーは 2 * 64 コアの EPYC 7V12 CPU であり、物理コアは合計 128 個です。 同時マルチスレッド (SMT) は HBv2 では無効になっています。 これらの 128 個のコアは 16 個のセクション (ソケットあたり 8 個) に分けられ、各セクションには 8 個のプロセッサ コアが含まれています。 Azure HBv2 サーバーでは、次の AMD BIOS 設定も実行されます。
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
その結果、サーバーは 4 つの NUMA ドメイン (ソケットあたり 2 つ) で起動します。 各ドメインのサイズは 32 コアです。 各 NUMA は、3,200 MT/秒で動作する 4 つのチャネルの物理 DRAM に直接アクセスできます。
Azure ハイパーバイザーが VM に干渉することなく動作する余地を与えるため、予備としてサーバーあたり 8 個の物理コアを確保しています。
VM のトポロジ
これらの 8 つのハイパーバイザー ホスト コアが両方の CPU ソケットに対して対称的に予約されており、各 NUMA ドメインにある特定の Core Complex Die (CCD) の最初の 2 つのコアが使用されています。残りのコアは、HBv2 シリーズ VM 用になります。 CCD 境界は NUMA 境界と同等ではありません。 HBv2 では、ホスト サーバー レベルとゲスト VM 内の両方で、4 つの連続する (4) CCD のグループが NUMA ドメインとして構成されます。 したがって、すべての HBv2 VM サイズでは、OS とアプリケーションに表示される 4 つの NUMA ドメインを公開します。 4 つの均一の NUMA ドメインでは、個別の HBv2 VM サイズによってコアの数がそれぞれ違います。
基になるシリコンはそのままゲスト VM に公開しているため、プロセス固定は HBv2 シリーズ VM 上で機能します。 最適なパフォーマンスと一貫性のために、プロセス固定を強くお勧めします。
ハードウェア仕様
| ハードウェア仕様 | HBv2 シリーズ VM |
|---|---|
| コア | 120 (SMT は無効) |
| CPU | AMD EPYC 7V12 |
| CPU 周波数 (非 AVX) | ~ 3.1 GHz (シングル + 全コア) |
| メモリ | 4 GB/コア (合計 480 GB) |
| ローカル ディスク | 960 GiB NVMe (ブロック)、480 GB SSD (ページ ファイル) |
| Infiniband | 200 Gb/秒 HDR Mellanox ConnectX-6 |
| ネットワーク | 50 GB/秒イーサネット (40 GB/秒使用可能) Azure 第 2 世代 SmartNIC |
ソフトウェア仕様
| ソフトウェア仕様 | HBv2 シリーズ VM |
|---|---|
| 最大 MPI ジョブ サイズ | 36000 コア (1 つの仮想マシン スケール セットに 300 の VM、singlePlacementGroup=true) |
| MPI のサポート | HPC-X、Intel MPI、OpenMPI、MVAPICH2、MPICH、Platform MPI |
| その他のフレームワーク | UCX、libfabric、PGAS |
| Azure Storage のサポート | Standard および Premium ディスク (最大 8 ディスク) |
| SRIOV RDMA の OS サポート | RHEL 7.9 以降、Ubuntu 18.04 以降、SLES 12 SP5 以降、WinServer 2016 以降 |
| Orchestrator のサポート | CycleCloud、Batch、AKS、クラスター構成オプション |
注意
Windows Server 2012 R2 は、64 個を超える (仮想または物理) コアを備えた HBv2 およびその他の VM ではサポートされていません。 詳細については、「Windows Server 上の Hyper-V でサポートされている Windows ゲスト オペレーティング システム」を参照してください。
次のステップ
- AMD EPYC アーキテクチャ とマルチチップ アーキテクチャ の詳細については、AMD EPYC プロセッサの HPC チューニング ガイド を参照してください。
- HPC ワークロードの例に関する最新の発表とパフォーマンスの結果については、Azure Compute Tech Community のブログ を参照してください。
- HPC ワークロードの実行をアーキテクチャの面から見た概要については、「Azure でのハイ パフォーマンス コンピューティング (HPC)」をご覧ください。