Batas sumber daya, ukuran VM, dan wilayah untuk AKS yang diaktifkan oleh Azure Arc
Berlaku untuk: AKS di Azure Local 22H2, AKS di Windows Server
Artikel ini menyediakan informasi tentang konfigurasi yang diuji, batas sumber daya, ukuran VM, dan wilayah untuk Azure Kubernetes Service (AKS) yang diaktifkan oleh Azure Arc. Pengujian menggunakan rilis terbaru AKS di Azure Local.
Spesifikasi maksimum
AKS yang diaktifkan oleh penyebaran Arc telah divalidasi dengan konfigurasi berikut, termasuk maksimum yang ditentukan. Melebihi nilai maksimum ini menjadi risiko Anda sendiri dan dapat menyebabkan perilaku serta kegagalan yang tidak terduga. Artikel berikut ini memberikan beberapa panduan guna menghindari kesalahan konfigurasi umum dan dapat membantu menciptakan konfigurasi yang lebih besar. Jika ragu, hubungi kantor Microsoft lokal Anda untuk mendapatkan bantuan atau mengirimkan pertanyaan di komunitas Lokal Azure.
Sumber daya | Maksimum |
---|---|
Server fisik per kluster | 8 |
Jumlah total VM | 200 |
Batas yang direkomendasikan diuji dengan ukuran komputer virtual (VM) default, berdasarkan tabel berikut:
Peran sistem | Ukuran komputer virtual |
---|---|
AKS-Host | Standard_A4_v2 |
Simpul Sarana Kontrol Kluster Target | Default |
Load balancer HAProxy Kluster Target (opsional) | Standard_A4_v2 |
Simpul pekerja Linux Kluster Target | Standard_K8S3_v1 |
Simpul pekerja Windows Kluster Target | Standard_K8S3_v1 |
Konfigurasi perangkat keras dari setiap simpul fisik di kluster Azure Local adalah sebagai berikut:
- Sasis: Dell PowerEdge R650 Server atau sejenisnya.
- RAM: RDIMM, 3200 MT/dtk, Dual Rank, total 256 GB.
- CPU: Dua (2) Intel Xeon Silver 4316 2.3G, 20C/40T, 10.4 GT/s, 30M Cache, Turbo, HT (150 W) DDR4-2666.
- Disk: 8x HDD (2 TB atau lebih besar) dan NVMe 2x 1,6 TB untuk mendukung konfigurasi penyimpanan S2D.
- Jaringan: Empat (4) NIC 100 Gbit (Mellanox atau Intel).
Rekayasa Microsoft menguji AKS yang diaktifkan oleh Arc menggunakan konfigurasi di atas. Untuk node tunggal. 2 simpul, 4 simpul, dan 8 kluster failover Windows simpul. Jika Anda memiliki persyaratan untuk melebihi konfigurasi yang diuji, lihat Menskalakan AKS di Azure Local.
Penting
Saat Anda meningkatkan penyebaran AKS, sumber daya tambahan untuk sementara dikonsumsi. Setiap komputer virtual ditingkatkan dalam alur pembaruan bergulir, dimulai dengan simpul sarana kontrol. Untuk setiap simpul di kluster Kubernetes, VM simpul baru dibuat. VM simpul lama dibatasi untuk mencegah beban kerja disebarkan ke dalamnya. VM terbatas kemudian dikosongkan dari semua kontainer untuk mendistribusikan kontainer ke VM lain dalam sistem. VM yang dikosongkan kemudian dihapus dari kluster, dimatikan, dan digantikan oleh VM baru yang diperbarui. Proses ini berulang hingga semua VM diperbarui.
Ukuran komputer virtual yang tersedia
Ukuran VM berikut untuk simpul sarana kontrol, simpul pekerja Linux, dan simpul pekerja Windows tersedia untuk AKS di Azure Local. Meskipun ukuran VM seperti Standard_K8S2_v1 dan Standard_K8S_v1 didukung untuk pengujian dan penyebaran persyaratan sumber daya yang rendah, gunakan ukuran ini dengan hati-hati dan terapkan pengujian yang ketat karena dapat mengakibatkan kegagalan yang tidak terduga karena kondisi memori yang kehabisan memori.
Ukuran Komputer Virtual | CPU | Memori (GB) | Jenis GPU | Jumlah GPU |
---|---|---|---|---|
Default | 4 | 4 | ||
Standard_A2_v2 | 2 | 4 | ||
Standard_A4_v2 | 4 | 8 | ||
Standard_D2s_v3 | 2 | 8 | ||
Standard_D4s_v3 | 4 | 16 | ||
Standard_D8s_v3 | 8 | 32 | ||
Standard_D16s_v3 | 16 | 64 | ||
Standard_D32s_v3 | 32 | 128 | ||
Standard_DS2_v2 | 2 | 7 | ||
Standard_DS3_v2 | 2 | 14 | ||
Standard_DS4_v2 | 8 | 28 | ||
Standard_DS5_v2 | 16 | 56 | ||
Standard_DS13_v2 | 8 | 56 | ||
Standard_K8S_v1 | 4 | 2 | ||
Standard_K8S2_v1 | 2 | 2 | ||
Standard_K8S3_v1 | 4 | 6 | ||
Standard_NK6 | 6 | 12 | Tesla T4 | 1 |
Standard_NK12 | 12 | 24 | Tesla T4 | 2 |
Wilayah Azure yang didukung untuk pendaftaran Azure
AKS yang diaktifkan oleh Arc didukung di wilayah Azure berikut:
- Australia Timur
- AS Timur
- Asia Tenggara
- Eropa Barat
Menskalakan AKS di Azure Local
Penskalaan penyebaran AKS di Azure Local melibatkan perencanaan ke depan dengan mengetahui beban kerja dan pemanfaatan kluster target Anda. Selain itu, pertimbangkan sumber daya perangkat keras dalam infrastruktur mendasar Anda seperti total inti CPU, total memori, penyimpanan, Alamat IP, dan sebagainya.
Contoh berikut mengasumsikan bahwa hanya beban kerja berbasis AKS yang disebarkan pada infrastruktur yang mendasar. Menyebarkan beban kerja non-AKS seperti komputer virtual yang berdiri sendiri atau berkluster, atau server database, mengurangi sumber daya yang tersedia untuk AKS, yang harus Anda perhitungkan.
Sebelum memulai, pertimbangkan poin-poin berikut untuk menentukan skala maksimum Anda dan jumlah kluster target yang perlu Anda dukung:
- Jumlah alamat IP yang dimiliki untuk pod di kluster target.
- Jumlah alamat IP yang tersedia bagi layanan Kubernetes di kluster target.
- Jumlah pod yang Anda butuhkan untuk menjalankan beban kerja Anda.
Untuk menentukan ukuran VM Host Azure Kubernetes Service, Anda perlu mengetahui jumlah simpul pekerja dan kluster target, karena menentukan ukuran VM Host AKS. Contohnya:
- Jumlah kluster target dalam sistem akhir yang disebarkan.
- Jumlah simpul, termasuk sarana kontrol, load balancer, dan node pekerja di semua kluster target.
Catatan
Satu host AKS hanya dapat mengelola kluster target pada platform yang sama.
Selain itu, untuk menentukan ukuran simpul sarana kontrol kluster target, Anda perlu mengetahui jumlah pod, kontainer, dan simpul pekerja yang ingin Anda sebarkan di setiap kluster target.
Pengaturan default yang saat ini tidak dapat diubah di AKS
Ada konfigurasi dan pengaturan default yang saat ini tidak tersedia untuk kontrol pelanggan selama atau setelah penyebaran. Pengaturan ini dapat membatasi skala untuk kluster target tertentu.
- Jumlah alamat IP untuk pod Kubernetes di kluster target terbatas pada subnet
10.244.0.0/16
. Artinya, 255 alamat IP per simpul pekerja di semua namespace Layanan Kubernetes dapat digunakan untuk pod. Untuk melihat pod CIDR yang telah ditetapkan ke setiap simpul pekerja di kluster Anda, gunakan perintah berikut di PowerShell:
kubectl get nodes -o json | findstr 'hostname podCIDR'
"kubernetes.io/hostname": "moc-lip6cotjt0f",
"f:podCIDR": {},
"f:podCIDRs": {
"f:kubernetes.io/hostname": {},
"podCIDR": "10.244.2.0/24",
"podCIDRs": [
"kubernetes.io/hostname": "moc-lmb6zqozk4m",
"f:podCIDR": {},
"f:podCIDRs": {
"f:kubernetes.io/hostname": {},
"podCIDR": "10.244.4.0/24",
"podCIDRs": [
"kubernetes.io/hostname": "moc-wgwhhijxtfv",
"f:podCIDR": {},
"f:podCIDRs": {
"f:kubernetes.io/hostname": {},
"podCIDR": "10.244.5.0/24",
"podCIDRs": [
Dalam contoh, Anda dapat melihat tiga simpul dengan tiga CIDR, masing-masing mampu menghosting 254 pod. Dokumentasi skala Kubernetes merekomendasikan agar Anda tidak melebihi 110 pod per simpul karena alasan performa. Lihat Pertimbangan untuk kluster besar.
Pertimbangan lain:
- Jumlah alamat IP untuk layanan Kubernetes, di luar kumpulan VIP yang Anda alokasikan, berasal dari kumpulan
10.96.0.0/16
alamat. Sistem ini menggunakan salah satu dari 255 alamat yang tersedia untuk server API Kubernetes. - Ukuran VM host AKS hanya dapat diatur saat penginstalan, ketika Anda menjalankan Set-AksHciConfig untuk pertama kalinya. Anda tidak dapat mengubahnya nanti.
- Anda hanya dapat mengatur ukuran sarana kontrol kluster target dan VM load balancer pada saat pembuatan kluster target.
Contoh skala
Contoh penskalaan berikut ini didasarkan pada asumsi/kasus penggunaan umum:
- Anda ingin dapat sepenuhnya mentolerir hilangnya satu simpul fisik di kluster Azure Local.
- Anda ingin mendukung peningkatan kluster target menjadi versi yang lebih baru.
- Anda ingin mengizinkan ketersediaan tinggi simpul sarana kontrol kluster target dan node load balancer.
- Anda ingin memesan bagian dari keseluruhan kapasitas Azure Local untuk kasus ini.
Saran
Untuk performa optimal, pastikan untuk mengatur setidaknya 15 persen (100/8=12,5) kapasitas kluster selain untuk memungkinkan semua sumber daya dari satu simpul fisik didistribusikan kembali ke tujuh (7) simpul lainnya. Konfigurasi ini memastikan bahwa Anda memiliki beberapa cadangan yang tersedia untuk melakukan peningkatan atau operasi AKS hari kedua lainnya.
Jika Anda ingin tumbuh melebihi batas 200-VM untuk perangkat keras maksimum berukuran delapan (8) node kluster Azure Local, tingkatkan ukuran VM host AKS. Penggambaran dalam ukuran menghasilkan kira-kira dua kali lipat jumlah VM yang dapat dikelolanya. Dalam kluster Azure Local 8-node, Anda bisa mendapatkan 8.192 (8x1024) VM berdasarkan batas sumber daya yang direkomendasikan Azure Local yang didokumenkan dalam spesifikasi perangkat keras maksimum yang didukung. Anda harus memesan sekitar 30% kapasitas, yang membuat Anda dengan batas teoritis 5.734 VM di semua simpul.
- Standard_D32s_v3, untuk host AKS dengan 32 core dan 128 GB - dapat mendukung maksimum 1.600 simpul.
Catatan
Karena konfigurasi ini belum diuji secara ekstensif, konfigurasi ini memerlukan pendekatan dan validasi yang cermat.
Pada skala seperti ini, Anda mungkin ingin membagi lingkungan menjadi setidaknya 8 kluster target dengan masing-masing 200 simpul pekerja.
Untuk menjalankan 200 node pekerja dalam satu kluster target, Anda dapat menggunakan sarana kontrol default dan ukuran penyeimbang beban. Tergantung pada jumlah pod per simpul, Anda dapat naik setidaknya satu ukuran pada sarana kontrol dan menggunakan Standard_D8s_v3.
Tergantung pada jumlah layanan Kubernetes yang dihosting di setiap kluster target, Anda mungkin harus meningkatkan ukuran VM load balancer serta pada pembuatan kluster target untuk memastikan bahwa layanan dapat dicapai dengan performa tinggi dan lalu lintas dirutekan sesuai.
Penyebaran AKS yang diaktifkan oleh Arc mendistribusikan simpul pekerja untuk setiap kumpulan simpul dalam kluster target di seluruh simpul Lokal Azure yang tersedia menggunakan logika penempatan Lokal Azure.
Penting
Penempatan simpul tidak dipertahankan selama platform dan peningkatan AKS dan akan berubah dari waktu ke waktu. Simpul fisik yang gagal juga akan berdampak pada distribusi komputer virtual di seluruh node kluster yang tersisa.
Catatan
Jangan menjalankan lebih dari empat pembuatan kluster target secara bersamaan jika kluster fisik sudah 50% penuh, karena dapat menyebabkan ketidakcocokan sumber daya sementara. Saat meningkatkan kumpulan simpul kluster target dengan jumlah besar, mempertimbangkan sumber daya fisik yang tersedia, karena AKS tidak memverifikasi ketersediaan sumber daya untuk proses pembuatan/penskalaan yang berjalan secara paralel. Selalu pastikan cadangan yang cukup untuk memungkinkan peningkatan dan failover. Terutama di lingkungan yang sangat besar, operasi ini, ketika dijalankan secara paralel, dapat menyebabkan kelelahan sumber daya yang cepat.
Jika ragu, hubungi kantor Microsoft lokal Anda untuk bantuan atau posting di forum komunitas Lokal Azure.