Menyebarkan kluster Azure Data Explorer ke Virtual Network Anda

Artikel ini menjelaskan sumber daya yang ada saat Anda menyebarkan kluster Azure Data Explorer ke dalam Azure Virtual Network kustom. Informasi ini akan membantu Anda menyebarkan kluster ke subnet di Virtual Network (VNet) Anda. Untuk informasi selengkapnya tentang Azure Virtual Networks, lihat Apa itu Azure Virtual Network?

Azure Data Explorer mendukung penyebaran kluster ke subnet di Virtual Network (VNet) Anda. Kemampuan ini memungkinkan Anda untuk:

• Menerapkan aturan Network Security Group (NSG) pada lalu lintas kluster Azure Data Explorer Anda.
• Menyambungkan jaringan lokal Anda ke subnet kluster Azure Data Explorer.
• Amankan sumber koneksi data Anda (Azure Event Hubs dan Event Grid) dengan titik akhir layanan.

Mengakses kluster Azure Data Explorer Anda di jaringan virtual Anda

Anda dapat mengakses kluster Azure Data Explorer menggunakan alamat IP berikut untuk setiap layanan (layanan manajemen mesin dan data):

• IP Privat: Digunakan untuk mengakses kluster di dalam jaringan virtual.
• IP Publik: Digunakan untuk mengakses kluster dari luar jaringan virtual untuk manajemen dan pemantauan, dan sebagai alamat sumber untuk koneksi keluar dimulai dari kluster.

Catatan DNS berikut dibuat untuk mengakses layanan:

• [clustername].[geo-region].kusto.windows.net (Mesin) ingest-[clustername].[geo-region].kusto.windows.net (manajemen data) dipetakan ke IP publik untuk setiap layanan.

• private-[clustername].[geo-region].kusto.windows.net (Mesin) ingest-private-[clustername].[geo-region].kusto.windows.net\private-ingest-[clustername].[geo-region].kusto.windows.net (manajemen data) dipetakan ke IP privat untuk setiap layanan.

Merencanakan ukuran subnet di jaringan virtual Anda

Ukuran subnet yang digunakan untuk menghosting kluster Azure Data Explorer tidak dapat diubah setelah subnet disebarkan. Di jaringan virtual Anda, Azure Data Explorer menggunakan satu alamat IP privat untuk setiap VM dan dua alamat IP privat untuk load balancer internal (manajemen mesin dan data). Jaringan Azure juga menggunakan lima alamat IP untuk setiap subnet. Azure Data Explorer menyediakan dua VM untuk layanan manajemen data. VM layanan mesin disediakan per kapasitas skala konfigurasi pengguna.

Jumlah total alamat IP:

Titik akhir layanan untuk menyambungkan ke Azure Data Explorer

Titik Akhir Layanan Azure memungkinkan Anda mengamankan sumber daya multipenyewa Azure ke jaringan virtual Anda. Menyebarkan kluster ke subnet memungkinkan Anda menyiapkan koneksi data dengan Event Hubs atau Event Grid sambil membatasi sumber daya yang mendasar untuk subnet Azure Data Explorer.

Titik akhir privat

Titik Akhir Privat memungkinkan akses privat ke sumber daya Azure (seperti storage/event hub/Data Lake Gen 2), dan menggunakan IP privat dari Virtual Network Anda, secara efektif membawa sumber daya ke jaringan virtual Anda. Buat titik akhir privat ke sumber daya yang digunakan oleh koneksi data, seperti hub peristiwa dan penyimpanan, dan tabel eksternal seperti Storage, Data Lake Gen 2, dan SQL Database dari jaringan virtual Anda untuk mengakses sumber daya yang mendasar secara privat.

Mengonfigurasi aturan Kelompok Keamanan Jaringan

NSG memberi Anda kemampuan untuk mengontrol akses jaringan dalam jaringan virtual. Anda harus mengonfigurasi NSG agar kluster Azure Data Explorer berfungsi di jaringan virtual Anda.

Mengonfigurasi aturan Kelompok Keamanan Jaringan menggunakan delegasi subnet

Delegasi subnet adalah metode default untuk mengonfigurasi aturan Grup Keamanan Jaringan untuk kluster Azure Data Explorer yang disebarkan ke subnet di jaringan virtual Anda. Saat menggunakan delegasi subnet, Anda harus mendelegasikan subnet ke Microsoft.Kusto/clusters sebelum membuat kluster di subnet.

Dengan mengaktifkan delegasi subnet pada subnet kluster, Anda mengaktifkan layanan untuk menentukan pra-kondisi penyebarannya dalam bentuk Kebijakan Niat Jaringan. Saat membuat kluster di subnet, konfigurasi NSG yang disebutkan di bagian berikut secara otomatis dibuat untuk Anda.

Mengonfigurasi aturan Kelompok Keamanan Jaringan secara manual

Atau, Anda dapat mengonfigurasi NSG anda secara manual. Secara default, menyebarkan kluster ke dalam jaringan virtual memberlakukan delegasi subnet untuk "Microsoft.Kusto/clusters" untuk dikonfigurasi. Memilih keluar dari persyaratan ini dimungkinkan menggunakan panel Fitur pratinjau.

Konfigurasi NSG masuk

Konfigurasi NSG keluar

Bagian berikut mencantumkan alamat IP yang relevan untuk manajemen dan pemantauan kesehatan.

Alamat IP manajemen Azure Data Explorer

Alamat pemantauan kesehatan

Penyetelan ExpressRoute

Gunakan ExpressRoute untuk menyambungkan jaringan lokal ke Azure Virtual Network. Penyiapan umum adalah mengiklankan rute default (0.0.0.0/0) melalui sesi Border Gateway Protocol (BGP). Ini memaksa lalu lintas yang keluar dari Virtual Network untuk diteruskan ke jaringan lokal pelanggan yang dapat menghilangkan lalu lintas, menyebabkan arus keluar terputus. Untuk mengatasi default ini, User Defined Route (UDR) (0.0.0.0/0) dapat dikonfigurasi dan hop berikutnya adalah Internet. Karena UDR lebih diutamakan daripada BGP, lalu lintas akan ditujukan ke Internet.

Mengamankan lalu lintas keluar dengan firewall

Jika Anda ingin mengamankan lalu lintas keluar menggunakan Azure Firewall atau appliance virtual apa pun untuk membatasi nama domain, Nama Domain Yang Sepenuhnya Memenuhi Syarat (FQDN) berikut harus diizinkan di firewall.

prod.warmpath.msftcloudes.com:443
gcs.prod.monitoring.core.windows.net:443
production.diagnostics.monitoring.core.windows.net:443
graph.windows.net:443
graph.microsoft.com:443
*.login.microsoft.com :443
*.update.microsoft.com:443
login.live.com:443
wdcp.microsoft.com:443
login.microsoftonline.com:443
azureprofilerfrontdoor.cloudapp.net:443
*.core.windows.net:443
*.servicebus.windows.net:443,5671
shoebox2.metrics.nsatc.net:443
prod-dsts.dsts.core.windows.net:443
*.vault.azure.net
ocsp.msocsp.com:80
*.windowsupdate.com:80
ocsp.digicert.com:80
go.microsoft.com:80
dmd.metaservices.microsoft.com:80
www.msftconnecttest.com:80
crl.microsoft.com:80
www.microsoft.com:80
adl.windows.com:80
crl3.digicert.com:80

Mengonfigurasi tabel rute

Anda harus mengonfigurasi tabel rute subnet kluster Anda dengan Hop Internet berikutnya untuk mencegah masalah rute asimetris.

Mengonfigurasi tabel rute menggunakan delegasi subnet

Sebaiknya gunakan delegasi subnet untuk mengonfigurasi tabel rute untuk penyebaran kluster Anda, mirip dengan bagaimana hal itu dilakukan untuk aturan NSG. Dengan mengaktifkan delegasi subnet pada subnet kluster, Anda mengaktifkan layanan untuk mengonfigurasi dan memperbarui tabel rute untuk Anda.

Mengonfigurasi tabel rute secara manual

Atau, Anda dapat mengonfigurasi tabel rute secara manual. Secara default, menyebarkan kluster ke dalam jaringan virtual memberlakukan delegasi subnet untuk "Microsoft.Kusto/clusters" untuk dikonfigurasi. Memilih keluar dari persyaratan ini dimungkinkan menggunakan panel Fitur pratinjau.

Untuk mengonfigurasi tabel rute secara manual, Anda harus menentukannya pada subnet. Anda perlu menambahkan alamat manajemen dan pemantauan kesehatan dengan Hop Internet berikutnya.

Misalnya, untuk wilayah US Barat, UDR berikut harus ditentukan:

Cara menemukan dependensi secara otomatis

Azure Data Explorer menyediakan API yang memungkinkan pelanggan menemukan semua dependensi keluar eksternal (FQDN) secara terprogram. Dependensi keluar ini akan memungkinkan pelanggan untuk menyiapkan Firewall di akhir mereka untuk memungkinkan lalu lintas manajemen melalui FQDN dependen. Pelanggan dapat memiliki appliance firewall ini baik di Azure atau lokal. Yang terakhir dapat menyebabkan latensi tambahan dan mungkin berdampak pada performa layanan. Tim layanan perlu menguji skenario ini untuk mengevaluasi dampak pada performa layanan.

ARMClient digunakan untuk menunjukkan REST API menggunakan PowerShell.

1. Masuk dengan ARMClient

   armclient login
   

2. Memanggil operasi diagnosis

   $subscriptionId = '<subscription id>'
   $clusterName = '<name of cluster>'
   $resourceGroupName = '<resource group name>'
   $apiversion = '2021-01-01'
   
   armclient get /subscriptions/$subscriptionId/resourceGroups/$resourceGroupName/providers/Microsoft.Kusto/clusters/$clusterName/OutboundNetworkDependenciesEndpoints?api-version=$apiversion
   

3. Periksa respons

   {
      "value":
      [
       ...
         {
           "id": "/subscriptions/<subscriptionId>/resourceGroups/<resourceGroup>/providers/Microsoft.Kusto/Clusters/<clusterName>/OutboundNetworkDependenciesEndpoints/AzureActiveDirectory",
           "name": "<clusterName>/AzureActiveDirectory",
           "type": "Microsoft.Kusto/Clusters/OutboundNetworkDependenciesEndpoints",
           "etag": "\"\"",
           "location": "<AzureRegion>",
           "properties": {
             "category": "Azure Active Directory",
             "endpoints": [
               {
                 "domainName": "login.microsoftonline.com",
                 "endpointDetails": [
                   {
                     "port": 443
                   }
                 ]
               },
               {
                 "domainName": "graph.windows.net",
                 "endpointDetails": [
                   {
                     "port": 443
                   }
                 ]
               }
             ],
             "provisioningState": "Succeeded"
           }
         },
         {
           "id": "/subscriptions/<subscriptionId>/resourceGroups/<resourceGroup>/providers/Microsoft.Kusto/Clusters/<clusterName>/OutboundNetworkDependenciesEndpoints/InternalTracing",
           "name": "<clustername>/InternalTracing",
           "type": "Microsoft.Kusto/Clusters/OutboundNetworkDependenciesEndpoints",
           "location": "Australia Central",
           "properties": {
             "category": "Internal Tracing",
             "endpoints": [
               {
                 "domainName": "ingest-<internalTracingCluster>.<region>.kusto.windows.net",
                 "endpointDetails": [
                   {
                     "port": 443,
                     "ipAddress": "25.24.23.22"
                   }
                 ]
               }
             ],
             "provisioningState": "Succeeded"
           }
       }
       ...
      ]
   }
   

Dependensi keluar mencakup kategori seperti ID Microsoft Entra, Azure Monitor, Otoritas Sertifikat, Azure Storage, dan Pelacakan Internal. Di setiap kategori, ada daftar nama domain dan port yang diperlukan untuk menjalankan layanan. Mereka dapat digunakan untuk mengonfigurasi appliance firewall pilihan secara terprogram.

Menyebarkan kluster Azure Data Explorer ke jaringan virtual Anda menggunakan templat Azure Resource Manager

Untuk menyebarkan kluster Azure Data Explorer ke jaringan virtual Anda, gunakan templat Sebarkan kluster Azure Data Explorer ke jaringan virtual Azure Resource Manager Anda.

Templat ini membuat kluster, jaringan virtual, subnet, grup keamanan jaringan, dan alamat IP publik.

Pembatasan yang diketahui

• Sumber daya jaringan virtual dengan kluster yang disebarkan tidak mendukung perpindahan ke grup sumber daya atau operasi langganan baru.
• Sumber daya alamat IP publik yang digunakan untuk mesin kluster atau layanan manajemen data tidak mendukung pemindahan ke grup sumber daya atau operasi langganan baru.
• Tidak dimungkinkan untuk menggunakan awalan DNS "privat" dari jaringan virtual yang disuntikkan kluster Azure Data Explorer sebagai bagian dari kueri Anda