Memantau runtime integrasi di Azure Data Factory

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Runtime integrasi adalah infrastruktur komputasi yang digunakan oleh Azure Data Factory (ADF) untuk memberikan berbagai kemampuan integrasi data di berbagai lingkungan jaringan. Ada tiga jenis runtime integrasi yang ditawarkan oleh Data Factory:

• Runtime integrasi Azure
• Runtime integrasi yang dihosting sendiri
• Runtime integrasi Azure-SQL Server Integration Services (SSIS)

Untuk mendapatkan status instans runtime integrasi (IR), jalankan perintah PowerShell berikut:

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

Cmdlet menampilkan informasi yang berbeda untuk berbagai jenis runtime integrasi. Artikel ini menjelaskan properti dan status setiap jenis runtime integrasi.

Runtime integrasi Azure

Sumber daya komputasi untuk runtime integrasi Azure dikelola sepenuhnya secara elastis di Azure. Tabel berikut ini berisi deskripsi properti yang ditampilkan oleh perintah Get-AzDataFactoryV2IntegrationRuntime:

Properti

Tabel berikut ini berisi deskripsi properti yang ditampilkan oleh cmdlet untuk runtime integrasi Azure:

Status

Tabel berikut berisi kemungkinan status runtime integrasi Azure:

Runtime integrasi yang dihosting sendiri

Bagian ini berisi deskripsi properti yang ditampilkan oleh cmdlet Get-AzDataFactoryV2IntegrationRuntime.

Properti

Tabel berikut berisi deskripsi Properti pemantauan untuk setiap simpul:

Beberapa pengaturan properti lebih masuk akal saat ada dua simpul atau lebih dalam IR yang dihost sendiri (artinya, dalam skenario peluasan skala).

Batas pekerjaan bersamaan

Nilai default dari batas pekerjaan bersamaan diatur berdasarkan ukuran komputer. Faktor-faktor yang digunakan untuk menghitung nilai ini bergantung pada RAM dan jumlah inti CPU komputer. Jadi, semakin banyak inti dan semakin banyak memori, batas default pekerjaan bersamaan semakin tinggi.

Luaskan skala dengan meningkatkan jumlah simpul. Jika Anda menambah jumlah simpul, batas pekerjaan bersamaan adalah jumlah nilai batas pekerjaan bersamaan dari semua simpul yang tersedia. Misalnya, jika satu node memungkinkan Anda menjalankan maksimal dua belas pekerjaan secara bersamaan, maka menambahkan tiga node serupa lainnya memungkinkan Anda menjalankan maksimal 48 pekerjaan secara bersamaan (yaitu, 4 x 12). Sebaiknya Anda meningkatkan batas pekerjaan bersamaan hanya ketika Anda melihat penggunaan sumber daya rendah dengan nilai default di setiap simpul.

Anda dapat mengganti nilai default yang dihitung di portal Microsoft Azure. Pilih Author > Connections > Integration Runtimes > Edit > Node > Ubah nilai pekerjaan secara bersamaan per node. Anda juga dapat menggunakan perintah PowerShell update-Azdatafactoryv2integrationruntimenode.

Status (per simpul)

Tabel berikut mencamtumkan kemungkinan status simpul IR yang dihost sendiri:

Simpul bisa tidak aktif jika tidak dapat terhubung ke simpul lain.

Status (keseluruhan IR yang dihost sendiri)

Tabel berikut mencantumkan kemungkinan status IR yang dihost sendiri. Status ini bergantung pada status semua simpul yang termasuk dalam runtime.

Gunakan cmdlet Get-AzDataFactoryV2IntegrationRuntimeMetric untuk mengambil payload JSON yang berisi properti IR yang dihost sendiri terperinci, dan nilai rekam jepretnya selama waktu eksekusi cmdlet.

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json 

Contoh output (mengasumsikan bahwa ada dua simpul yang terkait dengan IR yang dihost sendiri ini):

{
	"IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		},
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		}

	]
} 

runtime integrasi Azure-SSIS

Azure-SSIS IR adalah kluster terkelola sepenuhnya dari komputer virtual Azure (VM atau simpul) yang didedikasikan untuk menjalankan paket SSIS Anda. Anda dapat menggunakan eksekusi paket SSIS di Azure-SSIS IR menggunakan berbagai metode, misalnya melalui SQL Server Data Tools (SSDT) yang diaktifkan Azure, utilitas baris perintah AzureDTExec, T-SQL di SQL Server Management Studio (SSMS)/SQL Server Agent, dan menjalankan aktivitas Eksekusi Paket SSIS di alur ADF. Azure-SSIS IR tidak menjalankan aktivitas ADF lainnya. Setelah disediakan, Anda dapat memantau status dan properti keseluruhan/khusus simpul melalui Azure PowerShell, portal Microsoft Azure, dan Azure Monitor.

Memantau runtime integrasi Azure-SSIS dengan Azure PowerShell

Gunakan cmdlet Azure PowerShell berikut untuk memantau status dan properti keseluruhan/khusus simpul dari Azure-SSIS IR.

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

Properti

Tabel berikut mencantumkan deskripsi properti yang ditampilkan oleh cmdlet di atas untuk Azure-SSIS IR.

Status (per simpul Azure-SSIS IR)

Tabel berikut mencantumkan kemungkinan status simpul Azure-SSIS IR:

Status (keseluruhan Azure-SSIS IR)

Tabel berikut mencantumkan kemungkinan keseluruhan status Azure-SSIS IR. Keseluruhan status pada gilirannya akan bergantung pada status gabungan semua simpul yang termasuk dalam Azure-SSIS IR.

Memantau runtime integrasi Azure-SSIS di portal Microsoft Azure

Untuk memantau Azure-SSIS IR Anda di portal Microsoft Azure, buka halaman Runtime integrasi hub Pantau di UI ADF, tempat Anda dapat melihat semua runtime integrasi.

Selanjutnya, pilih nama Azure-SSIS IR Anda untuk membuka halaman pemantauannya, tempat Anda dapat melihat status dan properti khusus simpul/keseluruhannya. Di halaman ini, bergantung pada cara Anda mengonfigurasi pengaturan umum, penyebaran, dan lanjutan dari Azure-SSIS IR, Anda akan menemukan berbagai petak peta informasi/fungsional.

Petak peta pita informasi JENIS dan WILAYAH menunjukkan jenis dan wilayah Azure-SSIS IR masing-masing.

Petak peta informasi UKURAN SIMPUL menampilkan SKU (seri SSIS edition_VM tier_VM), jumlah inti CPU, dan ukuran RAM per simpul untuk Azure-SSIS IR Anda.

Petak peta informasi SIMPUL YANG BERJALAN / DIMINTA membandingkan jumlah simpul yang saat ini dijalankan dengan jumlah total simpul yang sebelumnya diminta untuk Azure-SSIS IR Anda.

Petak peta informasi DUAL STANDBY PART/ROLE menunjukkan nama pasangan runtime integrasi Azure-SSIS siaga ganda yang bekerja berdampingan dengan grup failover Azure SQL Managed Instance demi keberlangsungan bisnis dan pemulihan bencana (BCDR) serta peran primer/sekunder runtime integrasi Azure-SSIS Anda saat ini. Saat failover SSISDB terjadi, Azure-SSIS IR primer dan sekunder akan menukar peran (lihat Mengonfigurasi Azure-SSIS IR Anda untuk BCDR).

Petak peta fungsional dijelaskan secara lebih rinci di bawah ini.

Petak peta STATUS

Pada petak peta STATUS di halaman pemantauan Azure-SSIS IR, Anda dapat melihat keseluruhan status, misalnya Dijalankan atau Dihentikan. Memilih status Dijalankan memunculkan jendela dengan tombol Stop langsung untuk menghentikan Azure-SSIS IR Anda. Memilih status Dihentikan memunculkan jendela dengan tombol Mulai langsung untuk memulai Azure-SSIS IR Anda. Jendela pop-up juga memiliki tombol Jalankan paket SSIS untuk membuat alur ADF secara otomatis dengan aktivitas Eksekusi Paket SSIS yang dijalankan di Azure-SSIS IR Anda (lihat Menjalankan paket SSIS sebagai aktivitas Eksekusi Paket SSIS di alur ADF) dan kotak teks ID Sumber Daya tempat Anda dapat menyalin ID sumber daya Azure-SSIS IR Anda (/subscriptions/YourAzureSubscription/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR). Akhiran ID sumber daya Azure-SSIS IR yang berisi nama ADF dan Azure-SSIS IR Anda membentuk ID kluster yang dapat digunakan untuk membeli komponen SSIS permium/berlisensi tambahan dari vendor perangkat lunak independen (ISV) untuk mengikatknya dengan Azure-SSIS IR Anda (lihat Menginstal komponen premium/berlisensi di Azure-SSIS IR Anda).

Petak peta TITIK AKHIR SERVER SSISDB

Jika Anda menggunakan Model Penyebaran Proyek tempat paket disimpan di SSISDB yang dihost oleh server Azure SQL Database atau instans terkelola, Anda akan melihat petak peta TITIK AKHIR SERVER SSISDB di halaman pemantauan Azure-SSIS IR (lihat Mengonfigurasi pengaturan penyebaran Azure-SSIS IR). Di petak peta ini, Anda dapat memilih tautan yang menunjuk server Azure SQL Database atau instans terkelola untuk memunculkan jendela, tempat Anda dapat menyalin titik akhir server dari kotak teks dan menggunakannya saat menyambungkan dari SQL Server Management Studio untuk menyebarkan, mengonfigurasi, menjalankan, dan mengelola paket Anda. Pada jendela pop-up, Anda juga dapat memilih tautan Lihat pengaturan Azure SQL Database atau instans terkelola untuk mengonfigurasi ulang/mengubah ukuran SSISDB Anda di portal Microsoft Azure.

Petak peta PROKSI / PENAHAPAN

Jika Anda mengunduh, menginstal, dan mengonfigurasi IR yang Dihost Sendiri (SHIR) sebagai proksi untuk Azure-SSIS IR Anda untuk mengakses data di lokal, Anda akan melihat petak peta PROKSI / PENAHAPAN di halaman pemantauan Azure-SSIS IR (lihat Mengonfigurasi SHIR sebagai proksi untuk Azure-SSIS IR). Di petak peta ini, Anda dapat memilih tautan yang menunjuk SHIR Anda untuk membuka halaman pemantauannya. Anda juga dapat memilih tautan lain yang menunjuk Azure Blob Storage guna penahapan untuk mengonfigurasi ulang layanan tertautnya.

Petak peta VALIDASI VNET / SUBNET

Jika menggabungkan Azure-SSIS IR dengan VNet, Anda akan melihat petak peta VALIDASI VNET / SUBNET di halaman pemantauan Azure-SSIS IR (lihat Menggabungkan Azure-SSIS IR Anda dengan VNet). Di petak peta ini, Anda dapat memilih tautan yang menunjuk VNet dan subnet untuk memunculkan jendela, tempat Anda dapat menyalin ID sumber daya VNet (/subscriptions/YourAzureSubscription/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet) dan nama subnet dari kotak teks, serta memvalidasi konfigurasi VNet dan subnet Anda untuk memastikan bahwa lalu lintas jaringan masuk/keluar yang diperlukan dan pengelolaan Azure-SSIS IR Anda tidak terhalang.

Petak peta DIAGNOSIS KONEKTIVITAS

Pada petak peta DIAGNOSIS KONEKTIVITAS di halaman pemantauan Azure-SSIS IR, Anda dapat memilih tautan Uji koneksi untuk memunculkan jendela, tempat Anda dapat memeriksa koneksi antara Azure-SSIS IR dan paket/konfigurasi/penyimpanan data yang relevan, serta layanan pengelolaan, melalui nama domain yang sepenuhnya memenuhi syarat (FQDN)/alamat IP dan port yang ditunjuk (lihat Menguji koneksi dari Azure-SSIS IR Anda).

Petak peta ALAMAT IP PUBLIK STATIK

Jika Anda membawa alamat IP publik statik Anda sendiri untuk Azure-SSIS IR, Anda akan melihat petak peta ALAMAT IP PUBLIK STATIK di halaman pemantauan Azure-SSIS IR (lihat Membawa alamat IP publik statik Anda sendiri untuk Azure-SSIS IR). Di petak peta ini, Anda dapat memilih tautan yang menunjuk alamat IP publik statik pertama/kedua Anda untuk Azure-SSIS IR untuk memunculkan jendela, tempat Anda dapat menyalin ID sumber daya (/subscriptions/YourAzureSubscription/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress) dari kotak teks. Di jendela pop-up, Anda juga dapat memilih tautan Lihat pengaturan alamat IP publik statik pertama/kedua untuk mengelola alamat IP publik statik pertama/kedua Anda di portal Microsoft Azure.

Petak peta PENYIMPANAN PAKET

Jika Anda menggunakan Model Penyebaran Paket tempat paket disimpan dalam sistem file/Azure Files/SQL Server Database (MSDB) yang dihost oleh Azure SQL Managed Instance dan dikelola melalui penyimpanan paket Azure-SSIS IR, Anda akan melihat petak peta PENYIMPANAN PAKET di halaman pemantauan Azure-SSIS IR Anda (lihat Mengonfigurasi pengaturan penyebaran Azure-SSIS IR). Pada ubin ini, Anda dapat memilih tautan yang menunjuk jumlah penyimpanan paket yang dipasang ke Azure-SSIS IR Anda untuk memunculkan jendela, tempat Anda dapat mengonfigurasi ulang layanan tertaut yang relevan untuk penyimpanan paket Azure-SSIS IR selain sistem file /Azure Files/MSDB yang dihost oleh Azure SQL Managed Instance.

Petak peta KESALAHAN

Jika ada masalah dengan mulai/menghentikan/pemeliharaan/meningkatkan Azure-SSIS IR, Anda akan melihat petak peta KESALAHAN tambahan di halaman pemantauan Azure-SSIS IR. Di petak peta ini, Anda dapat memilih tautan yang menunjuk jumlah kesalahan yang dihasilkan oleh Azure-SSIS IR untuk memunculkan jendela, tempat Anda dapat melihat kesalahan tersebut secara lebih rinci dan menyalinnya untuk menemukan solusi yang direkomendasikan dalam panduan pemecahan masalah kami (lihat Memecahkan masalah Azure-SSIS IR).

Memantau runtime integrasi Azure-SSIS dengan Azure Monitor

Untuk memantau Azure-SSIS IR dengan Azure Monitor, lihat Memantau operasi SSIS dengan Azure Monitor.

Info selengkapnya tentang runtime integrasi Azure-SSIS

Lihat artikel berikut untuk mempelajari runtime integrasi Azure-SSIS lebih lanjut:

• Runtime integrasi Azure-SSIS. Artikel ini berisi informasi konseptual tentang runtime integrasi secara umum, termasuk Azure-SSIS IR.
• Tutorial: menyebarkan paket SSIS ke Azure. Artikel ini berisi petunjuk langkah demi langkah untuk membuat Azure-SSIS IR dan menggunakan Azure SQL Database untuk menghosting katalog SSIS (SSISDB).
• Cara: Membuat Runtime integrasi Azure-SSIS. Artikel ini memperluas tutorial dan memberikan petunjuk tentang menggunakan Azure SQL Managed Instance untuk menghosting SSISDB.
• Mengelola runtime integrasi Azure-SSIS. Artikel ini menunjukkan cara memulai, menghentikan, atau menghapus IR Azure-SSIS Anda. Artikel ini juga menunjukkan cara meluaskan skala dengan menambahkan lebih banyak simpul.
• Menggabungkan Azure SSIS IR ke jaringan virtual. Artikel ini berisi petunjuk tentang menggabungkan Azure-SSIS IR Anda ke jaringan virtual.

Konten terkait

Lihat artikel berikut untuk memantau alur dengan cara yang berbeda:

• Mulai cepat: membuat pabrik data.
• Menggunakan Azure Monitor untuk memantau alur Data Factory