Memantau aktivitas salin

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Artikel ini menguraikan cara memantau eksekusi aktivitas salin di Azure Data Factory dan alur Synapse. Artikel tersebut dibuat berdasarkan artikel gambaran umum aktivitas salin yang menyajikan gambaran umum aktivitas salin. Anda juga dapat memantau aktivitas penyalinan yang dibuat dengan Alat Salin Data serta Hapus aktivitas menggunakan pendekatan yang sama.

Memantau secara visual

Setelah membuat dan menerbitkan alur, Anda dapat mengaitkannya dengan pemicu atau memulai eksekusi ad hoc secara manual. Anda dapat memantau semua alur Anda berjalan secara asli di pengalaman pengguna. Pelajari tentang pemantauan secara umum dari Memantau secara visual Azure Data Factory dan alur Synapse.

Untuk memantau eksekusi aktivitas Salin, buka antarmuka pengguna Studio Data Factory atau Studio Azure Synapse untuk instans layanan Anda. Pada tab Pantau, Anda melihat daftar eksekusi alur, klik tautan nama alur untuk mengakses daftar eksekusi aktivitas dalam eksekusi alur.

Pada tingkat ini, Anda dapat melihat tautan untuk menyalin input, output, dan kesalahan aktivitas (jika eksekusi aktivitas salin gagal), serta statistik seperti durasi/status. Mengklik tombol Detail (kacamata) di samping nama aktivitas salin akan memberi Anda lebih banyak detail tentang eksekusi aktivitas salin Anda.

Dalam tampilan pemantauan grafis ini, layanan menyajikan kepada Anda informasi eksekusi aktivitas salin, termasuk volume baca/tulis data, jumlah file/baris data yang disalin dari sumber ke sink, throughput, konfigurasi yang diterapkan untuk skenario penyalinan Anda, langkah-langkah aktivitas salin yang berjalan dengan durasi dan detail yang sesuai, dan banyak lagi. Lihat tabel ini pada setiap metrik yang memungkinkan dan deskripsi terperincinya.

Dalam beberapa skenario, saat Anda menjalankan aktivitas Salin, Anda akan melihat "Tips penyetelan performa" di bagian atas tampilan pemantauan aktivitas salin seperti yang ditunjukkan pada contoh. Tips memberi tahu Anda penyempitan yang diidentifikasi oleh layanan untuk menjalankan penyalinan tertentu, bersama dengan saran tentang apa yang harus diubah untuk meningkatkan throughput penyalinan. Pelajari selengkapnya tentang tips penyetelan performa otomatis.

Detail dan durasi eksekusi bawah menjelaskan langkah-langkah kunci yang dilalui aktivitas salin Anda, yang sangat berguna untuk memecahkan masalah performa salinan. Penyempitan dari eksekusi penyalinan adalah yang memiliki durasi terpanjang. Lihat Memecahkan masalah performa aktivitas salin pada yang diwakili oleh setiap tahap dan panduan pemecahan masalah terperinci.

Contoh: Menyalin dari Amazon S3 ke Azure Data Lake Storage Gen2

Memantau secara terprogram

Detail eksekusi aktivitas salin dan karakteristik performa juga dikembalikan di bagian hasil Aktivitas Salin>Output, yang digunakan untuk merender tampilan pemantauan antarmuka pengguna. Berikut ini adalah daftar lengkap properti yang mungkin dikembalikan. Anda hanya akan melihat properti yang berlaku untuk skenario salinan Anda. Untuk informasi tentang cara memantau aktivitas yang berjalan secara terprogram secara umum, lihat Memantau secara terprogram Azure Data Factory atau alur Synapse.

Contoh:

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

Konten terkait

Lihat artikel Aktivitas Penyalinan lainnya:

- Ringkasan aktivitas salin

- Performa aktivitas salin