Kopyalama etkinliğini izleme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bu makalede, Azure Data Factory ve Synapse işlem hatlarında kopyalama etkinliği yürütmesinin nasıl izleneceği açıklanmaktadır. Kopyalama etkinliğine genel bir genel bakış sunan kopyalama etkinliğine genel bakış makalesini oluşturur. Aynı yaklaşımı kullanarak Veri Kopyalama Aracı ile oluşturulan kopyalama etkinliklerini ve Silme etkinliklerini de izleyebilirsiniz.

Görsel olarak izleme

İşlem hattını oluşturup yayımladıktan sonra bir tetikleyiciyle ilişkilendirebilir veya geçici çalıştırmayı el ile başlatabilirsiniz. İşlem hattı çalıştırmalarınızın tümünü kullanıcı deneyiminde yerel olarak izleyebilirsiniz. Azure Data Factory ve Synapse işlem hatlarını görsel olarak izleme bölümünden genel olarak izleme hakkında bilgi edinin.

Kopyalama etkinliği çalıştırmasını izlemek için hizmet örneğinizin Data Factory Studio veya Azure Synapse Studio kullanıcı arabirimine gidin. İzleyici sekmesinde işlem hattı çalıştırmalarının listesini görürsünüz, işlem hattı çalıştırmalarındaki etkinlik çalıştırmaları listesine erişmek için işlem hattı adı bağlantısına tıklayın.

Bu düzeyde, kopyalama etkinliği girişi, çıkışı ve hataları (Kopyalama etkinliği çalıştırması başarısız olursa) bağlantılarının yanı sıra süre/durum gibi istatistikleri görebilirsiniz. Kopyalama etkinliği adının yanındaki Ayrıntılar düğmesine (gözlükler) tıklanması, kopyalama etkinliği yürütmeniz hakkında ayrıntılı bilgi sağlar.

Bu grafik izleme görünümünde, hizmet size veri okuma/yazma birimi, kaynaktan havuza kopyalanan veri dosyalarının/satırlarının sayısı, aktarım hızı, kopyalama senaryonuz için uygulanan yapılandırmalar, kopyalama etkinliğinin ilgili süreler ve ayrıntılarla ilerlendiği adımlar ve daha fazlası dahil olmak üzere kopyalama etkinliği yürütme bilgilerini sunar. Her olası ölçüm ve ayrıntılı açıklaması hakkında bu tabloya bakın.

Bazı senaryolarda, bir Kopyalama etkinliği çalıştırdığınızda, örnekte gösterildiği gibi kopyalama etkinliği izleme görünümünün üst kısmında "Performans ayarlama ipuçları" görürsünüz. İpuçları, hizmet tarafından belirli bir kopyalama çalıştırması için tanımlanan performans sorununun yanı sıra kopyalama aktarım hızını artırmak için nelerin değiştireceğinin önerisini gösterir. Otomatik performans ayarlama ipuçları hakkında daha fazla bilgi edinin.

En alttaki yürütme ayrıntıları ve süreleri , kopyalama etkinliğinizin ilerlediği temel adımları açıklar ve bu, özellikle kopyalama performansı sorunlarını gidermek için kullanışlıdır. Kopyalama çalıştırmanızın performans sorunu, en uzun süreye sahip olandır. Her aşamanın neyi temsil ettiği ve ayrıntılı sorun giderme kılavuzu için kopyalama etkinliği performansı sorunlarını giderme bölümüne bakın.

Örnek: Amazon S3'ten Azure Data Lake Storage 2. Nesil kopyalama

Program aracılığıyla izleme

Kopyalama etkinliği yürütme ayrıntıları ve performans özellikleri Kullanıcı arabirimi izleme görünümünü işlemek için kullanılan Kopyalama Etkinliği çalıştırma sonucu>Çıktı bölümü. Aşağıda, döndürülebilecek özelliklerin tam listesi yer alır. Yalnızca kopyalama senaryonuz için geçerli olan özellikleri görürsünüz. Etkinlik çalıştırmalarını genel olarak program aracılığıyla izleme hakkında bilgi için bkz . Azure Data Factory veya Synapse işlem hattını program aracılığıyla izleme.

Örnek:

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

İlgili içerik

Diğer Kopyalama Etkinliği makalelerine bakın:

- Kopyalama etkinliği genel bakış

- Kopyalama etkinliği performansı