Másolási tevékenység figyelése

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Ez a cikk azt ismerteti, hogyan figyelheti a másolási tevékenységek végrehajtását az Azure Data Factory és a Synapse-folyamatokban. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be. Ugyanezzel a módszerrel figyelheti az adatmásolási eszközzel létrehozott másolási tevékenységeket, valamint a törlési tevékenységeket is.

Vizuális megfigyelés

Miután létrehozott és közzétett egy folyamatot, hozzárendelheti egy eseményindítóhoz, vagy manuálisan elindíthat egy alkalmi futtatást. A felhasználói felületen natív módon figyelheti az összes folyamatfuttatást. Az Azure Data Factory és a Synapse-folyamatok vizualizációs monitorozásának általános megismerése.

A Copy tevékenység futtatásának figyeléséhez nyissa meg a Data Factory Studiót vagy az Azure Synapse Studio felhasználói felületét a szolgáltatáspéldányhoz. A Monitorozás lapon megjelenik a folyamatfuttatások listája, majd a folyamatnév hivatkozására kattintva elérheti a folyamatfuttatásban futó tevékenységfuttatások listáját.

Ezen a szinten a másolási tevékenység bemenetére, kimenetére és hibáira mutató hivatkozások láthatók (ha a Copy tevékenység futtatása meghiúsul), valamint olyan statisztikákat, mint az időtartam/állapot. A másolási tevékenység neve melletti Részletek gombra (szemüveg) kattintva részletes információkat kaphat a másolási tevékenység végrehajtásáról.

Ebben a grafikus monitorozási nézetben a szolgáltatás bemutatja a másolási tevékenység végrehajtási adatait, beleértve az olvasási/írott kötetet, a forrásból a fogadóba másolt fájlok/adatsorok számát, az átviteli sebességet, a másolási forgatókönyvre alkalmazott konfigurációkat, a másolási tevékenység megfelelő időtartamokkal és részletekkel végzett lépéseit és egyebeket. Tekintse meg ezt a táblázatot az egyes lehetséges metrikákról és annak részletes leírásáról.

Bizonyos esetekben egy Copy tevékenység futtatásakor a másolási tevékenység figyelési nézetének tetején a "Teljesítményhangolási tippek" jelenik meg, ahogyan az a példában is látható. A tippekből megtudhatja, hogy a szolgáltatás milyen szűk keresztmetszetet észlelt az adott másolási futtatáshoz, valamint javaslatot ad arra vonatkozóan, hogy mi változzon a másolási átviteli sebesség növelése érdekében. További információ az automatikus teljesítményhangolási tippekről.

Az alsó végrehajtási adatok és időtartamok a másolási tevékenység főbb lépéseit ismertetik, ami különösen hasznos a másolási teljesítmény hibaelhárításához. A másolási futtatás szűk keresztmetszete a leghosszabb időtartamú. Tekintse meg a másolási tevékenység teljesítményével kapcsolatos hibaelhárítást az egyes szakaszokban, valamint a részletes hibaelhárítási útmutatót.

Példa: Másolás az Amazon S3-ból az Azure Data Lake Storage Gen2-be

Monitorozás programozott módon

Copy tevékenység végrehajtási adatokat és teljesítményjellemzőket is visszaadja a A másolási tevékenység futtatási eredményének>kimeneti szakasza, amely a felhasználói felület figyelési nézetének megjelenítésére szolgál. Az alábbiakban a visszaadható tulajdonságok teljes listája látható. Csak a másolási forgatókönyvre vonatkozó tulajdonságok jelennek meg. Az Azure Data Factory- vagy Synapse-folyamatok programozott módon történő monitorozásáról bővebben az Azure Data Factory vagy a Synapse-folyamatok programozott figyelése című témakörben olvashat.

Példa:

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

Kapcsolódó tartalom

Lásd a másolási tevékenységről szóló további cikkeket:

- Copy tevékenység áttekintése

- Copy tevékenység teljesítmény