A másolási tevékenység hibatűrése az Azure Data Factoryben és a Synapse Analytics-folyamatokban

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Amikor adatokat másol a forrásból a céltárolóba, a másolási tevékenység bizonyos szintű hibatűréseket biztosít az adatáthelyezés közben fellépő hibák megszakításának megakadályozása érdekében. Például több millió sort másol a forrásból a céltárolóba, ahol egy elsődleges kulcs lett létrehozva a céladatbázisban, de a forrásadatbázisban nincs meghatározva elsődleges kulcs. Amikor ismétlődő sorokat másol a forrásból a célhelyre, a céladatbázis PK-szabálysértési hibáját fogja észlelni. Jelenleg a másolási tevékenység kétféle módon kezeli az ilyen hibákat:

• Ha hiba történt, megszakíthatja a másolási tevékenységet.
• A többit továbbra is másolhatja úgy, hogy engedélyezi a hibatűrést a nem kompatibilis adatok kihagyásához. Ebben az esetben például hagyja ki a duplikált sort. Emellett a kihagyott adatokat naplózhatja úgy is, hogy engedélyezi a munkamenetnaplót a másolási tevékenységen belül. További részletekért tekintse meg a munkamenet-napló másolási tevékenységeit .

Bináris fájlok másolása

A szolgáltatás a bináris fájlok másolása során az alábbi hibatűrési forgatókönyveket támogatja. Dönthet úgy, hogy megszakítja a másolási tevékenységet, vagy folytatja a másolást a következő forgatókönyvekben:

1. A szolgáltatás által másolandó fájlokat más alkalmazások egyszerre törlik.
2. Egyes mappák vagy fájlok nem teszik lehetővé a szolgáltatás elérését, mert ezen fájlok vagy mappák ACL-jai magasabb engedélyszintet igényelnek, mint a konfigurált kapcsolati adatok.
3. Egy vagy több fájl nem lesz konzisztens a forrás- és céltároló között, ha engedélyezi az adatkonzisztencia-ellenőrzési beállítást.

Hibatűrés engedélyezése felhasználói felületen

Ha felhasználói felülettel rendelkező folyamat Copy tevékenység hibatűrését szeretné konfigurálni, hajtsa végre a következő lépéseket:

1. Ha még nem hozott létre Copy tevékenység a folyamathoz, keressen rá a Másolás gombra a folyamat tevékenységei panelen, és húzza az adatmásolási tevékenységet a folyamatvászonra.

2. A hibatűrés konfigurálásához válassza ki az új adatmásolási tevékenységet a vásznon, ha még nincs kijelölve, és a Beállítások fület.

   

Konfiguráció

Bináris fájlok tárolók közötti másolása esetén az alábbiak szerint engedélyezheti a hibatűrést:

{
  "name": "CopyActivityFaultTolerance",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureDataLakeStoreWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileMissing": true,
      "fileForbidden": true,
      "dataInconsistency": true,
      "invalidFileName": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

Figyelés

Másolási tevékenység kimenete

Az egyes másolási tevékenységfuttatások kimenetén keresztül lekérheti az olvasandó, írott és kihagyott fájlok számát.

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

Munkamenetnapló másolási tevékenységből

Ha úgy van konfigurálva, hogy naplózza a kihagyott fájlneveket, a naplófájl az alábbi elérési úton található: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].csv.

A naplófájloknak csv-fájloknak kell lenniük. A naplófájl sémája a következő:

Egy naplófájl például a következő:

Timestamp,Level,OperationName,OperationItem,Message 
2020-03-24 05:35:41.0209942,Warning,FileSkip,"bigfile.csv","File is skipped after read 322961408 bytes: ErrorCode=UserErrorSourceBlobNotExist,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=The required Blob is missing. ContainerName: https://transferserviceonebox.blob.core.windows.net/skipfaultyfile, path: bigfile.csv.,Source=Microsoft.DataTransfer.ClientLibrary,'." 
2020-03-24 05:38:41.2595989,Warning,FileSkip,"3_nopermission.txt","File is skipped after read 0 bytes: ErrorCode=AdlsGen2OperationFailed,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=ADLS Gen2 operation failed for: Operation returned an invalid status code 'Forbidden'. Account: 'adlsgen2perfsource'. FileSystem: 'skipfaultyfilesforbidden'. Path: '3_nopermission.txt'. ErrorCode: 'AuthorizationPermissionMismatch'. Message: 'This request is not authorized to perform this operation using this permission.'. RequestId: '35089f5d-101f-008c-489e-01cce4000000'..,Source=Microsoft.DataTransfer.ClientLibrary,''Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Operation returned an invalid status code 'Forbidden',Source=,''Type=Microsoft.Azure.Storage.Data.Models.ErrorSchemaException,Message='Type=Microsoft.Azure.Storage.Data.Models.ErrorSchemaException,Message=Operation returned an invalid status code 'Forbidden',Source=Microsoft.DataTransfer.ClientLibrary,',Source=Microsoft.DataTransfer.ClientLibrary,'." 

A fenti naplóból láthatja, bigfile.csv kihagyták, mert egy másik alkalmazás törölte ezt a fájlt a szolgáltatás másolásakor. A 3_nopermission.txt pedig ki lett hagyva, mert a szolgáltatás engedélyproblémák miatt nem férhet hozzá.

Táblázatos adatok másolása

Támogatott esetek

Copy tevékenység három forgatókönyvet támogat a nem kompatibilis táblázatos adatok észlelésére, kihagyására és naplózására:

• Inkompatibilitás a forrásadattípus és a fogadó natív típusa között.

  Például: Adatok másolása a Blob Storage egyik CSV-fájljából egy olyan SQL-adatbázisba, amely három INT típusú oszlopot tartalmazó sémadefinícióval rendelkezik. A numerikus adatokat ( például 123 456 789) tartalmazó CSV-fájlsorokat a rendszer sikeresen átmásolja a fogadótárba. A nem numerikus értékeket (például 123 456, abc) tartalmazó sorok azonban nem kompatibilisek, és kihagyhatók.

• Eltérés a forrás és a fogadó közötti oszlopok számában.

  Például: Adatok másolása a Blob Storage-ban lévő CSV-fájlból egy hat oszlopot tartalmazó sémadefinícióval rendelkező SQL-adatbázisba. A hat oszlopot tartalmazó CSV-fájlsorokat a rendszer sikeresen átmásolja a fogadótárba. A hatnál több oszlopot tartalmazó CSV-fájlsorok nem kompatibilisek, és a rendszer kihagyja.

• Elsődleges kulcs megsértése az SQL Serverbe/Azure SQL Database-be/Azure Cosmos DB-be való íráskor.

  Például: Adatok másolása SQL-kiszolgálóról SQL-adatbázisba. Az elsődleges kulcs a fogadó SQL-adatbázisban van definiálva, de a forrás SQL-kiszolgálón nincs ilyen elsődleges kulcs definiálva. A forrásban található duplikált sorok nem másolhatók át a fogadóba. Copy tevékenység csak a forrásadatok első sorát másolja a fogadóba. A rendszer a duplikált elsődleges kulcs értékét tartalmazó forrássorokat nem kompatibilisként észleli, és kihagyja.

Konfiguráció

Az alábbi példa egy JSON-definíciót biztosít a másolási tevékenység inkompatibilis sorainak kihagyásának konfigurálásához:

"typeProperties": { 
    "source": { 
        "type": "AzureSqlSource" 
    }, 
    "sink": { 
        "type": "AzureSqlSink" 
    }, 
    "enableSkipIncompatibleRow": true, 
    "logSettings": {
        "enableCopyActivityLog": true,
        "copyActivityLogSettings": {            
            "logLevel": "Warning",
            "enableReliableLogging": false
        },
        "logLocationSettings": {
            "linkedServiceName": {
               "referenceName": "ADLSGen2",
               "type": "LinkedServiceReference"
            },
            "path": "sessionlog/"
        }
    } 
}, 

Kihagyott sorok figyelése

A másolási tevékenység futtatása után a másolási tevékenység kimenetében láthatja a kihagyott sorok számát:

"output": {
            "dataRead": 95,
            "dataWritten": 186,
            "rowsCopied": 9,
            "rowsSkipped": 2,
            "copyDuration": 16,
            "throughput": 0.01,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "errors": []
        },

Ha konfigurálja a nem kompatibilis sorok naplózását, a naplófájl az alábbi elérési útból található: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].csv.

A naplófájlok a csv-fájlok lesznek. A naplófájl sémája a következő:

A naplófájl tartalmának egy példája a következő:

Timestamp, Level, OperationName, OperationItem, Message
2020-02-26 06:22:32.2586581, Warning, TabularRowSkip, """data1"", ""data2"", ""data3""," "Column 'Prop_2' contains an invalid value 'data3'. Cannot convert 'data3' to type 'DateTime'." 
2020-02-26 06:22:33.2586351, Warning, TabularRowSkip, """data4"", ""data5"", ""data6"",", "Violation of PRIMARY KEY constraint 'PK_tblintstrdatetimewithpk'. Cannot insert duplicate key in object 'dbo.tblintstrdatetimewithpk'. The duplicate key value is (data4)." 

A fenti minta naplófájlból egy sor "data1, data2, data3" lett kihagyva a típuskonvertálási probléma miatt a forrásból a céltárolóba. Egy másik "data4, data5, data6" sor kimaradt a forrásból a céltárolóba történő PK-szabálysértési probléma miatt.

Táblázatos adatok másolása (örökölt):

Az alábbi módszer a csak táblázatos adatok másolásának hibatűrését lehetővé tevő régi módszer. Ha új folyamatot vagy tevékenységet hoz létre, érdemes innen kezdenie.

Konfiguráció

Az alábbi példa egy JSON-definíciót biztosít a másolási tevékenység inkompatibilis sorainak kihagyásának konfigurálásához:

"typeProperties": {
    "source": {
        "type": "BlobSource"
    },
    "sink": {
        "type": "SqlSink",
    },
    "enableSkipIncompatibleRow": true,
    "redirectIncompatibleRowSettings": {
         "linkedServiceName": {
              "referenceName": "<Azure Storage or Data Lake Store linked service>",
              "type": "LinkedServiceReference"
            },
            "path": "redirectcontainer/erroroutput"
     }
}

Kihagyott sorok figyelése

A másolási tevékenység futtatása után a másolási tevékenység kimenetében láthatja a kihagyott sorok számát:

"output": {
            "dataRead": 95,
            "dataWritten": 186,
            "rowsCopied": 9,
            "rowsSkipped": 2,
            "copyDuration": 16,
            "throughput": 0.01,
            "redirectRowPath": "https://myblobstorage.blob.core.windows.net//myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "errors": []
        },

Ha konfigurálja a nem kompatibilis sorok naplózását, a naplófájl az alábbi elérési úton található: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/[copy-activity-run-id]/[auto-generated-GUID].csv.

A naplófájlok csak a csv-fájlok lehetnek. A kihagyott eredeti adatokat szükség esetén a rendszer vesszővel naplózza oszlopelválasztóként. A naplófájl eredeti forrásadatai mellett további két "ErrorCode" és "ErrorMessage" oszlopot is hozzáadunk, ahol láthatja a kompatibilitás alapvető okát. Az ErrorCode és az ErrorMessage idézőjeleket fog idézni.

A naplófájl tartalmának egy példája a következő:

data1, data2, data3, "UserErrorInvalidDataValue", "Column 'Prop_2' contains an invalid value 'data3'. Cannot convert 'data3' to type 'DateTime'."
data4, data5, data6, "2627", "Violation of PRIMARY KEY constraint 'PK_tblintstrdatetimewithpk'. Cannot insert duplicate key in object 'dbo.tblintstrdatetimewithpk'. The duplicate key value is (data4)."

Kapcsolódó tartalom

Lásd a többi másolási tevékenységről szóló cikket:

• Copy tevékenység áttekintése
• Copy tevékenység teljesítmény