Toleransi kesalahan aktivitas penyalinan di alur Azure Data Factory dan Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Saat Anda menyalin data dari penyimpanan sumber ke penyimpanan tujuan, aktivitas penyalinan menyediakan tingkat toleransi kesalahan tertentu untuk mencegah gangguan dari kegagalan di tengah perpindahan data. Misalnya, Anda menyalin jutaan baris dari sumber ke penyimpanan tujuan, di mana kunci primer telah dibuat di database tujuan, tetapi database sumber tidak memiliki kunci primer yang ditentukan. Ketika Anda menyalin baris duplikat dari sumber ke tujuan, Anda akan mengalami kegagalan pelanggaran PK pada database tujuan. Saat ini, aktivitas salin menawarkan dua cara untuk menangani kesalahan tersebut:

• Anda dapat membatalkan aktivitas salin setelah terjadi kegagalan.
• Anda dapat terus menyalin sisanya dengan mengaktifkan toleransi kegagalan untuk melompati data yang tidak kompatibel. Misalnya, melompati baris yang diduplikasi dalam kasus ini. Selain itu, Anda dapat mencatat data yang dilompati dengan mengaktifkan log sesi dalam aktivitas salin. Anda dapat merujuk ke log sesi dalam aktivitas penyalinan untuk detail selengkapnya.

Menyalin file biner

Layanan ini mendukung skenario toleransi kesalahan berikut saat menyalin file biner. Anda dapat memilih untuk membatalkan aktivitas salin atau terus menyalin sisanya dalam skenario berikut:

1. File yang akan disalin oleh layanan sedang dihapus oleh aplikasi lain secara bersamaan.
2. Beberapa folder atau file tertentu tidak mengizinkan akses layanan karena ACL dari file atau folder tersebut memerlukan tingkat izin yang lebih tinggi daripada informasi koneksi yang dikonfigurasi.
3. Satu atau beberapa file tidak diverifikasi agar konsisten antara penyimpanan sumber dan tujuan jika Anda mengaktifkan pengaturan verifikasi konsistensi data.

Mengaktifkan toleransi kesalahan dengan UI

Untuk mengonfigurasi toleransi kesalahan dalam aktivitas Salin dalam alur dengan UI, selesaikan langkah-langkah berikut:

1. Jika Anda belum membuat aktivitas Salin untuk alur Anda, telusuri Salin di panel Aktivitas alur, dan seret aktivitas Salin Data ke kanvas alur.

2. Pilih aktivitas Salin Data baru di kanvas jika belum dipilih, dan tab Pengaturan-nya, untuk mengonfigurasi toleransi kegagalan.

   

Konfigurasi

Saat Menyalin file biner antar penyimpanan, Anda dapat mengaktifkan toleransi kegagalan sebagai berikut:

{
  "name": "CopyActivityFaultTolerance",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureDataLakeStoreWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileMissing": true,
      "fileForbidden": true,
      "dataInconsistency": true,
      "invalidFileName": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

Pemantauan

Output dari aktivitas salin

Anda bisa mendapatkan jumlah file yang sedang dibaca, ditulis, dan dilompati melalui output setiap aktivitas salin yang dijalankan.

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

Log sesi dari aktivitas salin

Jika Anda mengonfigurasi untuk mencatat nama file yang dilompati, Anda dapat menemukan file log dari jalur ini: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].csv.

File log harus merupakan file csv. Skema file log adalah sebagai berikut:

Contoh file log adalah sebagai berikut:

Timestamp,Level,OperationName,OperationItem,Message 
2020-03-24 05:35:41.0209942,Warning,FileSkip,"bigfile.csv","File is skipped after read 322961408 bytes: ErrorCode=UserErrorSourceBlobNotExist,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=The required Blob is missing. ContainerName: https://transferserviceonebox.blob.core.windows.net/skipfaultyfile, path: bigfile.csv.,Source=Microsoft.DataTransfer.ClientLibrary,'." 
2020-03-24 05:38:41.2595989,Warning,FileSkip,"3_nopermission.txt","File is skipped after read 0 bytes: ErrorCode=AdlsGen2OperationFailed,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=ADLS Gen2 operation failed for: Operation returned an invalid status code 'Forbidden'. Account: 'adlsgen2perfsource'. FileSystem: 'skipfaultyfilesforbidden'. Path: '3_nopermission.txt'. ErrorCode: 'AuthorizationPermissionMismatch'. Message: 'This request is not authorized to perform this operation using this permission.'. RequestId: '35089f5d-101f-008c-489e-01cce4000000'..,Source=Microsoft.DataTransfer.ClientLibrary,''Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Operation returned an invalid status code 'Forbidden',Source=,''Type=Microsoft.Azure.Storage.Data.Models.ErrorSchemaException,Message='Type=Microsoft.Azure.Storage.Data.Models.ErrorSchemaException,Message=Operation returned an invalid status code 'Forbidden',Source=Microsoft.DataTransfer.ClientLibrary,',Source=Microsoft.DataTransfer.ClientLibrary,'." 

Dari log di atas, Anda dapat melihat bigfile.csv telah dilewati karena aplikasi lain menghapus file ini saat layanan menyalinnya. Dan 3_nopermission.txt telah dilewati karena layanan tidak diizinkan untuk mengaksesnya karena masalah izin.

Menyalin data tabular

Skenario yang didukung

Aktivitas Salin mendukung tiga skenario untuk mendeteksi, melompati, dan mencatat data yang tidak kompatibel:

• Inkompatibilitas antara tipe data sumber dan jenis asli sink.

  Misalnya: Menyalin data dari file CSV di penyimpanan Blob ke database SQL dengan definisi skema yang berisi tiga kolom jenis INT. Baris file CSV yang berisi data numerik, seperti 123,456,789 berhasil disalin ke penyimpanan sink. Namun, baris yang berisi nilai non-numerik, seperti 123,456, abc terdeteksi tidak kompatibel dan dilompati.

• Ketidakcocokan dalam jumlah kolom antara sumber dan sink.

  Misalnya: Salin data dari file CSV di penyimpanan Blob ke database SQL dengan definisi skema yang berisi enam kolom. Baris file CSV yang berisi enam kolom berhasil disalin ke penyimpanan sink. Baris file CSV yang berisi lebih dari enam kolom terdeteksi sebagai tidak kompatibel dan dilompati.

• Pelanggaran kunci primer saat menulis ke SQL Server/Azure SQL Database/Azure Cosmos DB.

  Misalnya: Menyalin data dari server SQL ke database SQL. Kunci primer ditentukan dalam database SQL sink, tetapi tidak ada kunci primer seperti itu yang ditentukan di server SQL sumber. Baris duplikat yang ada di sumber tidak dapat disalin ke sink. Aktivitas salin hanya menyalin baris pertama data sumber ke sink. Baris sumber berikutnya yang berisi nilai kunci primer duplikat terdeteksi sebagai tidak kompatibel dan dilompati.

Konfigurasi

Contoh berikut memberikan definisi JSON untuk mengonfigurasi melewati baris yang tidak kompatibel di aktivitas salin:

"typeProperties": { 
    "source": { 
        "type": "AzureSqlSource" 
    }, 
    "sink": { 
        "type": "AzureSqlSink" 
    }, 
    "enableSkipIncompatibleRow": true, 
    "logSettings": {
        "enableCopyActivityLog": true,
        "copyActivityLogSettings": {            
            "logLevel": "Warning",
            "enableReliableLogging": false
        },
        "logLocationSettings": {
            "linkedServiceName": {
               "referenceName": "ADLSGen2",
               "type": "LinkedServiceReference"
            },
            "path": "sessionlog/"
        }
    } 
}, 

Memantau baris dilompati

Setelah aktivitas salin selesai, Anda dapat melihat jumlah baris yang dilompati di output aktivitas salin:

"output": {
            "dataRead": 95,
            "dataWritten": 186,
            "rowsCopied": 9,
            "rowsSkipped": 2,
            "copyDuration": 16,
            "throughput": 0.01,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "errors": []
        },

Jika Anda mengonfigurasi untuk mencatat baris yang tidak kompatibel, Anda dapat menemukan file log dari jalur ini: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].csv.

File log akan menjadi file csv. Skema file log adalah sebagai berikut:

Contoh konten file log adalah sebagai berikut:

Timestamp, Level, OperationName, OperationItem, Message
2020-02-26 06:22:32.2586581, Warning, TabularRowSkip, """data1"", ""data2"", ""data3""," "Column 'Prop_2' contains an invalid value 'data3'. Cannot convert 'data3' to type 'DateTime'." 
2020-02-26 06:22:33.2586351, Warning, TabularRowSkip, """data4"", ""data5"", ""data6"",", "Violation of PRIMARY KEY constraint 'PK_tblintstrdatetimewithpk'. Cannot insert duplicate key in object 'dbo.tblintstrdatetimewithpk'. The duplicate key value is (data4)." 

Dari sampel file log di atas, Anda dapat melihat satu baris "data1, data2, data3" telah dilompati karena masalah konversi jenis dari penyimpanan sumber ke tujuan. Baris lain "data4, data5, data6" telah dilompati karena masalah pelanggaran PK dari penyimpanan sumber ke tujuan.

Menyalin data tabular (warisan):

Pendekatan berikut ini adalah cara lama untuk mengaktifkan toleransi kegagalan untuk menyalin data tabular saja. Jika Anda membuat alur atau aktivitas baru, Anda dianjurkan untuk memulai dari sini sebagai gantinya.

Konfigurasi

Contoh berikut memberikan definisi JSON untuk mengonfigurasi melewati baris yang tidak kompatibel di aktivitas salin:

"typeProperties": {
    "source": {
        "type": "BlobSource"
    },
    "sink": {
        "type": "SqlSink",
    },
    "enableSkipIncompatibleRow": true,
    "redirectIncompatibleRowSettings": {
         "linkedServiceName": {
              "referenceName": "<Azure Storage or Data Lake Store linked service>",
              "type": "LinkedServiceReference"
            },
            "path": "redirectcontainer/erroroutput"
     }
}

Memantau baris dilompati

Setelah aktivitas salin selesai, Anda dapat melihat jumlah baris yang dilompati di output aktivitas salin:

"output": {
            "dataRead": 95,
            "dataWritten": 186,
            "rowsCopied": 9,
            "rowsSkipped": 2,
            "copyDuration": 16,
            "throughput": 0.01,
            "redirectRowPath": "https://myblobstorage.blob.core.windows.net//myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "errors": []
        },

Jika Anda mengonfigurasi untuk mencatat baris yang tidak kompatibel, Anda dapat menemukan file log di jalur ini: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/[copy-activity-run-id]/[auto-generated-GUID].csv.

File log hanya dapat berupa file csv. Data asli yang dilompati akan dicatat dengan koma sebagai pembatas kolom jika diperlukan. Kami menambahkan dua kolom lagi "ErrorCode" dan "ErrorMessage" selain data sumber asli dalam file log, di mana Anda dapat melihat akar penyebab inkompatibilitas. ErrorCode dan ErrorMessage akan dikutip oleh tanda kutip ganda.

Contoh konten file log adalah sebagai berikut:

data1, data2, data3, "UserErrorInvalidDataValue", "Column 'Prop_2' contains an invalid value 'data3'. Cannot convert 'data3' to type 'DateTime'."
data4, data5, data6, "2627", "Violation of PRIMARY KEY constraint 'PK_tblintstrdatetimewithpk'. Cannot insert duplicate key in object 'dbo.tblintstrdatetimewithpk'. The duplicate key value is (data4)."

Konten terkait

Lihat artikel aktivitas salin lainnya:

• Ringkasan aktivitas salin
• Performa aktivitas salin