Azure Data Factory ve Synapse Analytics işlem hatlarında kopyalama etkinliğinin hataya dayanıklılığı

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Verileri kaynaktan hedef depoya kopyaladığınızda kopyalama etkinliği, veri taşımanın ortasındaki hatalardan kaynaklanan kesintileri önlemek için belirli düzeyde hataya dayanıklılık sağlar. Örneğin, kaynaktan hedef depoya milyonlarca satır kopyalamış olursunuz; burada hedef veritabanında birincil anahtar oluşturulmuştur, ancak kaynak veritabanında tanımlı birincil anahtar yoktur. Yinelenen satırları kaynaktan hedefe kopyalamanız durumunda hedef veritabanında PK ihlali hatasıyla karşınıza çıkar. Şu anda kopyalama etkinliği size bu tür hataları işlemek için iki yol sunar:

• Herhangi bir hatayla karşılaşıldığında kopyalama etkinliğini durdurabilirsiniz.
• Uyumsuz verileri atlamak için hataya dayanıklılık özelliğini etkinleştirerek geri kalanını kopyalamaya devam edebilirsiniz. Örneğin, bu durumda yinelenen satırı atlayın. Ayrıca, kopyalama etkinliği içinde oturum günlüğünü etkinleştirerek atlanan verileri günlüğe kaydedebilirsiniz. Daha fazla ayrıntı için kopyalama etkinliğindeki oturum günlüğüne başvurabilirsiniz.

İkili dosyaları kopyalama

Hizmet, ikili dosyaları kopyalarken aşağıdaki hataya dayanıklılık senaryolarını destekler. Kopyalama etkinliğini durdurmayı veya gerisini kopyalamaya devam etmeyi aşağıdaki senaryolarda seçebilirsiniz:

1. Hizmet tarafından kopyalanacak dosyalar diğer uygulamalar tarafından aynı anda siliniyor.
2. Bu dosya veya klasörlerin ACL'leri yapılandırılan bağlantı bilgilerinden daha yüksek izin düzeyi gerektirdiğinden bazı belirli klasörler veya dosyalar hizmet erişimine izin vermez.
3. Veri tutarlılığı doğrulama ayarını etkinleştirirseniz bir veya daha fazla dosyanın kaynak ve hedef depo arasında tutarlı olduğu doğrulanmaz.

Kullanıcı arabirimiyle hataya dayanıklılığı etkinleştirme

Kullanıcı arabirimine sahip bir işlem hattındaki Kopyalama etkinliği hataya dayanıklılık yapılandırmak için aşağıdaki adımları tamamlayın:

1. İşlem hattınız için zaten bir Kopyalama etkinliği oluşturmadıysanız, işlem hattı Etkinlikleri bölmesinde Kopyala'yı arayın ve veri kopyalama etkinliğini işlem hattı tuvaline sürükleyin.

2. Hataya dayanıklılığı yapılandırmak için tuvalde henüz seçili değilse yeni Veri Kopyalama etkinliğini ve Ayarlar sekmesini seçin.

   

Yapılandırma

İkili dosyaları depolama depoları arasında kopyalarken hataya dayanıklılık özelliğini aşağıdaki gibi etkinleştirebilirsiniz:

{
  "name": "CopyActivityFaultTolerance",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureDataLakeStoreWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileMissing": true,
      "fileForbidden": true,
      "dataInconsistency": true,
      "invalidFileName": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

İzleme

Kopyalama etkinliğinden çıktı

Okunan, yazılan ve atlanan dosya sayısını, her kopyalama etkinliği çalıştırmasının çıktısı aracılığıyla alabilirsiniz.

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

Kopyalama etkinliğinden oturum günlüğü

Atlanan dosya adlarını günlüğe kaydedecek şekilde yapılandırdıysanız, günlük dosyasını şu yoldan bulabilirsiniz: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].csv.

Günlük dosyalarının csv dosyaları olması gerekir. Günlük dosyasının şeması aşağıdaki gibidir:

Günlük dosyası örneği aşağıdaki gibidir:

Timestamp,Level,OperationName,OperationItem,Message 
2020-03-24 05:35:41.0209942,Warning,FileSkip,"bigfile.csv","File is skipped after read 322961408 bytes: ErrorCode=UserErrorSourceBlobNotExist,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=The required Blob is missing. ContainerName: https://transferserviceonebox.blob.core.windows.net/skipfaultyfile, path: bigfile.csv.,Source=Microsoft.DataTransfer.ClientLibrary,'." 
2020-03-24 05:38:41.2595989,Warning,FileSkip,"3_nopermission.txt","File is skipped after read 0 bytes: ErrorCode=AdlsGen2OperationFailed,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=ADLS Gen2 operation failed for: Operation returned an invalid status code 'Forbidden'. Account: 'adlsgen2perfsource'. FileSystem: 'skipfaultyfilesforbidden'. Path: '3_nopermission.txt'. ErrorCode: 'AuthorizationPermissionMismatch'. Message: 'This request is not authorized to perform this operation using this permission.'. RequestId: '35089f5d-101f-008c-489e-01cce4000000'..,Source=Microsoft.DataTransfer.ClientLibrary,''Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Operation returned an invalid status code 'Forbidden',Source=,''Type=Microsoft.Azure.Storage.Data.Models.ErrorSchemaException,Message='Type=Microsoft.Azure.Storage.Data.Models.ErrorSchemaException,Message=Operation returned an invalid status code 'Forbidden',Source=Microsoft.DataTransfer.ClientLibrary,',Source=Microsoft.DataTransfer.ClientLibrary,'." 

Yukarıdaki günlükten, hizmet dosyayı kopyalarken başka bir uygulamanın bu dosyayı silmesi nedeniyle bigfile.csv atlandığını görebilirsiniz. Ayrıca 3_nopermission.txt, izin sorunu nedeniyle hizmete erişmesine izin verilmediğinden atlandı.

Tablosal verileri kopyalama

Desteklenen senaryolar

Kopyalama etkinliği uyumsuz tablo verilerini algılamak, atlamak ve günlüğe kaydetmek için üç senaryo destekler:

• Kaynak veri türü ile havuz yerel türü arasındaki uyumsuzluk.

  Örneğin: Blob depolamadaki bir CSV dosyasından, üç INT türü sütunu içeren şema tanımına sahip bir SQL veritabanına veri kopyalayın. 123.456.789 gibi sayısal veriler içeren CSV dosya satırları havuz deposuna başarıyla kopyalanır. Ancak, 123.456, abc gibi sayısal olmayan değerler içeren satırlar uyumsuz olarak algılanır ve atlanır.

• Kaynak ile havuz arasındaki sütun sayısında uyuşmazlık.

  Örneğin: Blob depolamadaki bir CSV dosyasından, altı sütun içeren şema tanımına sahip bir SQL veritabanına veri kopyalayın. Altı sütun içeren CSV dosya satırları havuz deposuna başarıyla kopyalanır. Altıdan fazla sütun içeren CSV dosya satırları uyumsuz olarak algılanır ve atlanır.

• SQL Server/Azure SQL Veritabanı/Azure Cosmos DB'ye yazarken birincil anahtar ihlali.

  Örneğin: SQL sunucusundan SQL veritabanına veri kopyalama. Havuz SQL veritabanında birincil anahtar tanımlanır, ancak kaynak SQL sunucusunda böyle bir birincil anahtar tanımlanmamıştır. Kaynakta bulunan yinelenen satırlar havuza kopyalanamaz. Kopyalama etkinliği kaynak verilerin yalnızca ilk satırını havuza kopyalar. Yinelenen birincil anahtar değerini içeren sonraki kaynak satırlar uyumsuz olarak algılanır ve atlanır.

Yapılandırma

Aşağıdaki örnek, kopyalama etkinliğindeki uyumsuz satırları atlayarak yapılandırmaya yönelik bir JSON tanımı sağlar:

"typeProperties": { 
    "source": { 
        "type": "AzureSqlSource" 
    }, 
    "sink": { 
        "type": "AzureSqlSink" 
    }, 
    "enableSkipIncompatibleRow": true, 
    "logSettings": {
        "enableCopyActivityLog": true,
        "copyActivityLogSettings": {            
            "logLevel": "Warning",
            "enableReliableLogging": false
        },
        "logLocationSettings": {
            "linkedServiceName": {
               "referenceName": "ADLSGen2",
               "type": "LinkedServiceReference"
            },
            "path": "sessionlog/"
        }
    } 
}, 

Atlanan satırları izleme

Kopyalama etkinliği çalıştırması tamamlandıktan sonra, kopyalama etkinliğinin çıkışında atlanan satır sayısını görebilirsiniz:

"output": {
            "dataRead": 95,
            "dataWritten": 186,
            "rowsCopied": 9,
            "rowsSkipped": 2,
            "copyDuration": 16,
            "throughput": 0.01,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "errors": []
        },

Uyumsuz satırları günlüğe kaydedecek şekilde yapılandırdıysanız, günlük dosyasını şu yoldan bulabilirsiniz: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].csv.

Günlük dosyaları csv dosyaları olacaktır. Günlük dosyasının şeması aşağıdaki gibidir:

Günlük dosyası içeriğine bir örnek aşağıdaki gibidir:

Timestamp, Level, OperationName, OperationItem, Message
2020-02-26 06:22:32.2586581, Warning, TabularRowSkip, """data1"", ""data2"", ""data3""," "Column 'Prop_2' contains an invalid value 'data3'. Cannot convert 'data3' to type 'DateTime'." 
2020-02-26 06:22:33.2586351, Warning, TabularRowSkip, """data4"", ""data5"", ""data6"",", "Violation of PRIMARY KEY constraint 'PK_tblintstrdatetimewithpk'. Cannot insert duplicate key in object 'dbo.tblintstrdatetimewithpk'. The duplicate key value is (data4)." 

Yukarıdaki örnek günlük dosyasından kaynaktan hedef depoya tür dönüştürme sorunu nedeniyle bir satır "veri1, veri2, veri3" atlandığını görebilirsiniz. Kaynaktan hedef depoya PK ihlali sorunu nedeniyle başka bir "data4, data5, data6" satırı atlandı.

Tablo verilerini kopyalama (eski):

Aşağıdaki yaklaşım, yalnızca tablo verilerini kopyalamak için hataya dayanıklılık sağlamanın eski yoludur. Yeni işlem hattı veya etkinlik oluşturuyorsanız, bunun yerine buradan başlamanız tavsiye edilir.

Yapılandırma

Aşağıdaki örnek, kopyalama etkinliğindeki uyumsuz satırları atlayarak yapılandırmaya yönelik bir JSON tanımı sağlar:

"typeProperties": {
    "source": {
        "type": "BlobSource"
    },
    "sink": {
        "type": "SqlSink",
    },
    "enableSkipIncompatibleRow": true,
    "redirectIncompatibleRowSettings": {
         "linkedServiceName": {
              "referenceName": "<Azure Storage or Data Lake Store linked service>",
              "type": "LinkedServiceReference"
            },
            "path": "redirectcontainer/erroroutput"
     }
}

Atlanan satırları izleme

Kopyalama etkinliği çalıştırması tamamlandıktan sonra, kopyalama etkinliğinin çıkışında atlanan satır sayısını görebilirsiniz:

"output": {
            "dataRead": 95,
            "dataWritten": 186,
            "rowsCopied": 9,
            "rowsSkipped": 2,
            "copyDuration": 16,
            "throughput": 0.01,
            "redirectRowPath": "https://myblobstorage.blob.core.windows.net//myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "errors": []
        },

Uyumsuz satırları günlüğe kaydedecek şekilde yapılandırdıysanız, günlük dosyasını şu yolda bulabilirsiniz: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/[copy-activity-run-id]/[auto-generated-GUID].csv.

Günlük dosyaları yalnızca csv dosyaları olabilir. Atlanan özgün veriler gerekirse sütun sınırlayıcısı olarak virgülle günlüğe kaydedilir. Günlük dosyasındaki özgün kaynak verilere ek olarak iki "ErrorCode" ve "ErrorMessage" sütunu daha ekliyoruz; burada uyumsuzluğun kök nedenini görebilirsiniz. ErrorCode ve ErrorMessage çift tırnak içine alınır.

Günlük dosyası içeriğine bir örnek aşağıdaki gibidir:

data1, data2, data3, "UserErrorInvalidDataValue", "Column 'Prop_2' contains an invalid value 'data3'. Cannot convert 'data3' to type 'DateTime'."
data4, data5, data6, "2627", "Violation of PRIMARY KEY constraint 'PK_tblintstrdatetimewithpk'. Cannot insert duplicate key in object 'dbo.tblintstrdatetimewithpk'. The duplicate key value is (data4)."

İlgili içerik

Diğer kopyalama etkinliği makalelerine bakın:

• Kopyalama etkinliği genel bakış
• Kopyalama etkinliği performansı