Azure Data Factory ve Synapse işlem hatları tarafından desteklenen işlem ortamları

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bu makalede, verileri işlemek veya dönüştürmek için kullanabileceğiniz farklı işlem ortamları açıklanmaktadır. Ayrıca, bu işlem ortamlarını bağlayan bağlı hizmetleri yapılandırırken desteklenen farklı yapılandırmalar (isteğe bağlı ve kendi yapılandırmanızı getirin) hakkında ayrıntılar da sağlar.

Aşağıdaki tabloda desteklenen işlem ortamlarının ve bunlar üzerinde çalışabilecek etkinliklerin listesi sağlanır.

HDInsight işlem ortamı

İsteğe bağlı ve BYOC (Kendi işlem ortamınızı getirin) ortamında yapılandırma için desteklenen depolama bağlantılı hizmet türleri hakkında ayrıntılı bilgi için aşağıdaki tabloya bakın.

İsteğe bağlı Azure HDInsight bağlı hizmeti

Bu tür bir yapılandırmada bilgi işlem ortamı hizmet tarafından tamamen yönetilir. Bir iş verileri işlemek üzere gönderilmeden önce hizmet tarafından otomatik olarak oluşturulur ve iş tamamlandığında kaldırılır. İsteğe bağlı işlem ortamı için bağlı bir hizmet oluşturabilir, bunu yapılandırabilir ve iş yürütme, küme yönetimi ve önyükleme eylemleri için ayrıntılı ayarları denetleyebilirsiniz.

Hizmet, verileri işlemek için otomatik olarak isteğe bağlı bir HDInsight kümesi oluşturabilir. Küme, kümeyle ilişkilendirilmiş depolama hesabıyla (JSON'da linkedServiceName özelliği) aynı bölgede oluşturulur. Depolama hesabı must genel amaçlı standart bir Azure Depolama hesabıdır.

İsteğe bağlı HDInsight bağlı hizmeti hakkında aşağıdaki önemli noktalara dikkat edin:

• İsteğe bağlı HDInsight kümesi Azure aboneliğiniz altında oluşturulur. Küme çalışır durumdayken azure portalınızda kümeyi görebilirsiniz.
• İsteğe bağlı HDInsight kümesinde çalıştırılan işlerin günlükleri HDInsight kümesiyle ilişkili depolama hesabına kopyalanır. Bağlı hizmet tanımınızda tanımlanan clusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword, küme yaşam döngüsü sırasında ayrıntılı sorun giderme amacıyla kümede oturum açmak için kullanılır.
• Yalnızca HDInsight kümesinin çalışır durumda olduğu ve çalıştığı süre için ücretlendirilirsiniz.
• Azure HDInsight isteğe bağlı bağlı hizmetiyle Betik Eylemi kullanabilirsiniz.

Örnek

Aşağıdaki JSON, Linux tabanlı isteğe bağlı HDInsight bağlı hizmetini tanımlar. Hizmet, gerekli etkinliği işlemek için otomatik olarak Linux tabanlı bir HDInsight kümesi oluşturur.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Özellikler

• additionalLinkedServiceNames JSON örneği

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Hizmet sorumlusu kimlik doğrulaması

İsteğe Bağlı HDInsight bağlı hizmeti, sizin adınıza HDInsight kümeleri oluşturmak için bir hizmet sorumlusu kimlik doğrulaması gerektirir. Hizmet sorumlusu kimlik doğrulamasını kullanmak için, bir uygulama varlığını Microsoft Entra Id'ye kaydedin ve hdInsight kümesinin oluşturulduğu aboneliğin veya kaynak grubunun Katkıda Bulunan rolünü verin. Ayrıntılı adımlar için bkz . Kaynaklara erişebilen bir Microsoft Entra uygulaması ve hizmet sorumlusu oluşturmak için portalı kullanma. Bağlı hizmeti tanımlamak için kullandığınız aşağıdaki değerleri not edin:

• Uygulama Kimliği
• Uygulama anahtarı
• Kiracı kimliği

Aşağıdaki özellikleri belirterek hizmet sorumlusu kimlik doğrulamasını kullanın:

Gelişmiş Özellikler

İsteğe bağlı HDInsight kümesinin ayrıntılı yapılandırması için aşağıdaki özellikleri de belirtebilirsiniz.

• Örnek - Gelişmiş özelliklere sahip isteğe bağlı HDInsight küme yapılandırması

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Düğüm boyutları

Aşağıdaki özellikleri kullanarak baş, veri ve zookeeper düğümlerinin boyutlarını belirtebilirsiniz:

• Düğüm boyutlarını belirtme Önceki bölümde belirtilen özellikler için belirtmeniz gereken dize değerleri için Sanal Makineler boyutları makalesine bakın. Değerlerin makalede başvuruda bulunan CMDLETs ve APIS ile uyumlu olması gerekir. Makalede görebileceğiniz gibi, Büyük (varsayılan) boyutundaki veri düğümünün 7 GB belleği vardır ve bu da senaryonuz için yeterli olmayabilir.

D4 boyutlu baş düğümleri ve çalışan düğümleri oluşturmak istiyorsanız, headNodeSize ve dataNodeSize özellikleri için değer olarak Standard_D4 belirtin.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Bu özellikler için yanlış bir değer belirtirseniz şu hatayı alabilirsiniz: Küme oluşturulamadı. Özel durum: Küme oluşturma işlemi tamamlanamadı. İşlem '400' koduyla başarısız oldu. Küme geride bırakma durumu: 'Hata'. İleti: 'PreClusterCreationValidationFailure'. Bu hatayı aldığınızda, Sanal Makineler Boyutları makalesindeki tablodan CMDLET ve APIS adını kullandığınızdan emin olun.

Kendi işlem ortamınızı getirme

Bu tür bir yapılandırmada, kullanıcılar zaten var olan bir bilgi işlem ortamını bağlı hizmet olarak kaydedebilir. Bilgi işlem ortamı kullanıcı tarafından yönetilir ve hizmet bu ortamı kullanarak etkinlikleri yürütür.

Bu yapılandırma türü aşağıdaki işlem ortamları için desteklenir:

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics
• Azure SQL DB, Azure Synapse Analytics, SQL Server

Azure HDInsight bağlı hizmeti

Kendi HDInsight kümenizi bir veri fabrikasına veya Synapse çalışma alanına kaydetmek için bir Azure HDInsight bağlı hizmeti oluşturabilirsiniz.

Örnek

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Özellikler

Azure Batch bağlı hizmeti

Sanal makinelerin (VM) Batch havuzunu bir verilere veya Synapse çalışma alanına kaydetmek için bir Azure Batch bağlı hizmeti oluşturabilirsiniz. Azure Batch'i kullanarak Özel etkinlik çalıştırabilirsiniz.

Azure Batch hizmetinde yeniyseniz aşağıdaki makalelere bakın:

• Azure Batch hizmetine genel bakış için Azure Batch ile ilgili temel bilgiler .
• New-AzBatchAccount cmdlet'i, Azure portalını kullanarak Azure Batch hesabı oluşturmak üzere bir Azure Batch hesabı (veya) Azure portalı oluşturmak için kullanılır. Cmdlet'ini kullanma hakkında ayrıntılı yönergeler için Bkz . Azure Batch Hesabını yönetmek için PowerShell kullanma makalesi.
• Azure Batch havuzu oluşturmak için New-AzBatchPool cmdlet'i.

Örnek

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Özellikler

Machine Learning Studio (klasik) bağlı hizmeti

Machine Learning Studio (klasik) toplu puanlama uç noktasını bir veri fabrikasına veya Synapse çalışma alanına kaydetmek için Bir Machine Learning Studio (klasik) bağlı hizmeti oluşturursunuz.

Örnek

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Özellikler

Azure Machine Learning bağlı hizmeti

Azure Machine Learning çalışma alanını bir veri fabrikasına veya Synapse çalışma alanına bağlamak için bir Azure Machine Learning bağlı hizmeti oluşturursunuz.

Örnek

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Özellikler

Azure Data Lake Analytics bağlı hizmeti

Azure Data Lake Analytics işlem hizmetini bir veri fabrikasına veya Synapse çalışma alanına bağlamak için bir Azure Data Lake Analytics bağlı hizmeti oluşturursunuz. İşlem hattındaki Data Lake Analytics U-SQL etkinliği bu bağlı hizmeti ifade eder.

Örnek

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Özellikler

Azure Databricks bağlı hizmeti

Databricks iş yüklerini (not defteri, jar, python) çalıştırmak için kullandığınız Databricks çalışma alanını kaydetmek için Azure Databricks bağlı hizmeti oluşturabilirsiniz.

Örnek - Databricks'te yeni iş kümesi kullanma

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Örnek - Databricks'te mevcut Etkileşimli kümeyi kullanma

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Özellikler

Azure SQL Veritabanı bağlı hizmeti

Bir Azure SQL bağlı hizmeti oluşturur ve saklı yordamı bir işlem hattından çağırmak için Saklı Yordam Etkinliği ile birlikte kullanırsınız. Bu bağlı hizmetle ilgili ayrıntılar için Azure SQL Bağlayıcısı makalesine bakın.

Azure Synapse Analytics bağlı hizmeti

Azure Synapse Analytics bağlı hizmeti oluşturur ve saklı yordamı bir işlem hattından çağırmak için Saklı Yordam Etkinliği ile birlikte kullanırsınız. Bu bağlı hizmetle ilgili ayrıntılar için Azure Synapse Analytics Bağlayıcısı makalesine bakın.

SQL Server bağlı hizmeti

SQL Server bağlı hizmeti oluşturur ve saklı yordamı bir işlem hattından çağırmak için Saklı Yordam Etkinliği ile birlikte kullanırsınız. Bu bağlı hizmetle ilgili ayrıntılar için SQL Server bağlayıcısı makalesine bakın.

Azure Synapse Analytics (Artifacts) bağlı hizmeti

Bir Azure Synapse Analytics (Artifacts) bağlı hizmeti oluşturur ve Synapse Notebook Etkinliği ve Synapse Spark iş tanımı Etkinliği ile kullanırsınız.

Örnek

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Özellikler

Azure İşlevi bağlı hizmeti

Bir Azure İşlevi bağlı hizmeti oluşturur ve Azure İşlevleri bir işlem hattında çalıştırmak için Azure İşlevi etkinliğiyle birlikte kullanırsınız. Azure işlevinin dönüş türü geçerli JObjectolmalıdır. (Unutmayın:JArray bir JObject.) Dışında herhangi bir dönüş türü JObject başarısız olur ve kullanıcı hatasını yükseltir Yanıt İçeriği geçerli bir JObject değil.

İlgili içerik

Desteklenen dönüştürme etkinliklerinin listesi için bkz . Verileri dönüştürme.