Az Azure Data Factory és a Synapse-folyamatok által támogatott számítási környezetek

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Ez a cikk az adatok feldolgozására vagy átalakítására használható különböző számítási környezeteket ismerteti. Emellett részletesen ismerteti a számítási környezeteket összekapcsoló társított szolgáltatások konfigurálásakor támogatott különböző konfigurációkat (igény szerinti és saját használat esetén is).

Az alábbi táblázat a támogatott számítási környezetek és az rajtuk futtatható tevékenységek listáját tartalmazza.

HDInsight számítási környezet

Az igény szerinti és a BYOC (Saját számítási környezet használata) környezetben történő konfiguráláshoz támogatott tárhoz társított szolgáltatástípusokról az alábbi táblázat nyújt részletes tájékoztatást.

Azure HDInsight igény szerinti társított szolgáltatás

Ebben a konfigurációtípusban a számítási környezetet teljes mértékben a szolgáltatás felügyeli. A szolgáltatás automatikusan létrehozza, mielőtt egy feladat elküldené az adatok feldolgozására, és eltávolítja a feladat befejezésekor. Létrehozhat egy társított szolgáltatást az igény szerinti számítási környezethez, konfigurálhatja, és szabályozhatja a feladatok végrehajtására, a fürtkezelésre és a rendszerindítási műveletekre vonatkozó részletes beállításokat.

A szolgáltatás automatikusan létrehozhat egy igény szerinti HDInsight-fürtöt az adatok feldolgozásához. A fürt ugyanabban a régióban jön létre, mint a fürthöz társított tárfiók (a JSON linkedServiceName tulajdonsága). A tárfiók must egy általános célú standard Azure Storage-fiók.

Az igény szerinti HDInsight társított szolgáltatással kapcsolatban vegye figyelembe a következő fontos szempontokat:

• Az igény szerinti HDInsight-fürt az Azure-előfizetésében jön létre. A fürt akkor jelenik meg az Azure Portalon, ha a fürt működik.
• Az igény szerinti HDInsight-fürtön futó feladatok naplóit a rendszer a HDInsight-fürthöz társított tárfiókba másolja. A clusterUserName, a clusterPassword, a clusterSshUserName és a clusterSshPassword a társított szolgáltatás definíciójában meghatározott használatával jelentkezik be a fürtbe, hogy a fürt életciklusa során részletes hibaelhárítást végezzen.
• Csak arra az időre számítunk fel díjat, amikor a HDInsight-fürt üzembe van állítva és futtatja a feladatokat.
• Szkriptműveletet használhat az Igény szerinti Azure HDInsight társított szolgáltatással.

Példa

Az alábbi JSON egy igény szerinti Linux-alapú HDInsight társított szolgáltatást határoz meg. A szolgáltatás automatikusan létrehoz egy Linux-alapú HDInsight-fürtöt a szükséges tevékenység feldolgozásához.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Tulajdonságok

• additionalLinkedServiceNames JSON-példa

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Egyszerű szolgáltatás hitelesítése

Az igény szerinti HDInsight társított szolgáltatáshoz szolgáltatásnév-hitelesítés szükséges a HDInsight-fürtök létrehozásához az Ön nevében. Szolgáltatásnév-hitelesítés használatához regisztráljon egy alkalmazásentitást a Microsoft Entra-azonosítóban, és adja meg neki annak az előfizetésnek vagy erőforráscsoportnak a közreműködői szerepkörét, amelyben a HDInsight-fürt létrejön. A részletes lépésekért tekintse meg a Microsoft Entra-alkalmazás és szolgáltatásnév létrehozását a Portál használatával, amely hozzáfér az erőforrásokhoz. Jegyezze fel az alábbi értékeket, amelyeket a társított szolgáltatás definiálásához használ:

• Pályázat azonosítója
• Alkalmazáskulcs
• Bérlőazonosító

Szolgáltatásnév-hitelesítés használata a következő tulajdonságok megadásával:

Speciális tulajdonságok

Az igény szerinti HDInsight-fürt részletes konfigurációjának alábbi tulajdonságait is megadhatja.

• Példa – Igény szerinti HDInsight-fürtkonfiguráció speciális tulajdonságokkal

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Csomópontméretek

A fej, az adatok és a zookeeper csomópontok méretét a következő tulajdonságok használatával adhatja meg:

• Csomópontméretek megadása: Az előző szakaszban említett tulajdonságokhoz meg kell adnia a virtuális gépek méreteivel foglalkozó cikket. Az értékeknek meg kell felelniük a cikkben hivatkozott CMDLETs &APIS-nak . Ahogy a cikkben látható, a nagy (alapértelmezett) méretű adatcsomópont 7 GB memóriával rendelkezik, ami nem feltétlenül elég jó a forgatókönyvhöz.

Ha D4 méretű fejcsomópontokat és feldolgozó csomópontokat szeretne létrehozni, adja meg a Standard_D4 a headNodeSize és a dataNodeSize tulajdonságok értékeként.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Ha nem megfelelő értéket ad meg ezekhez a tulajdonságokhoz, a következő hibaüzenet jelenhet meg: Nem sikerült fürtöt létrehozni. Kivétel: Nem sikerült befejezni a fürt létrehozásának műveletét. A művelet 400-as kóddal meghiúsult. A fürt állapota: „hiba”. Üzenet: "PreClusterCreationValidationFailure". Ha ezt a hibát kapja, győződjön meg arról, hogy a CmDLET &APIS nevet használja a virtuális gépek méretéről szóló cikkben szereplő táblázatból.

Saját számítási környezet létrehozása

Ebben a konfigurációtípusban a felhasználók egy már meglévő számítási környezetet regisztrálhatnak társított szolgáltatásként. A számítási környezetet a felhasználó kezeli, és a szolgáltatás a tevékenységek végrehajtásához használja.

Ez a konfigurációtípus a következő számítási környezetekhez támogatott:

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics
• Azure SQL DB, Azure Synapse Analytics, SQL Server

Azure HDInsight társított szolgáltatás

Létrehozhat egy Azure HDInsight társított szolgáltatást, amellyel saját HDInsight-fürtöt regisztrálhat egy adat-előállítóban vagy Synapse-munkaterületen.

Példa

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Tulajdonságok

Azure Batch társított szolgáltatás

Létrehozhat egy Azure Batch-hez társított szolgáltatást, amely virtuális gépek Batch-készletét regisztrálja egy adatba vagy Synapse-munkaterületre. Egyéni tevékenységet az Azure Batch használatával futtathat.

Ha még nem ismerkedik az Azure Batch szolgáltatással, tekintse meg az alábbi cikkeket:

• Az Azure Batch alapjai az Azure Batch szolgáltatás áttekintéséhez.
• New-AzBatchAccount parancsmag egy Azure Batch-fiók (vagy) Azure Portal létrehozásához az Azure Batch-fiók Azure Portal használatával történő létrehozásához. A parancsmaggal kapcsolatos részletes útmutatásért tekintse meg az Azure Batch-fiók kezeléséről szóló cikket a PowerShell használatával.
• New-AzBatchPool-parancsmag egy Azure Batch-készlet létrehozásához.

Példa

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Tulajdonságok

Machine Learning Studio (klasszikus) társított szolgáltatás

Egy Machine Learning Studio (klasszikus) társított szolgáltatást hoz létre a Machine Learning Studio (klasszikus) kötegelt pontozási végpont adat-előállítóban vagy Synapse-munkaterületen való regisztrálásához.

Példa

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Tulajdonságok

Azure Machine Learning társított szolgáltatás

Azure Machine Learning-társított szolgáltatást hoz létre egy Azure Machine Learning-munkaterület adat-előállítóhoz vagy Synapse-munkaterülethez való csatlakoztatásához.

Példa

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Tulajdonságok

Azure Data Lake Analytics társított szolgáltatás

Azure Data Lake Analytics-társított szolgáltatást hoz létre, amely összekapcsol egy Azure Data Lake Analytics számítási szolgáltatást egy adat-előállítóval vagy Synapse-munkaterületkel. A folyamat Data Lake Analytics U-SQL-tevékenysége erre a társított szolgáltatásra hivatkozik.

Példa

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Tulajdonságok

Azure Databricks társított szolgáltatás

Létrehozhat Azure Databricks társított szolgáltatást a Databricks-számítási feladatok (notebook, jar, python) futtatásához használt Databricks-munkaterület regisztrálásához.

Példa – Új feladatfürt használata a Databricksben

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Példa – Meglévő interaktív fürt használata a Databricksben

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Tulajdonságok

Azure SQL Database társított szolgáltatás

Létrehoz egy Azure SQL-hez társított szolgáltatást, és a Tárolt eljárás tevékenységgel meghív egy tárolt eljárást egy folyamatból. A társított szolgáltatással kapcsolatos részletekért tekintse meg az Azure SQL Connector-cikket .

Azure Synapse Analytics társított szolgáltatás

Létrehoz egy Azure Synapse Analytics-társított szolgáltatást, és a Tárolt eljárás tevékenységgel egy tárolt eljárást hív meg egy folyamatból. A társított szolgáltatással kapcsolatos részletekért tekintse meg az Azure Synapse Analytics-összekötőt ismertető cikket.

SQL Server társított szolgáltatás

Hozzon létre egy SQL Server társított szolgáltatást, és használja a Tárolt eljárás tevékenységgel egy tárolt eljárás meghívásához egy folyamatból. Erről a társított szolgáltatásról további információt az SQL Server-összekötőről szóló cikkben talál.

Azure Synapse Analytics (Artifacts) társított szolgáltatás

Létrehoz egy Azure Synapse Analytics -társított szolgáltatást, és a Synapse Notebook-tevékenységgel és a Synapse Spark-feladatdefiníciós tevékenységgel használja.

Példa

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Tulajdonságok

Azure-függvényhez társított szolgáltatás

Létrehozhat egy Azure-függvényhez társított szolgáltatást, és az Azure Functions-tevékenységgel együtt használhatja az Azure Functions folyamaton belüli futtatásához. Az Azure-függvény visszatérési típusának érvényesnek JObjectkell lennie. (Ne feledje, hogy JArray nem . JObject) A sikertelen kivételével JObject bármely visszatérési típus meghiúsul, és a felhasználói hibát jelzi, hogy a válasz tartalma nem érvényes JObject.

Kapcsolódó tartalom

A támogatott átalakítási tevékenységek listáját az Adatok átalakítása című témakörben találja.