Jak používat parametry, výrazy a funkce ve službě Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

V tomto dokumentu se zaměříme především na výuku základních konceptů s různými příklady, abychom prozkoumali možnost vytvářet parametrizované datové kanály ve službě Azure Data Factory. Parametrizace a dynamické výrazy jsou tak výraznými doplňky ADF, protože můžou ušetřit obrovské množství času a umožňují mnohem flexibilnější řešení extrakce, transformace, načítání (ETL) nebo extrakce, načítání, transformace (ELT), které výrazně sníží náklady na údržbu řešení a urychlí implementaci nových funkcí do stávajících kanálů. Tyto zisky jsou způsobené tím, že parametrizace minimalizuje objem pevného kódování a zvyšuje počet opakovaně použitelných objektů a procesů v řešení.

Pokud s používáním parametrů služby Azure Data Factory v uživatelském rozhraní ADF začínáte, projděte si uživatelské rozhraní služby Data Factory, kde najdete odkazované služby s parametry a uživatelským rozhraním služby Data Factory, kde najdete vizuální vysvětlení v kanálu řízeném metadaty s parametry.

Pomocí parametrů můžete předávat externí hodnoty do kanálů, datových sad, propojených služeb a toků dat. Jakmile se parametr předá do prostředku, nelze ho změnit. Když parametrizujete prostředky, můžete je pokaždé znovu použít s různými hodnotami. Parametry lze použít jednotlivě nebo jako součást výrazů. Hodnoty JSON v definici můžou být literály nebo výrazy, které se vyhodnocují za běhu.

Příklad:

"name": "value"

nebo

"name": "@pipeline().parameters.password"

Výrazy se můžou objevit kdekoli v řetězcové hodnotě JSON a vždy vést k jiné hodnotě JSON. Tady je heslo parametrem kanálu ve výrazu. Pokud je hodnota JSON výrazem, text výrazu se extrahuje odebráním znaku at(@). Pokud je potřeba řetězec literálu, který začíná znakem @, musí být uchvácen pomocí @@. Následující příklady ukazují, jak se výrazy vyhodnocují.

Výrazy se mohou objevit také uvnitř řetězců pomocí funkce označované jako interpolace řetězců, ve které jsou výrazy zabaleny @{ ... }. Příklad: "name" : "First Name: @{pipeline().parameters.firstName} Last Name: @{pipeline().parameters.lastName}"

Pomocí interpolace řetězců je výsledkem vždy řetězec. Řekněme, že jsem definoval myNumber jako 42 a myString jako foo:

Následující příklad ukazuje složitý příklad, který odkazuje na hluboké dílčí pole výstupu aktivity. Pokud chcete odkazovat na parametr kanálu, který se vyhodnotí jako dílčí pole, použijte místo operátoru tečk(.) syntaxi [] (jako v případě dílčího pole1 a dílčího pole2).

@activity('*activityName*').output.*subfield1*.*subfield2*[pipeline().parameters.*subfield3*].*subfield4*

Editor dynamického obsahu po dokončení úprav automaticky uchytá znaky v obsahu. Například následující obsah v editoru obsahu je interpolace řetězců se dvěma funkcemi výrazů.

{ 
  "type": "@{if(equals(1, 2), 'Blob', 'Table' )}",
  "name": "@{toUpper('myData')}"
}

Editor dynamického obsahu převede nad obsah na výraz "{ \n \"type\": \"@{if(equals(1, 2), 'Blob', 'Table' )}\",\n \"name\": \"@{toUpper('myData')}\"\n}". Výsledkem tohoto výrazu je řetězec formátu JSON uvedený níže.

{
  "type": "Table",
  "name": "MYDATA"
}

V následujícím příkladu přebírá blobDataset parametr pojmenovanou cestu. Jeho hodnota se používá k nastavení hodnoty vlastnosti folderPath pomocí výrazu: dataset().path.

{
    "name": "BlobDataset",
    "properties": {
        "type": "AzureBlob",
        "typeProperties": {
            "folderPath": "@dataset().path"
        },
        "linkedServiceName": {
            "referenceName": "AzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "path": {
                "type": "String"
            }
        }
    }
}

V následujícím příkladu kanál přebírá parametry inputPath a outputPath . Cesta pro parametrizovanou datovou sadu objektů blob je nastavena pomocí hodnot těchto parametrů. Syntaxe použitá tady je: pipeline().parameters.parametername.

{
    "name": "Adfv2QuickStartPipeline",
    "properties": {
        "activities": [
            {
                "name": "CopyFromBlobToBlob",
                "type": "Copy",
                "inputs": [
                    {
                        "referenceName": "BlobDataset",
                        "parameters": {
                            "path": "@pipeline().parameters.inputPath"
                        },
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "BlobDataset",
                        "parameters": {
                            "path": "@pipeline().parameters.outputPath"
                        },
                        "type": "DatasetReference"
                    }
                ],
                "typeProperties": {
                    "source": {
                        "type": "BlobSource"
                    },
                    "sink": {
                        "type": "BlobSink"
                    }
                }
            }
        ],
        "parameters": {
            "inputPath": {
                "type": "String"
            },
            "outputPath": {
                "type": "String"
            }
        }
    }
}

Funkce můžete volat ve výrazech. Následující části obsahují informace o funkcích, které lze použít ve výrazu.

Pro práci s řetězci můžete použít tyto řetězcové funkce a také některé funkce kolekce. Řetězcové funkce fungují jenom na řetězcích.

Pokud chcete pracovat s kolekcemi, obecně polemi, řetězci a někdy slovníky, můžete tyto funkce kolekce používat.

Tyto funkce jsou užitečné v podmínkách, lze je použít k vyhodnocení libovolného typu logiky.

Tyto funkce slouží k převodu mezi jednotlivými nativními typy v jazyce:

• string
• integer
• float (číslo s plovoucí řádovou čárkou)
• boolean
• pole
• slovníky

Tyto funkce lze použít pro některý z typů čísel: celá čísla a float.

Tento kurz předávání parametrů kanálu kopírování služby Azure Data Factory vás provede předáním parametrů mezi kanálem a aktivitou i mezi aktivitami.

Postupujte podle mapování toku dat s parametry , které poskytují komplexní příklad použití parametrů v toku dat.

Pokud chcete získat další informace o tom, jak pomocí parametrů navrhovat kanály řízené metadaty, postupujte podle parametrů . Toto je oblíbený případ použití parametrů.

Seznam systémových proměnných, které můžete použít ve výrazech, najdete v tématu Systémové proměnné.