Adatok átalakítása szkripttevékenység használatával az Azure Data Factoryben vagy a Synapse Analyticsben

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

A Data Factoryben vagy a Synapse-folyamatban adatátalakítási tevékenységeket használva alakíthatja át és dolgozhatja fel a nyers adatokat előrejelzésekké és elemzésekké. A szkripttevékenység az egyik olyan átalakítási tevékenység, amelyet a folyamatok támogatnak. Ez a cikk az adatátalakításról szóló cikkre épül, amely általános áttekintést nyújt az adatátalakításról és a támogatott átalakítási tevékenységekről.

A szkripttevékenység használatával általános műveleteket hajthat végre az adatkezelési nyelvvel (DML) és az adatdefiníciós nyelvvel (DDL). Az olyan DML-utasítások, mint az INSERT, AZ UPDATE, a DELETE és a SELECT, lehetővé teszik a felhasználók számára az adatok beszúrását, módosítását, törlését és lekérését az adatbázisban. Az olyan DDL-utasítások, mint a CREATE, az ALTER és a DROP, lehetővé teszik az adatbázis-kezelő számára adatbázis-objektumok, például táblák, indexek és felhasználók létrehozását, módosítását és eltávolítását.

A Szkript tevékenység használatával meghívhat egy SQL-szkriptet a vállalata vagy egy Azure-beli virtuális gép (VM) alábbi adattáraiban:

• Azure SQL Database
• Azure Synapse Analytics
• SQL Server Database. Ha SQL Servert használ, telepítse a saját üzemeltetésű integrációs modult ugyanazon a gépen, amely az adatbázist üzemelteti, vagy egy külön, az adatbázishoz hozzáféréssel rendelkező gépre. A saját üzemeltetésű integrációs modul olyan összetevő, amely biztonságos és felügyelt módon csatlakoztatja a helyszíni/Azure-beli virtuális gépek adatforrásait a felhőszolgáltatásokhoz. További részletekért tekintse meg a saját üzemeltetésű integrációs modulról szóló cikket.
• Oracle
• Snowflake

A szkript egyetlen SQL-utasítást vagy több egymást követő SQL-utasítást tartalmazhat. A szkriptfeladatot a következő célokra használhatja:

• Táblázat csonkolása az adatok beszúrásának előkészítése során.
• Adatbázis-objektumok, például táblák és nézetek létrehozása, módosítása és elvetése.
• Hozzon létre újra tény- és dimenziótáblákat, mielőtt adatokat tölt be azokba.
• Tárolt eljárások futtatása. Ha az SQL-utasítás olyan tárolt eljárást hív meg, amely egy ideiglenes táblából származó eredményeket ad vissza, az EREDMÉNYKÉSZLETTEL lehetőséggel definiálhatja az eredményhalmaz metaadatait.
• Mentse a lekérdezésből visszaadott sorhalmazt tevékenységkimenetként az alsóbb rétegbeli felhasználáshoz.

Szintaxis részletei

A szkripttevékenységek definiálása jSON-formátuma a következő:

{ 
   "name": "<activity name>", 
   "type": "Script", 
   "linkedServiceName": { 
      "referenceName": "<name>", 
      "type": "LinkedServiceReference" 
    }, 
   "typeProperties": { 
      "scripts" : [ 
         { 
            "text": "<Script Block>", 
            "type": "<Query> or <NonQuery>", 
            "parameters":[ 
               { 
                  "name": "<name>", 
                  "value": "<value>", 
                  "type": "<type>", 
                  "direction": "<Input> or <Output> or <InputOutput>", 
                  "size": 256 
               }, 
               ... 
            ] 
         }, 
         ... 
      ],     
         ... 
         ] 
      }, 
      "scriptBlockExecutionTimeout": "<time>",  
      "logSettings": { 
         "logDestination": "<ActivityOutput> or <ExternalStore>", 
         "logLocationSettings":{ 
            "linkedServiceName":{ 
               "referenceName": "<name>", 
               "type": "<LinkedServiceReference>" 
            }, 
            "path": "<folder path>" 
         } 
      } 
    } 
} 

Az alábbi táblázat az alábbi JSON-tulajdonságokat ismerteti:

Tevékenység kimenete

Példa a kimenetre:

{ 
    "resultSetCount": 2, 
    "resultSets": [ 
        { 
            "rowCount": 10, 
            "rows":[ 
                { 
                    "<columnName1>": "<value1>", 
                    "<columnName2>": "<value2>", 
                    ... 
                } 
            ] 
        }, 
        ... 
    ], 
    "recordsAffected": 123, 
    "outputParameters":{ 
        "<parameterName1>": "<value1>", 
        "<parameterName2>": "<value2>" 
    }, 
    "outputLogs": "<logs>", 
    "outputLogsLocation": "<folder path>", 
    "outputTruncated": true, 
    ... 
} 

A szkripttevékenység konfigurálása felhasználói felületen

Beágyazott szkript

A beágyazott szkriptek jól integrálhatók a pipeline CI/CD-vel, mivel a szkript a folyamat metaadatainak részeként van tárolva.

Naplózás

Naplózási lehetőségek:

• Letiltás – Nincs végrehajtási kimenet naplózva.
• Tevékenység kimenete – A szkript végrehajtási kimenete hozzá van fűzve a tevékenység kimenetéhez. Ezt követően az alsóbb rétegbeli tevékenységek felhasználhatják azt. A kimeneti méret legfeljebb 4 MB lehet.
• Külső tároló – Megőrzi a kimenetet a tárolóban. Ezt a lehetőséget akkor használja, ha a kimeneti méret nagyobb, mint 2 MB, vagy ha kifejezetten meg szeretné őrizni a kimenetet a tárfiókban.

Kapcsolódó tartalom

Tekintse meg az alábbi cikkeket, amelyekből megtudhatja, hogyan alakíthat át adatokat más módokon:

• U-SQL-tevékenység
• Hive-tevékenység
• Sertés tevékenység
• MapReduce-tevékenység
• Hadoop Streaming-tevékenység
• Spark-tevékenység
• .NET egyéni tevékenység
• Tárolt eljárástevékenység