Adatok másolása az Azure Filesból vagy az Azure Filesba az Azure Data Factory használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Ez a cikk azt ismerteti, hogyan másolhat adatokat az Azure Filesba és onnan. Az Azure Data Factory megismeréséhez olvassa el a bevezető cikket.

Támogatott képességek

Ez az Azure Files-összekötő a következő képességeket támogatja:

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

Adatokat másolhat az Azure Filesból bármely támogatott fogadóadattárba, vagy adatokat másolhat bármely támogatott forrásadattárból az Azure Filesba. Azoknak az adattáraknak a listáját, amelyeket a Másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat és formátumokat.

Ez az Azure Files-összekötő a következőket támogatja:

• Fájlok másolása fiókkulcs vagy szolgáltatás közös hozzáférésű jogosultságkód (SAS) hitelesítésével.
• Fájlok másolása a támogatott fájlformátumokkal és tömörítési kodekekkel, illetve fájlok elemzése/generálása.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

• Az Adatok másolása eszköz
• Az Azure Portal
• A .NET SDK
• A Python SDK
• Azure PowerShell
• A REST API
• Az Azure Resource Manager-sablon

Társított szolgáltatás létrehozása az Azure Fileshoz felhasználói felületen

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást az Azure Fileshoz az Azure Portal felhasználói felületén.

1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

   • Azure Data Factory
   • Azure Synapse

   

2. Keressen rá a fájlra, és válassza ki az Azure Files Azure File Storage címkével ellátott összekötőjét.

   

3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

   

Az összekötő konfigurációjának részletei

Az alábbi szakaszok az Azure Filesra jellemző entitások definiálásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Az Azure Files-összekötő a következő hitelesítési típusokat támogatja. Részletekért tekintse meg a megfelelő szakaszokat.

• Fiókkulcs-hitelesítés
• Közös hozzáférésű jogosultságkód hitelesítése
• Rendszer által hozzárendelt felügyelt identitás hitelesítése
• Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Fiókkulcs-hitelesítés

A Data Factory az Alábbi tulajdonságokat támogatja az Azure Files-fiókkulcs-hitelesítéshez:

Példa:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net;",
            "fileShare": "<file share name>"
        },
        "connectVia": {
          "referenceName": "<name of Integration Runtime>",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: a fiókkulcs tárolása az Azure Key Vaultban

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "fileShare": "<file share name>",
            "accountKey": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }            
    }
}

Közös hozzáférésű jogosultságkód hitelesítése

A megosztott hozzáférésű jogosultságkód delegált hozzáférést biztosít a tárfiók erőforrásaihoz. A megosztott hozzáférésű jogosultságkódokkal korlátozott engedélyeket adhat egy ügyfélnek a tárfiókban lévő objektumokhoz egy adott időre. A közös hozzáférésű jogosultságkódokkal kapcsolatos további információkért lásd : Közös hozzáférésű jogosultságkódok: A közös hozzáférésű jogosultságkód-modell ismertetése.

A szolgáltatás a következő tulajdonságokat támogatja a közös hozzáférésű jogosultságkód-hitelesítés használatához:

Példa:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the resource e.g. https://<accountname>.file.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            },
            "fileShare": "<file share name>",
            "snapshot": "<snapshot version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: az SAS-jogkivonat tárolása az Azure Key Vaultban

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.file.core.windows.net/>"
            },
            "sasToken": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>" 
            },
            "fileShare": "<file share name>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Egy adat-előállító vagy Synapse-folyamat társítható az Azure-erőforrások rendszer által hozzárendelt felügyelt identitásával, amely ezt az erőforrást jelöli más Azure-szolgáltatásokhoz való hitelesítéshez. Ezt a rendszer által hozzárendelt felügyelt identitást használhatja az Azure Files-hitelesítéshez. Az Azure-erőforrások felügyelt identitásairól további információt az Azure-erőforrások felügyelt identitásai című témakörben talál.

A rendszer által hozzárendelt felügyelt identitás hitelesítésének használatához kövesse az alábbi lépéseket:

1. A rendszer által hozzárendelt felügyelt identitás adatainak lekéréséhez másolja a rendszer által hozzárendelt felügyelt identitásobjektum-azonosító értékét a gyári vagy a Synapse-munkaterülettel együtt.

2. Adjon engedélyt a felügyelt identitásnak az Azure Filesban. A szerepkörökről további információt ebben a cikkben talál.

   • Forrásként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage File Data Privileged Reader szerepkört.
   • Fogadóként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage File Data Privileged Közreműködő szerepkört.

Ezek a tulajdonságok támogatottak az Azure Files társított szolgáltatásában:

Példa:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.file.core.windows.net/",
            "fileShare": "<file share name>",
            "snapshot": "<snapshot version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Egy adat-előállító egy vagy több felhasználó által hozzárendelt felügyelt identitással rendelhető hozzá. Ezt a felhasználó által hozzárendelt felügyelt identitást használhatja az Azure Files-hitelesítéshez, amely lehetővé teszi az adatok elérését és másolását az Azure Filesból vagy az Azure Filesba. Az Azure-erőforrások felügyelt identitásairól további információt az Azure-erőforrások felügyelt identitásai című témakörben talál.

A felhasználó által hozzárendelt felügyelt identitáshitelesítés használatához kövesse az alábbi lépéseket:

1. Hozzon létre egy vagy több felhasználó által hozzárendelt felügyelt identitást , és adjon engedélyt az Azure Filesban. A szerepkörökről további információt ebben a cikkben talál.

   • Forrásként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage File Data Privileged Reader szerepkört.
   • Fogadóként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage File Data Privileged Közreműködő szerepkört.

2. Rendeljen hozzá egy vagy több felhasználó által hozzárendelt felügyelt identitást az adat-előállítóhoz, és hozzon létre hitelesítő adatokat minden felhasználó által hozzárendelt felügyelt identitáshoz.

Ezek a tulajdonságok támogatottak az Azure Files társított szolgáltatásában:

Példa:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.file.core.windows.net/",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            },
            "fileShare": "<file share name>",
            "snapshot": "<snapshot version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örökölt modell

Példa:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "host": "\\\\<storage name>.file.core.windows.net\\<file service name>",
            "userid": "AZURE\\<storage name>",
            "password": {
                "type": "SecureString",
                "value": "<storage access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja.

Az Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

• Avro formátum
• Bináris formátum
• Tagolt szövegformátum
• Excel-formátum
• JSON formátum
• ORC formátum
• Parquet formátum
• XML-formátum

Az Azure Files a formátumalapú adatkészlet beállításai között location az alábbi tulajdonságokat támogatja:

Példa:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure File Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureFileStorageLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz az Azure Files-forrás és fogadó által támogatott tulajdonságok listáját tartalmazza.

Azure Files mint forrás

Az Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

• Avro formátum
• Bináris formátum
• Tagolt szövegformátum
• Excel-formátum
• JSON formátum
• ORC formátum
• Parquet formátum
• XML-formátum

Az Azure Files a formátumalapú másolási forrás beállításai között storeSettings az alábbi tulajdonságokat támogatja:

Példa:

"activities":[
    {
        "name": "CopyFromAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureFileStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Files fogadóként

Az Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

• Avro formátum
• Bináris formátum
• Tagolt szövegformátum
• JSON formátum
• ORC formátum
• Parquet formátum

Az Azure Files a formátumalapú másolási fogadó beállításai között storeSettings az alábbi tulajdonságokat támogatja:

Példa:

"activities":[
    {
        "name": "CopyToAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureFileStorageWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Mappa- és fájlszűrő példák

Ez a szakasz a mappa elérési útjának és a fájlnévnek helyettesítő karaktereket tartalmazó viselkedését ismerteti.

Példák fájllistára

Ez a szakasz a fájllista elérési útjának másolási tevékenység forrásában való használatát ismerteti.

Feltéve, hogy a következő forrásmappa-struktúrával rendelkezik, és félkövér formátumban szeretné másolni a fájlokat:

rekurzív és copyBehavior példák

Ez a szakasz a Másolás művelet eredményül kapott viselkedését ismerteti a rekurzív és a copyBehavior értékek különböző kombinációihoz.

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

GetMetadata tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez ellenőrizze a GetMetadata-tevékenységet

Tevékenységtulajdonságok törlése

A tulajdonságok részleteinek megismeréséhez ellenőrizze a Törlési tevékenységet

Örökölt modellek

Örökölt adathalmaz-modell

Példa:

{
    "name": "AzureFileStorageDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<Azure File Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Régi másolási tevékenység forrásmodellje

Példa:

"activities":[
    {
        "name": "CopyFromAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure File Storage input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Régi másolási tevékenység fogadómodellje

Példa:

"activities":[
    {
        "name": "CopyToAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure File Storage output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "FileSystemSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Kapcsolódó tartalom

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.