Adatok másolása az Azure Table Storage-ba és onnan az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az Azure Data Factoryben és a Synapse Analytics-folyamatokban az adatok Azure Table Storage-ba és onnan történő másolására. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.

Támogatott képességek

Ez az Azure Table Storage-összekötő a következő képességeket támogatja:

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

Bármilyen támogatott forrásadattárból másolhat adatokat a Table Storage-ba. A Table Storage-ból bármely támogatott fogadóadattárba másolhat adatokat. A másolási tevékenység által forrásként vagy fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

Ez az Azure Table-összekötő kifejezetten támogatja az adatok másolását a fiókkulcs és a szolgáltatás közös hozzáférésű jogosultságkód-hitelesítésével.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

• Az Adatok másolása eszköz
• Az Azure Portal
• A .NET SDK
• A Python SDK
• Azure PowerShell
• A REST API
• Az Azure Resource Manager-sablon

Azure Table Storage társított szolgáltatás létrehozása felhasználói felületen

Az alábbi lépéseket követve hozzon létre egy Azure Table Storage társított szolgáltatást az Azure Portal felhasználói felületén.

1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

   • Azure Data Factory
   • Azure Synapse

   

2. Keressen rá az Azure Tablere, és válassza ki az Azure Table Storage-összekötőt.

   

3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

   

Az összekötő konfigurációjának részletei

A következő szakaszok az Azure Table Storage-ra jellemző entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Ez az Azure Table Storage-összekötő a következő hitelesítési típusokat támogatja. Részletekért tekintse meg a megfelelő szakaszokat.

• Fiókkulcs-hitelesítés
• Közös hozzáférésű jogosultságkód hitelesítése
• Rendszer által hozzárendelt felügyelt identitás hitelesítése
• Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Fiókkulcs-hitelesítés

Azure Storage társított szolgáltatást a fiókkulcs használatával hozhat létre. A szolgáltatás globális hozzáférést biztosít a Storage-hoz. A következő tulajdonságok támogatottak.

Példa:

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: fiókkulcs tárolása az Azure Key Vaultban

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "accountKey": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Közös hozzáférésű jogosultságkód hitelesítése

Megosztott hozzáférésű jogosultságkód használatával is létrehozhat egy társított Storage-szolgáltatást. Korlátozott/időkorlátos hozzáférést biztosít a szolgáltatásnak a tárterület összes/konkrét erőforrásához.

A megosztott hozzáférésű jogosultságkód delegált hozzáférést biztosít a tárfiók erőforrásaihoz. Használatával korlátozott engedélyeket adhat egy ügyfélnek a tárfiókban lévő objektumokhoz egy adott időre és egy meghatározott engedélykészlettel. Nem kell megosztania a fiók hozzáférési kulcsait. A közös hozzáférésű jogosultságkód egy URI, amely a lekérdezési paraméterekben tartalmazza a tárerőforráshoz való hitelesített hozzáféréshez szükséges összes információt. A megosztott hozzáférésű jogosultságkóddal rendelkező tárolási erőforrások eléréséhez az ügyfélnek csak a közös hozzáférésű jogosultságkódot kell átadnia a megfelelő konstruktornak vagy metódusnak. A közös hozzáférésű jogosultságkódokkal kapcsolatos további információkért lásd : Közös hozzáférésű jogosultságkódok: A közös hozzáférésű jogosultságkód-modell ismertetése.

A közös hozzáférésű jogosultságkód-hitelesítés használatához a következő tulajdonságok támogatottak.

Példa:

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<account>.table.core.windows.net/<table>?sv=<storage version>&amp;st=<start time>&amp;se=<expire time>&amp;sr=<resource>&amp;sp=<permissions>&amp;sip=<ip range>&amp;spr=<protocol>&amp;sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: fiókkulcs tárolása az Azure Key Vaultban

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<account>.table.core.windows.net/<table>>"
            },
            "sasToken": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Amikor közös hozzáférésű jogosultságkód URI-t hoz létre, vegye figyelembe a következő szempontokat:

• Állítsa be a megfelelő olvasási/írási engedélyeket az objektumokon a társított szolgáltatás (olvasás, írás, olvasás/írás) használata alapján.
• A lejárati idő megfelelő beállítása. Győződjön meg arról, hogy a Storage-objektumokhoz való hozzáférés nem jár le a folyamat aktív időszakában.
• Az URI-t szükség szerint a megfelelő táblaszinten kell létrehozni.

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Egy adat-előállító vagy Synapse-folyamat társítható az Azure-erőforrások rendszer által hozzárendelt felügyelt identitásával, amely ezt az erőforrást jelöli más Azure-szolgáltatásokhoz való hitelesítéshez. Ezt a rendszer által hozzárendelt felügyelt identitást használhatja az Azure Table Storage-hitelesítéshez. Az Azure-erőforrások felügyelt identitásairól további információt az Azure-erőforrások felügyelt identitásai című témakörben talál .

A rendszer által hozzárendelt felügyelt identitás hitelesítésének használatához kövesse az alábbi lépéseket:

1. A rendszer által hozzárendelt felügyelt identitás adatainak lekéréséhez másolja a rendszer által hozzárendelt felügyelt identitásobjektum-azonosító értékét a gyári vagy a Synapse-munkaterülettel együtt.

2. A felügyelt identitás engedélyének megadása az Azure Table Storage-ban. A szerepkörökről további információt ebben a cikkben talál.

   • Forrásként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage Table Data Reader szerepkört.
   • Fogadóként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage Table Data Contributor szerepkört.

Ezek a tulajdonságok támogatottak az Azure Table Storage társított szolgáltatásában:

Példa:

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.table.core.windows.net/"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Egy adat-előállító egy vagy több felhasználó által hozzárendelt felügyelt identitással rendelhető hozzá. Ezt a felhasználó által hozzárendelt felügyelt identitást használhatja az Azure Table Storage-hitelesítéshez, amely lehetővé teszi az adatok elérését és másolását az Azure Table Storage-ból vagy az Azure Table Storage-ba. Az Azure-erőforrások felügyelt identitásairól további információt az Azure-erőforrások felügyelt identitásai című témakörben talál .

A felhasználó által hozzárendelt felügyelt identitáshitelesítés használatához kövesse az alábbi lépéseket:

1. Hozzon létre egy vagy több felhasználó által hozzárendelt felügyelt identitást , és adjon engedélyt az Azure Table Storage-ban. A szerepkörökről további információt ebben a cikkben talál.

   • Forrásként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage Table Data Reader szerepkört.
   • Fogadóként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage Table Data Contributor szerepkört.

2. Rendeljen hozzá egy vagy több felhasználó által hozzárendelt felügyelt identitást az adat-előállítóhoz, és hozzon létre hitelesítő adatokat minden felhasználó által hozzárendelt felügyelt identitáshoz.

Ezek a tulajdonságok támogatottak az Azure Table Storage társított szolgáltatásában:

Példa:

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.table.core.windows.net/",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja. Ez a szakasz az Azure Table-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Ha adatokat szeretne az Azure Tablebe és onnan átmásolni, állítsa az adathalmaz típustulajdonságát az AzureTable-ra. A következő tulajdonságok támogatottak.

Példa:

{
    "name": "AzureTableDataset",
    "properties":
    {
        "type": "AzureTable",
        "typeProperties": {
            "tableName": "MyTable"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Table storage linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Sémakövetkeztetés a szolgáltatás által

Sémamentes adattárak, például az Azure Table esetében a szolgáltatás a következő módok egyikével következtet a sémára:

• Ha a másolási tevékenységben adja meg az oszlopleképezést, a szolgáltatás a forrásoldali oszloplistával kéri le az adatokat. Ebben az esetben, ha egy sor nem tartalmaz oszlopértéket, a rendszer null értéket ad hozzá.
• Ha nem adja meg az oszlopleképezést a másolási tevékenységben, a szolgáltatás az adatok első sorával következtet a sémára. Ebben az esetben, ha az első sor nem tartalmazza a teljes sémát (például egyes oszlopok null értékkel rendelkeznek), a másolási művelet eredménye néhány oszlopot kihagy.

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz az Azure Table-forrás és -fogadó által támogatott tulajdonságok listáját tartalmazza.

Az Azure Table mint forrástípus

Ha adatokat szeretne másolni az Azure Tableből, állítsa be a másolási tevékenység forrástípusát az AzureTableSource-ra. A másolási tevékenység forrás szakaszában az alábbi tulajdonságok támogatottak.

azureTableSourceQuery példák

Ha dátum/idő típusú oszlopra szeretné szűrni az adatokat, tekintse meg ezt a példát:

"azureTableSourceQuery": "LastModifiedTime gt datetime'2017-10-01T00:00:00' and LastModifiedTime le datetime'2017-10-02T00:00:00'"

Ha sztring típusú oszlopra szeretné szűrni az adatokat, tekintse meg ezt a példát:

"azureTableSourceQuery": "LastModifiedTime ge '201710010000_0000' and LastModifiedTime le '201710010000_9999'"

Ha a folyamatparamétert használja, állítsa a datetime értéket a megfelelő formátumba az előző mintáknak megfelelően.

Az Azure Table mint fogadó típusa

Ha adatokat szeretne az Azure Tablebe másolni, állítsa be a másolási tevékenység fogadótípusát az AzureTableSinkre. A másolási tevékenység fogadó szakaszában az alábbi tulajdonságok támogatottak.

Példa:

"activities":[
    {
        "name": "CopyToAzureTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Table output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureTableSink",
                "azureTablePartitionKeyName": "<column name>",
                "azureTableRowKeyName": "<column name>"
            }
        }
    }
]

azureTablePartitionKeyName

A forrásoszlop leképezése céloszlopra a "translator" tulajdonság használatával, mielőtt a céloszlopot azureTablePartitionKeyName néven használhatja.

Az alábbi példában a DivisionID forrásoszlop a Cél oszlop DivisionID-hez van megfeleltetve:

"translator": {
    "type": "TabularTranslator",
    "columnMappings": "DivisionID: DivisionID, FirstName: FirstName, LastName: LastName"
}

A "DivisionID" partíciókulcsként van megadva.

"sink": {
    "type": "AzureTableSink",
    "azureTablePartitionKeyName": "DivisionID"
}

Adattípus-leképezés az Azure Tablehez

Amikor adatokat másol az Azure Tableből és az Azure Tablebe, a rendszer az alábbi leképezéseket használja az Azure Table-adattípusokból a szolgáltatáson belül használt köztes adattípusokra. Ha tudni szeretné, hogy a másolási tevékenység hogyan képezi le a forrássémát és az adattípust a fogadóhoz, tekintse meg a séma- és adattípus-leképezéseket.

Amikor adatokat helyez át az Azure Tablebe és onnan, az Azure Table által definiált alábbi leképezéseket használja az Azure Table OData-típusokról a .NET-típusra, és fordítva.

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

Kapcsolódó tartalom

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd : Támogatott adattárak.