Adatok másolása az Azure Data Explorerbe vagy onnan az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az Azure Data Factoryben és a Synapse Analytics-folyamatokban az adatok Azure Data Explorerbe vagy onnan történő másolására. A másolási tevékenység áttekintési cikkére épül, amely általános áttekintést nyújt a másolási tevékenységről.

Támogatott képességek

Ez az Azure Data Explorer-összekötő a következő képességeket támogatja:

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

Bármilyen támogatott forrásadattárból másolhat adatokat az Azure Data Explorerbe. Az Azure Data Explorerből bármilyen támogatott fogadóadattárba másolhat adatokat. Azoknak az adattáraknak a listáját, amelyeket a másolási tevékenység forrásként vagy fogadóként támogat, tekintse meg a Támogatott adattárak táblát.

Az Azure Data Explorer-összekötővel a következőket teheti:

• Adatok másolása a Microsoft Entra alkalmazásjogkivonat-hitelesítéssel egy szolgáltatásnévvel.
• Forrásként kQL-lekérdezéssel (Kusto) kér le adatokat.
• Fogadóként fűzze hozzá az adatokat egy céltáblához.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

• Az Adatok másolása eszköz
• Az Azure Portal
• A .NET SDK
• A Python SDK
• Azure PowerShell
• A REST API
• Az Azure Resource Manager-sablon

Társított szolgáltatás létrehozása az Azure Data Explorerhez felhasználói felületen

Az alábbi lépéseket követve hozzon létre egy társított szolgáltatást az Azure Data Explorerhez az Azure Portal felhasználói felületén.

1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

   • Azure Data Factory
   • Azure Synapse

   

2. Keresse meg az Explorert, és válassza ki az Azure Data Explorer (Kusto) összekötőt.

   

3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

   

Az összekötő konfigurációjának részletei

A következő szakaszok az Azure Data Explorer-összekötőre jellemző entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Az Azure Data Explorer-összekötő a következő hitelesítési típusokat támogatja. Részletekért tekintse meg a megfelelő szakaszokat:

• Egyszerű szolgáltatás hitelesítése
• Rendszer által hozzárendelt felügyelt identitás hitelesítése
• Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Egyszerű szolgáltatás hitelesítése

A szolgáltatásnév-hitelesítés használatához kövesse az alábbi lépéseket a szolgáltatásnév lekéréséhez és az engedélyek megadásához:

1. Alkalmazás regisztrálása a Microsoft Identitásplatform. Ennek módjáról a rövid útmutatóban olvashat: Alkalmazás regisztrálása a Microsoft Identitásplatform. Jegyezze fel ezeket az értékeket, amelyeket a társított szolgáltatás definiálásához használ:

   • Pályázat azonosítója
   • Alkalmazáskulcs
   • Bérlőazonosító

2. Adja meg a szolgáltatásnévnek a megfelelő engedélyeket az Azure Data Explorerben. A szerepkörökről és engedélyekről, valamint az engedélyek kezeléséről további információt az Azure Data Explorer adatbázis-engedélyeinek kezelése című témakörben talál. Általában a következőt kell tennie:

   • Forrásként adjon legalább az Adatbázis-megjelenítő szerepkört az adatbázisnak
   • Fogadóként legalább az adatbázis-felhasználói szerepkört adja meg az adatbázisnak

Az Azure Data Explorer társított szolgáltatása a következő tulajdonságokat támogatja:

Példa: egyszerű szolgáltatáskulcs-hitelesítés használata

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Az Azure-erőforrások felügyelt identitásairól további információt az Azure-erőforrások felügyelt identitásai című témakörben talál.

A rendszer által hozzárendelt felügyelt identitás hitelesítésének használatához kövesse az alábbi lépéseket az engedélyek megadásához:

1. A felügyelt identitás adatainak lekéréséhez másolja a létrehozott felügyelt identitásobjektum-azonosító értékét az előállítóval vagy a Synapse-munkaterülettel együtt.

2. Adja meg a felügyelt identitásnak a megfelelő engedélyeket az Azure Data Explorerben. A szerepkörökről és engedélyekről, valamint az engedélyek kezeléséről további információt az Azure Data Explorer adatbázis-engedélyeinek kezelése című témakörben talál. Általában a következőt kell tennie:

   • Forrásként adja meg az Adatbázis-megjelenítő szerepkört az adatbázisnak.
   • Fogadóként adja meg az adatbázis-betöltési és adatbázis-megjelenítői szerepköröket az adatbázisnak.

Az Azure Data Explorer társított szolgáltatása a következő tulajdonságokat támogatja:

Példa: rendszer által hozzárendelt felügyelt identitáshitelesítés használata

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Az Azure-erőforrások felügyelt identitásairól további információt az Azure-erőforrások felügyelt identitásai című témakörben talál .

A felhasználó által hozzárendelt felügyelt identitáshitelesítés használatához kövesse az alábbi lépéseket:

1. Hozzon létre egy vagy több felhasználó által hozzárendelt felügyelt identitást , és adjon engedélyt az Azure Data Explorerben. A szerepkörökről és engedélyekről, valamint az engedélyek kezeléséről további információt az Azure Data Explorer adatbázis-engedélyeinek kezelése című témakörben talál. Általában a következőt kell tennie:

   • Forrásként adjon legalább az Adatbázis-megjelenítő szerepkört az adatbázisnak
   • Fogadóként adjon legalább az Adatbázis-betöltési szerepkört az adatbázisnak

2. Rendeljen hozzá egy vagy több felhasználó által hozzárendelt felügyelt identitást az adat-előállítóhoz vagy a Synapse-munkaterülethez, és hozzon létre hitelesítő adatokat minden felhasználó által hozzárendelt felügyelt identitáshoz.

Az Azure Data Explorer társított szolgáltatása a következő tulajdonságokat támogatja:

Példa: felhasználó által hozzárendelt felügyelt identitáshitelesítés használata

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja. Ez a szakasz az Azure Data Explorer-adatkészlet által támogatott tulajdonságokat sorolja fel.

Ha adatokat szeretne az Azure Data Explorerbe másolni, állítsa az adathalmaz típustulajdonságát az AzureDataExplorerTable értékre.

A következő tulajdonságok támogatottak:

Példa adathalmaztulajdonságokra:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok és tevékenységek című témakörben találja. Ez a szakasz az Azure Data Explorer forrásai és fogadói által támogatott tulajdonságok listáját tartalmazza.

Az Azure Data Explorer mint forrás

Ha adatokat szeretne másolni az Azure Data Explorerből, állítsa be a Copy tevékenység forrás típustulajdonságát az AzureDataExplorerSource-ra. A másolási tevékenység forrás szakaszában a következő tulajdonságok támogatottak:

Példa:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Az Azure Data Explorer fogadóként

Ha adatokat szeretne az Azure Data Explorerbe másolni, állítsa a másolási tevékenység fogadójának típustulajdonságát az AzureDataExplorerSink értékre. A másolási tevékenység fogadó szakasza a következő tulajdonságokat támogatja:

Példa:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Adatfolyam-tulajdonságok leképezése

A leképezési adatfolyam adatainak átalakításakor az Azure Data Explorerben olvashat és írhat táblákba. További információkért tekintse meg a forrásátalakítást és a fogadóátalakítást a leképezési adatfolyamokban. Választhat, hogy egy Azure Data Explorer-adathalmazt vagy egy beágyazott adatkészletet használ forrás- és fogadótípusként.

Forrásátalakítás

Az alábbi táblázat az Azure Data Explorer-forrás által támogatott tulajdonságokat sorolja fel. Ezeket a tulajdonságokat a Forrás beállításai lapon szerkesztheti.

Példák az Azure Data Explorer forrásszkriptjeire

Ha az Azure Data Explorer-adatkészletet használja forrástípusként, a társított adatfolyam-szkript a következő:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Beágyazott adatkészlet használata esetén a társított adatfolyam-szkript a következő:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Fogadó átalakítása

Az alábbi táblázat az Azure Data Explorer fogadó által támogatott tulajdonságokat sorolja fel. Ezeket a tulajdonságokat a Beállítások lapon szerkesztheti. Beágyazott adatkészlet használata esetén további beállítások jelennek meg, amelyek megegyeznek az adathalmaz tulajdonságai szakaszban leírt tulajdonságokkal.

Példák az Azure Data Explorer fogadószkriptjeire

Ha az Azure Data Explorer-adathalmazt fogadótípusként használja, a társított adatfolyam-szkript a következő:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Beágyazott adatkészlet használata esetén a társított adatfolyam-szkript a következő:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Keresési tevékenység tulajdonságai

A tulajdonságokról további információt a Keresési tevékenység című témakörben talál.

Kapcsolódó tartalom

• Azoknak az adattáraknak a listáját, amelyeket a másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat.

• További információ arról, hogyan másolhat adatokat az Azure Data Factoryből és a Synapse Analyticsből az Azure Data Explorerbe.