Adatok másolása a Google BigQuery V2-ből az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Ez a cikk bemutatja, hogyan használható a Másolási tevékenység az Azure Data Factoryben és a Synapse Analytics-folyamatokban adatok másolására a Google BigQueryből. A másolási tevékenység áttekintési cikkére épül, amely általános áttekintést nyújt a másolási tevékenységről.

Támogatott képességek

Ez a Google BigQuery-összekötő a következő képességeket támogatja:

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A másolási tevékenység által forrásként vagy fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

A szolgáltatás egy beépített illesztőprogramot biztosít a kapcsolat engedélyezéséhez. Ezért nem kell manuálisan telepítenie egy illesztőprogramot az összekötő használatához.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

• Az Adatok másolása eszköz
• Az Azure Portal
• A .NET SDK
• A Python SDK
• Azure PowerShell
• A REST API
• Az Azure Resource Manager-sablon

Társított szolgáltatás létrehozása a Google BigQueryhez felhasználói felülettel

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a Google BigQueryhez az Azure Portal felhasználói felületén.

1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

   • Azure Data Factory
   • Azure Synapse

   

2. Keresse meg a Google BigQueryt, és válassza ki az összekötőt.

   

3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

   

Az összekötő konfigurációjának részletei

Az alábbi szakaszok a Google BigQuery-összekötőre jellemző entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A Google BigQuery társított szolgáltatása az alábbi tulajdonságokat támogatja.

Felhasználói hitelesítés használata

Állítsa a "authenticationType" tulajdonságot UserAuthentication értékre, és adja meg a következő tulajdonságokat az előző szakaszban ismertetett általános tulajdonságokkal együtt:

Példa:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId" : "<project ID>",
            "authenticationType" : "UserAuthentication",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value":"<client secret>"
            },
            "refreshToken": {
                "type": "SecureString",
                "value": "<refresh token>"
            }
        }
    }
}

Szolgáltatáshitelesítés használata

Állítsa a "authenticationType" tulajdonságot ServiceAuthentication értékre, és adja meg a következő tulajdonságokat az előző szakaszban ismertetett általános tulajdonságokkal együtt.

Példa:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId": "<project ID>",
            "authenticationType": "ServiceAuthentication",
            "keyFileContent": {
                "type": "SecureString",
                "value": "<key file JSON string>"
            }
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja. Ez a szakasz a Google BigQuery adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Ha adatokat szeretne másolni a Google BigQueryből, állítsa az adathalmaz típustulajdonságát a GoogleBigQueryV2Object értékre. A következő tulajdonságok támogatottak:

Példa

{
    "name": "GoogleBigQueryDataset",
    "properties": {
        "type": "GoogleBigQueryV2Object",
        "linkedServiceName": {
            "referenceName": "<Google BigQuery linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "dataset": "<dataset name>",
            "table": "<table name>"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a Google BigQuery forrástípus által támogatott tulajdonságok listáját tartalmazza.

GoogleBigQuerySource forrástípusként

Ha adatokat szeretne másolni a Google BigQueryből, állítsa be a másolási tevékenység forrástípusát a GoogleBigQueryV2Source-ra. A másolási tevékenység forrás szakaszában az alábbi tulajdonságok támogatottak.

Példa:

"activities":[
    {
        "name": "CopyFromGoogleBigQuery",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Google BigQuery input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GoogleBigQueryV2Source",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

A Google BigQuery-összekötő frissítése

A Google BigQuery-összekötő frissítéséhez hozzon létre egy új Google BigQuery társított szolgáltatást, és konfigurálja a társított szolgáltatás tulajdonságaira hivatkozva.

Különbségek a Google BigQuery V2 és a V1 között

A Google BigQuery V2-összekötő új funkciókat kínál, és kompatibilis a Google BigQuery V1-összekötő legtöbb funkciójával. Az alábbi táblázat a Google BigQuery V2 és a V1 közötti funkcióbeli különbségeket mutatja be.

Kapcsolódó tartalom

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd : Támogatott adattárak.