Adatok másolása a Cassandra-ból az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Ez a cikk azt ismerteti, hogyan másolhat adatokat cassandra-adatbázisból az Azure Data Factory vagy a Synapse Analytics-folyamat másolási tevékenységével. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.

Támogatott képességek

Ez a Cassandra-összekötő a következő képességeket támogatja:

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

Ez a Cassandra-összekötő a következőket támogatja:

• Cassandra 2.x és 3.x verzió.
• Adatok másolása egyszerű vagy névtelen hitelesítéssel.

Előfeltételek

Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.

Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

Az integrációs modul egy beépített Cassandra-illesztőprogramot biztosít, ezért nem kell manuálisan telepítenie egyetlen illesztőprogramot sem, amikor adatokat másol a Cassandra-ból vagy a Cassandra-ba.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

• Az Adatok másolása eszköz
• Az Azure Portal
• A .NET SDK
• A Python SDK
• Azure PowerShell
• A REST API
• Az Azure Resource Manager-sablon

Társított szolgáltatás létrehozása a Cassandra számára felhasználói felülettel

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a Cassandra számára az Azure Portal felhasználói felületén.

1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

   • Azure Data Factory
   • Azure Synapse

   

2. Keresse meg a Cassandra-t, és válassza ki a Cassandra-összekötőt.

   

3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

   

Az összekötő konfigurációjának részletei

Az alábbi szakaszok a Cassandra-összekötőre jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A Cassandra társított szolgáltatás esetében a következő tulajdonságok támogatottak:

Példa:

{
    "name": "CassandraLinkedService",
    "properties": {
        "type": "Cassandra",
        "typeProperties": {
            "host": "<host>",
            "authenticationType": "Basic",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az adathalmazokról szóló cikkben találja. Ez a szakasz a Cassandra-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Ha adatokat szeretne másolni a Cassandra-ból, állítsa az adathalmaz típustulajdonságát CassandraTable értékre. A következő tulajdonságok támogatottak:

Példa:

{
    "name": "CassandraDataset",
    "properties": {
        "type": "CassandraTable",
        "typeProperties": {
            "keySpace": "<keyspace name>",
            "tableName": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Cassandra linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a Cassandra-forrás által támogatott tulajdonságok listáját tartalmazza.

Cassandra mint forrás

A Cassandra adatainak másolásához állítsa a másolási tevékenység forrástípusát a CassandraSource-ra. A másolási tevékenység forrás szakaszában a következő tulajdonságok támogatottak:

Példa:

"activities":[
    {
        "name": "CopyFromCassandra",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Cassandra input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "CassandraSource",
                "query": "select id, firstname, lastname from mykeyspace.mytable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

A Cassandra adattípus-leképezése

Amikor adatokat másol a Cassandra-ból, a cassandra adattípusokból a szolgáltatáson belül használt köztes adattípusokra az alábbi leképezéseket használja a rendszer. A séma- és adattípus-leképezések segítségével megtudhatja , hogy a másolási tevékenység hogyan rendeli le a forrásséma és az adattípust a fogadóhoz.

Gyűjtemények használata virtuális táblával

A szolgáltatás egy beépített ODBC-illesztőprogramot használ a Cassandra-adatbázishoz való csatlakozáshoz és adatok másolásához. Az olyan gyűjteménytípusok esetében, mint a térkép, a beállítás és a lista, az illesztő újranormalizálja az adatokat a megfelelő virtuális táblákba. Pontosabban, ha egy tábla gyűjteményoszlopokat tartalmaz, az illesztőprogram a következő virtuális táblákat hozza létre:

• Alaptábla, amely ugyanazokat az adatokat tartalmazza, mint a valódi tábla, kivéve a gyűjteményoszlopokat. Az alaptábla ugyanazt a nevet használja, mint az általa képviselt valódi tábla.
• Minden gyűjteményoszlophoz tartozik egy virtuális tábla , amely kibontja a beágyazott adatokat. A gyűjteményeket ábrázoló virtuális táblák neve a valódi tábla, a "vt" elválasztó és az oszlop neve alapján történik.

A virtuális táblák a valós táblában lévő adatokra hivatkoznak, így az illesztőprogram hozzáférhet a normalizált adatokhoz. Részletekért lásd a Példa szakaszt. A Cassandra-gyűjtemények tartalmát a virtuális táblák lekérdezésével és összekapcsolásával érheti el.

Példa

A következő "ExampleTable" például egy Cassandra-adatbázistábla, amely egy "pk_int" nevű egész szám elsődleges kulcsoszlopot, egy névvel ellátott szöveges oszlopot, egy listaoszlopot, egy térképoszlopot és egy beállított oszlopot (StringSet) tartalmaz.

Az illesztő több virtuális táblát hozna létre, hogy az egyetlen táblát képviselje. A virtuális táblákban lévő idegenkulcs-oszlopok a valós tábla elsődleges kulcsoszlopaira hivatkoznak, és jelzik, hogy a virtuális tábla sor melyik valódi táblasorának felel meg.

Az első virtuális tábla az "ExampleTable" nevű alaptábla, amely az alábbi táblázatban látható:

Az alaptábla ugyanazokat az adatokat tartalmazza, mint az eredeti adatbázistábla, kivéve azokat a gyűjteményeket, amelyek nem szerepelnek a táblából, és más virtuális táblákban vannak kibontva.

Az alábbi táblázatok azokat a virtuális táblákat mutatják be, amelyek újranormalizálják az adatokat a Lista, a Térkép és a StringSet oszlopból. A "_index" vagy "_key" végződésű oszlopok jelzik az adatok helyét az eredeti listában vagy térképen. A "_value" végződésű neveket tartalmazó oszlopok tartalmazzák a gyűjteményből származó kibontott adatokat.

"ExampleTable_vt_List" tábla:

"ExampleTable_vt_Map" tábla:

"ExampleTable_vt_StringSet" táblázat:

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

Kapcsolódó tartalom

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.