Betöltési leképezések

A következőkre vonatkozik: ✅Microsoft Fabric✅Azure Data Explorer

A betöltési leképezések a betöltés során a bejövő adatok táblákon belüli oszlopaihoz való leképezésére szolgálnak.

Az Adatkezelő különböző típusú leképezéseket támogat, sororientált (CSV, JSON, AVRO és W3CLOGFILE) és oszloporientált (Parquet és ORC).

A betöltési leképezések definiálhatók a betöltési parancsban, vagy előre létrehozott, és ingestionMappingReference paraméterekkel hivatkozhatnak a betöltési parancsra. A betöltés leképezés megadása nélkül lehetséges. További információ: identitásleképezési.

A leképezési lista minden eleme három mezőből épül fel:

Támogatott leképezési típusok

Az alábbi táblázat egy adott formátumú külső adatok betöltéséhez vagy lekérdezéséhez használandó leképezési típusokat határozza meg.

Példák a betöltési leképezésre

Az alábbi példák a RawEvents táblát használják a következő sémával:

.create table RawEvents (timestamp: datetime, deviceId: guid, messageId: guid, temperature: decimal, humidity: decimal) 

Egyszerű leképezés

Az alábbi példa betöltést mutat be, ahol a leképezés a betöltési parancsban van definiálva. A parancs betölt egy JSON-fájlt egy URL-címről a RawEvents táblába. A leképezés megadja a JSON-fájl egyes mezőinek elérési útját.

.ingest into table RawEvents ('https://kustosamplefiles.blob.core.windows.net/jsonsamplefiles/simple.json') 
    with (
            format = "json",
            ingestionMapping =
            ```
            [ 
              {"column":"timestamp","Properties":{"path":"$.timestamp"}},
              {"column":"deviceId","Properties":{"path":"$.deviceId"}},
              {"column":"messageId","Properties":{"path":"$.messageId"}},
              {"column":"temperature","Properties":{"path":"$.temperature"}},
              {"column":"humidity","Properties":{"path":"$.humidity"}}
            ]
            ```
          )

Leképezés ingestionMappingReference

Ha ugyanazt a JSON-fájlt előre létrehozott leképezéssel szeretné megfeleltetni, hozza létre a RawEventMapping betöltési leképezési hivatkozást a következő paranccsal:

.create table RawEvents ingestion json mapping 'RawEventMapping' 
  ```
  [ 
    {"column":"timestamp","Properties":{"path":"$.timestamp"}},
    {"column":"deviceId","Properties":{"path":"$.deviceId"}},
    {"column":"messageId","Properties":{"path":"$.messageId"}},
    {"column":"temperature","Properties":{"path":"$.temperature"}},
    {"column":"humidity","Properties":{"path":"$.humidity"}}
  ]
  ```

A JSON-fájl betöltése a RawEventMapping betöltési leképezési hivatkozással a következő paranccsal:

.ingest into table RawEvents ('https://kustosamplefiles.blob.core.windows.net/jsonsamplefiles/simple.json') 
  with (
          format="json",
          ingestionMappingReference="RawEventMapping"
        )

Identitásleképezés

A betöltés ingestionMapping vagy ingestionMappingReference tulajdonságok megadása nélkül lehetséges. Az adatok leképezése a tábla sémájából származtatott identitásadatok leképezésével történik. A táblaséma változatlan marad. format tulajdonságot kell megadni. Lásd betöltési formátumokat.

Leképezési átalakítások

Egyes adatformátum-leképezések (Parquet, JSON és AVRO) egyszerű és hasznos betöltési idejű átalakításokat támogatnak. Ha a forgatókönyv betöltésekor összetettebb feldolgozásra van szükség, használja Frissítési szabályzat, amely lehetővé teszi a KQL-kifejezéssel történő egyszerűsített feldolgozás definiálását.

Leképezési átalakítási példák

DropMappedFields átalakítás:

Tekintettel a következő JSON-tartalomra:

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "EventName": "CustomEvent",
        "Revenue": 0.456
    }
}

A következő adatleképezés a teljes Props objektumot dinamikus Props, a már megfeleltetett oszlopok kizárása mellett (Props.EventName már EventNameoszlopba van leképezve, ezért ki van zárva).

[
    { "Column": "Time", "Properties": { "Path": "$.Time" } },
    { "Column": "EventName", "Properties": { "Path": "$.Props.EventName" } },
    { "Column": "Props", "Properties": { "Path": "$.Props", "Transform":"DropMappedFields" } },
]

A betöltött adatok a következőképpen néznek ki:

BytesAsBase64 átalakítás

Tekintettel a következő AVRO-fájl tartalmára:

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "id": [227,131,34,92,28,91,65,72,134,138,9,133,51,45,104,52]
    }
}

Az alábbi adatleképezés kétszer leképezi az azonosító oszlopot átalakítással és anélkül.

[
    { "Column": "ID", "Properties": { "Path": "$.props.id" } },
    { "Column": "Base64EncodedId", "Properties": { "Path": "$.props.id", "Transform":"BytesAsBase64" } },
]

A betöltött adatok a következőképpen néznek ki: