Adatok lekérése az Azure Event Hubsból

Ebből a cikkből megtudhatja, hogyan kérhet le adatokat az Event Hubsból a KQL-adatbázisba a Microsoft Fabricben. Az Azure Event Hubs egy big data streamelési platform és eseménybetöltési szolgáltatás, amely másodpercenként több millió esemény feldolgozására és irányítására képes.

Ha adatokat szeretne streamelni az Event Hubsból a valós idejű intelligenciába, két fő lépésen kell végighaladnia. Az első lépés az Azure Portalon történik, ahol meghatározza a megosztott hozzáférési szabályzatot az eseményközpont-példányon, és rögzíti a szabályzaton keresztül történő későbbi csatlakozáshoz szükséges részleteket.

A második lépés a Fabric valós idejű intelligenciájában történik, ahol egy KQL-adatbázist csatlakoztat az eseményközponthoz, és konfigurálja a sémát a bejövő adatokhoz. Ez a lépés két kapcsolatot hoz létre. Az első, "felhőkapcsolatnak" nevezett kapcsolat összekapcsolja a Microsoft Fabricet az eseményközpont-példánysal. A második kapcsolat összekapcsolja a "felhőkapcsolatot" a KQL-adatbázissal. Miután befejezte az eseményadatok és a séma konfigurálását, a streamelt adatok egy KQL-lekérdezéskészlet használatával kérdezhetők le.

Ha az Event Hubsból szeretne adatokat lekérni az EventStream használatával, olvassa el az Azure Event Hubs-forrás hozzáadása egy eseménystreamhez című témakört.

Előfeltételek

• Azure-előfizetés. Hozzon létre egy ingyenes Azure-fiókot
• Eseményközpont
• Microsoft Fabric-kompatibilis kapacitással rendelkező munkaterület
• KQL-adatbázis szerkesztési engedélyekkel

Megosztott hozzáférési szabályzat beállítása az eseményközpontban

Ahhoz, hogy kapcsolatot létesíthessen az Event Hubs-adatokkal, be kell állítania egy közös hozzáférési szabályzatot (SAS) az eseményközpontban, és össze kell gyűjtenie a kapcsolat későbbi beállításához használandó információkat. Az Event Hubs-erőforrásokhoz való hozzáférés engedélyezéséről további információt a Közös hozzáférésű jogosultságkódok című témakörben talál.

1. Az Azure Portalon keresse meg a csatlakoztatni kívánt eseményközpont-példányt.

2. A Beállítások területen válassza a Megosztott hozzáférési szabályzatok lehetőséget

3. Válassza a +Hozzáadás lehetőséget egy új SAS-szabályzat hozzáadásához, vagy válasszon ki egy meglévő, Kezelés engedélyekkel rendelkező szabályzatot.

   

4. Adjon meg egy szabályzatnevet.

5. Válassza a Kezelés, majd a Létrehozás lehetőséget.

Információgyűjtés a felhőkapcsolatról

Az SAS-szabályzat panelen jegyezze fel a következő négy mezőt. Érdemes lehet másolni ezeket a mezőket, és beilleszteni valahová, például egy jegyzettömbbe, hogy egy későbbi lépésben használhassa.

Forrás

1. A KQL-adatbázis alsó menüszalagján válassza az Adatok lekérése lehetőséget.

   Az Adatok lekérése ablakban a Forrás lap van kijelölve.

2. Válassza ki az adatforrást az elérhető listából. Ebben a példában az Event Hubsból betölti az adatokat.

   

Konfigurálás

1. Válasszon ki egy céltáblát. Ha adatokat szeretne bevinni egy új táblába, válassza az + Új tábla lehetőséget, és adjon meg egy táblanevet.

   Feljegyzés

   A táblázatnevek legfeljebb 1024 karakter hosszúságúak lehetnek, például szóközök, alfanumerikusak, kötőjelek és aláhúzásjelek. A speciális karakterek nem támogatottak.

2. Válassza az Új kapcsolat létrehozása lehetőséget, vagy válassza a Meglévő kapcsolat lehetőséget, és ugorjon a következő lépésre.

Új kapcsolat létrehozása

1. Töltse ki a kapcsolatbeállításokat az alábbi táblázat szerint:

   

   Beállítás	Leírás	Példaérték
   Eseményközpont-névtér	A fenti táblázat d mezője.	eventhubpm15910.servicebus.windows.net
   Eseményközpont	Mező afenti táblázatból. Az eseményközpont-példány neve.	iotdata
   Connection	Ha meglévő felhőkapcsolatot szeretne használni a Fabric és az Event Hubs között, válassza ki a kapcsolat nevét. Ellenkező esetben válassza az Új kapcsolat létrehozása lehetőséget.	Új kapcsolat létrehozása
   Kapcsolat neve	Az új felhőkapcsolat neve. Ez a név automatikusan létre van hozva, de felülírható. A Háló bérlőn belül egyedinek kell lennie.	Kapcsolat
   Hitelesítési típus	Automatikusan feltöltve. Jelenleg csak a megosztott hozzáférési kulcs támogatott.	Megosztott hozzáférési kulcs
   Közös hozzáférésű hozzáférési kulcs neve	A fenti táblázat b mezője. A megosztott hozzáférési szabályzatnak adott név.	DocsTest
   Megosztott hozzáférési kulcs	A fenti táblázat c mezője. Az SAS-szabályzat elsődleges kulcsa.

2. Válassza a Mentés lehetőséget. Létrejön egy új felhőalapú adatkapcsolat a Fabric és az Event Hubs között.

A felhőkapcsolat csatlakoztatása a KQL-adatbázishoz

Akár új felhőkapcsolatot hozott létre, akár meglévőt használ, meg kell határoznia a fogyasztói csoportot. Igény szerint olyan paramétereket is beállíthat, amelyek tovább határozzák meg a KQL-adatbázis és a felhőkapcsolat közötti kapcsolat szempontjait.

1. Töltse ki a következő mezőket a táblázatnak megfelelően:

   

   Beállítás	Leírás	Példaérték
   Fogyasztói csoport	Az eseményközpontban definiált releváns fogyasztói csoport. További információ: fogyasztói csoportok. Egy új fogyasztói csoport hozzáadása után ezt a csoportot ki kell választania a legördülő listából.	NewConsumer
   További paraméterek
   Tömörítés	Az események adattömörítése az eseményközpontból származik. A beállítások a Nincs (alapértelmezett) vagy a Gzip-tömörítés.	Egyik sem
   Eseményrendszer tulajdonságai	További információkért tekintse meg az Event Hub rendszertulajdonságokat. Ha eseményüzenetenként több rekord is van, a rendszertulajdonságok hozzá lesznek adva az elsőhöz. Tekintse meg az eseményrendszer tulajdonságait.
   Eseménylekérés kezdő dátuma	Az adatkapcsolat lekéri az eseménylekérés kezdő dátuma óta létrehozott meglévő eseményközpont-eseményeket. Csak az eseményközpont által megtartott eseményeket tudja lekérni a megőrzési idő alapján. Az időzóna UTC. Ha nincs megadva idő, az alapértelmezett időpont az adatkapcsolat létrehozásának időpontja.

2. Kattintson a Tovább gombra a Vizsgálat lap folytatásához.

Eseményrendszer tulajdonságai

A rendszertulajdonságok az Event Hubs szolgáltatás által az esemény lekérdezésének időpontjában beállított tulajdonságokat tárolják. Az eseményközponthoz való adatkapcsolat egy kiválasztott rendszertulajdonság-készletet ágyazhat be egy táblába egy adott leképezés alapján.

Vizsgálat

A betöltési folyamat befejezéséhez válassza a Befejezés lehetőséget.

Vagy:

• Válassza a Parancsmegjelenítő lehetőséget a bemenetekből létrehozott automatikus parancsok megtekintéséhez és másolásához.

• Az automatikusan kikövetkezési adatformátum módosításához válassza ki a kívánt formátumot a legördülő listából. Az adatok az eseményközpontból lesznek beolvasva EventData-objektumok formájában. A támogatott formátumok a CSV, a JSON, a PSV, az SCsv, a SOHsv TSV, a TXT és a TSVE.

• Oszlopok szerkesztése.

• Az adattípus alapján megismerheti a speciális beállításokat.

• Ha az előnézeti ablakban látható adatok nem teljesek, előfordulhat, hogy több adatra van szüksége ahhoz, hogy az összes szükséges adatmezővel rendelkező táblát hozzon létre. Az alábbi parancsokkal új adatokat hívhat le az eseményközpontból:

  • Új adatok elvetése és beolvasása: elveti a megjelenített adatokat, és új eseményeket keres.
  • További adatok beolvasása: A már talált események mellett további eseményeket is keres.

Oszlopok szerkesztése

A táblázatban végrehajtott módosítások a következő paraméterektől függnek:

• A táblatípus új vagy meglévő
• A leképezési típus új vagy meglévő

Leképezési átalakítások

Egyes adatformátum-leképezések (Parquet, JSON és Avro) támogatják az egyszerű betöltési idejű átalakításokat. A leképezési átalakítások alkalmazásához hozzon létre vagy frissítsen egy oszlopot az Oszlopok szerkesztése ablakban.

A leképezési átalakítások egy sztring típusú vagy datetime típusú oszlopon végezhetők el, és a forrás adattípusa int vagy long. A támogatott leképezési átalakítások a következők:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Event Hubs Capture Avro-fájlok sémaleképezése

Az Event Hubs-adatok felhasználásának egyik módja az események rögzítése az Azure Event Hubson keresztül az Azure Blob Storage-ban vagy az Azure Data Lake Storage-ban. Ezután betöltheti a rögzítési fájlokat az Event Grid-adatkapcsolat használatával írott formában.

A rögzítési fájlok sémája eltér az Event Hubsnak küldött eredeti esemény sémájától. Ezt a különbséget szem előtt tartva érdemes megtervezni a céltábla sémáját. Pontosabban az esemény hasznos adatai bájttömbként jelennek meg a rögzítési fájlban, és ezt a tömböt nem dekódolja automatikusan az Event Grid Azure Data Explorer adatkapcsolata. Az Event Hubs Avro adatrögzítési adatainak fájlsémával kapcsolatos további információkért lásd : Rögzített Avro-fájlok feltárása az Azure Event Hubsban.

Az esemény hasznos adatainak helyes dekódolása:

1. Body A rögzített esemény mezőjének leképezése a céltábla típusoszlopáradynamic.
2. Alkalmazzon egy frissítési szabályzatot, amely a bájttömböt olvasható sztringgé alakítja a unicode_codepoints_to_string() függvénnyel.

Speciális beállítások adattípus alapján

Táblázatos (CSV, TSV, PSV):

• Ha táblázatos formátumokat használ egy meglévő táblában, válassza az Advanced> lehetőséget. A táblázatos adatok nem feltétlenül tartalmazzák a forrásadatok meglévő oszlopokhoz való leképezéséhez használt oszlopneveket. Ha ez a beállítás be van jelölve, a leképezés sorrendben történik, és a táblaséma változatlan marad. Ha ez a beállítás nincs bejelölve, a rendszer az adatstruktúrától függetlenül új oszlopokat hoz létre a bejövő adatokhoz.

• Ha az első sort oszlopnévként szeretné használni, válassza a Speciális>első sor oszlopfejléc lehetőséget.

  

JSON:

• A JSON-adatok oszlopelosztásának meghatározásához válassza a Speciális>beágyazott szintek lehetőséget 1 és 100 között.

• Ha a JSON-sorok speciális>hibákkal, az adatok JSON formátumban lesznek betöltve. Ha bejelöletlenül hagyja ezt a jelölőnégyzetet, az adatok több-egyenhangos formátumban lesznek betöltve.

  

Összegzés

Az Adat-előkészítés ablakban mind a három lépés zöld pipával van megjelölve, amikor az adatbetöltés sikeresen befejeződik. Kiválaszthat egy kártyát a lekérdezéshez, elvetheti a betöltött adatokat, vagy megtekintheti a betöltési összegzés irányítópultját.

Kapcsolódó tartalom

• Adatok lekérdezése KQL-lekérdezéskészletben
• Adatok vizualizációja Power BI-jelentésben
• Egy logikai másolat