Előzményadatok betöltése az Azure Data Explorer
Az Azure Data Explorer való előkészítés során gyakori forgatókönyv az előzményadatok betöltése, más néven visszatöltés. A folyamat magában foglalja az adatok betöltését egy meglévő tárolórendszerből egy táblába, amely a mértékek gyűjteménye.
Javasoljuk, hogy a creationTime betöltési tulajdonság használatával betöltse az előzményadatokat, hogy a mértékek létrehozási idejét az adatok létrehozásának idejére állítsa. Ha a létrehozási időt használja a betöltési particionálási feltételként, az adatok a gyorsítótár - és adatmegőrzési szabályzatoknak megfelelően öregedhetnek, és hatékonyabbá tehetik az időszűrőket.
Alapértelmezés szerint a mértékek létrehozási ideje az adatok betöltésének időpontjára van beállítva, ami nem feltétlenül a várt viselkedést eredményezheti. Tegyük fel például, hogy van egy táblája, amelynek gyorsítótár-időtartama 30 nap, megőrzési ideje pedig két év. A normál folyamatban az előállított adatok 30 napig gyorsítótárazva lesznek, majd hideg tárolóba kerülnek. Két év elteltével a létrehozási idő alapján a régebbi adatok naponta törlődnek. Ha azonban két év előzményadatokat ad meg, ahol alapértelmezés szerint az adatok betöltésekor létrehozási idő van megjelölve. Ez nem feltétlenül hozza létre a kívánt eredményt, mert:
- Minden adat a gyorsítótárba omlik, és 30 napig ott marad, a vártnál több gyorsítótárat használva.
- A régebbi adatokat a rendszer nem távolítja el egyszerre egyszer; ezért az adatok a szükségesnél hosszabb ideig maradnak meg a fürtön, és két év elteltével mindet egyszerre távolítják el.
- A forrásrendszerben korábban dátum szerint csoportosított adatok mostantól ugyanolyan mértékben kötegelve lehetnek, ami nem hatékony lekérdezéseket eredményez.
Ebből a cikkből megtudhatja, hogyan particionálhatja az előzményadatokat:
creationTime
A betöltési tulajdonság használata a betöltés során (ajánlott)Ahol lehetséges, betöltheti az előzményadatokat a
creationTime
betöltési tulajdonság használatával, amely lehetővé teszi a mértékek létrehozási idejének beállítását a fájlból vagy blob elérési útjából való kinyeréssel. Ha a mappaszerkezet nem használ létrehozási dátummintát, javasoljuk, hogy alakítsa át a fájl vagy blob elérési útját a létrehozási időnek megfelelően. Ezzel a módszerrel a rendszer a megfelelő létrehozási idővel betölti az adatokat a táblába, és helyesen alkalmazza a gyorsítótárat és a megőrzési időtartamokat.Megjegyzés
Alapértelmezés szerint a mértékek a létrehozás (betöltés) időpontja szerint vannak particionálva, és a legtöbb esetben nincs szükség adatparticionálási szabályzat beállítására.
Particionálási szabályzat használata a betöltés után
Ha nem tudja használni a
creationTime
betöltési tulajdonságot, például ha az Adatokat az Azure Cosmos DB-összekötővel betölti , ahol nem tudja szabályozni a létrehozási időt, vagy ha nem tudja átstrukturálja a mappastruktúrát, a betöltés után újraparticionálja a táblát, hogy ugyanazt a hatást érje el a particionálási szabályzat használatával. Ez a módszer azonban próba- és hibalehetőséget igényelhet a szabályzattulajdonságok optimalizálásához, és kevésbé hatékony, mint acreationTime
betöltési tulajdonság használata. Ezt a módszert csak akkor javasoljuk, ha acreationTime
betöltési tulajdonság használata nem lehetséges.
Előfeltételek
- Microsoft-fiók vagy Microsoft Entra felhasználói identitás. Nincs szükség Azure-előfizetésre.
- Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
- Egy tárfiók.
- A betöltési tulajdonság betöltés közbeni használatának ajánlott módszeréhez telepítse a
creationTime
LightIngestet.
Előzményadatok betöltése
Javasoljuk, hogy a betöltési tulajdonság használatával particionálja az creationTime
előzményadatokat a betöltés során. Ha azonban nem tudja használni ezt a módszert, particionálási szabályzattal újraparticionálhatja a betöltés utáni táblát.
A LightIngest hasznos lehet az előzményadatok betöltéséhez egy meglévő tárolórendszerből az Azure Data Explorer. Bár saját parancsot is létrehozhat a parancssori argumentumok listájával, ez a cikk bemutatja, hogyan hozhatja létre automatikusan ezt a parancsot egy betöltési varázslóval. A parancs létrehozása mellett ez a folyamat egy új tábla létrehozására és sémaleképezés létrehozására is használható. Ez az eszköz sémaleképezést következtet az adathalmazból.
Cél
Az Azure Data Explorer webes felhasználói felületén, a bal oldali menüben válassza a Lekérdezés lehetőséget.
Kattintson a jobb gombbal arra az adatbázisra, amelyben az adatokat be szeretné betöltése, majd válassza a LightIngest parancsot.
Megnyílik az Adatok betöltése ablak, amelyen a Cél lap van kijelölve. A Rendszer automatikusan kitölti a Fürt és az Adatbázis mezőket.
Válasszon ki egy céltáblát. Ha adatokat szeretne bevinni egy új táblába, válassza az Új tábla lehetőséget, majd adjon meg egy táblanevet.
Megjegyzés
A táblanevek legfeljebb 1024 karakterből állhatnak, beleértve a szóközöket, alfanumerikus karaktereket, kötőjeleket és aláhúzásjeleket. A speciális karakterek nem támogatottak.
Válassza a Tovább: Forrás lehetőséget.
Forrás
A Forrás kiválasztása területen válassza az URL-cím hozzáadása vagy a Tároló kiválasztása lehetőséget.
URL-cím hozzáadásakor a Hivatkozás a forráshoz területen adja meg a fiókkulcsot vagy a SAS URL-címet egy tárolóhoz. Az SAS URL-címet manuálisan vagy automatikusan is létrehozhatja.
Amikor kiválaszt egy tárolót a tárfiókból, válassza ki a Storage-előfizetését, a Tárfiókját és a Tárolót a legördülő menükből.
Megjegyzés
Legfeljebb 6 GB méretű fájl tölthető be. A javaslat a 100 MB és 1 GB közötti fájlok betöltése.
A Speciális beállítások lehetőséget választva további beállításokat adhat meg a betöltési folyamathoz a LightIngest használatával.
A Speciális konfiguráció panelen adja meg a LightIngest beállításokat az alábbi táblázatnak megfelelően.
Tulajdonság Leírás Létrehozási idő minta Adja meg, hogy felülbírálja-e a létrehozott mérték betöltési idő tulajdonságát egy mintával, például a tároló mappaszerkezetén alapuló dátum alkalmazásához. Lásd még : Létrehozási idő minta. Blobnév minta Adja meg a betöltendő fájlok azonosításához használt mintát. Betölti az összes olyan fájlt, amely megfelel az adott tárolóban lévő blobnév-mintának. Támogatja a helyettesítő karaktereket. Ajánlott idézőjelekbe ágyazni. Tag A betöltött adatokhoz rendelt címke . A címke bármilyen sztring lehet. Fájlok mennyiségének korlátozása Adja meg a betölthető fájlok számát. Betölti a blobnév mintájának megfelelő első n
fájlokat a megadott számig.Ne várjon, amíg a betöltés befejeződik Ha be van állítva, a betöltési folyamat monitorozása nélkül várólistára állítja a blobokat. Ha nincs beállítva, a LightIngest továbbra is lekérdezi a betöltési állapotot, amíg a betöltés be nem fejeződik. Csak a kijelölt elemek megjelenítése Sorolja fel a tárolóban lévő fájlokat, de nem betölti őket. Válassza a Kész lehetőséget a Forrás lapra való visszatéréshez.
A Fájlszűrők lehetőséget választva szűrheti az adatokat úgy, hogy csak egy adott mappa elérési útján vagy egy adott fájlkiterjesztéssel rendelkező fájlokat fogadjanak be.
Alapértelmezés szerint a tároló egyik fájlja véletlenszerűen van kiválasztva, és a tábla sémájának létrehozásához használatos.
Ha szeretné, a Sémameghatározó fájl területen megadhatja a használni kívánt fájlt.
Válassza a Tovább: Séma lehetőséget a táblázat oszlopkonfigurációjának megtekintéséhez és szerkesztéséhez.
Séma
A sémalapon megtekintheti az adatok előnézetét.
A LightIngest parancs létrehozásához válassza a Tovább: Betöltés indítása lehetőséget.
Vagy:
- Módosítsa az automatikusan levont adatformátumot a legördülő menüben a kívánt formátum kiválasztásával.
- Módosítsa az automatikusan kikövetkeztetett leképezés nevét. Alfanumerikus karaktereket és aláhúzásokat is használhat. A szóközök, a speciális karakterek és az kötőjelek nem támogatottak.
- Meglévő tábla használata esetén megtarthatja az aktuális táblasémát , ha a táblaséma megegyezik a kijelölt formátummal.
- Válassza a Parancsmegjelenítő lehetőséget a bemenetekből létrehozott automatikus parancsok megtekintéséhez és másolásához.
- Oszlopok szerkesztése. A Részleges adatok előnézete területen válassza ki az oszlop legördülő menüjét a tábla különböző aspektusainak módosításához.
A táblázatban végrehajtott módosítások a következő paraméterektől függnek:
- A táblatípus új vagy meglévő
- A leképezés típusa új vagy meglévő
Táblatípus | Leképezés típusa | Elérhető módosítások |
---|---|---|
Új táblázat | Új leképezés | Adattípus módosítása, Oszlop átnevezése, Új oszlop, Oszlop törlése, Oszlop frissítése, Növekvő rendezés, Csökkenő rendezés |
Meglévő tábla | Új leképezés | Új oszlop (amelyen módosíthatja az adattípust, átnevezheti és frissítheti), Oszlop frissítése, Növekvő rendezés, Csökkenő rendezés |
Meglévő leképezés | Növekvő rendezés, Csökkenő rendezés |
Megjegyzés
Új oszlop hozzáadásakor vagy oszlop frissítésekor módosíthatja a leképezési átalakításokat. További információ: Átalakítások leképezése
Betöltés
Miután a tábla, a leképezés és a LightIngest parancs zöld pipával van megjelölve, a létrehozott LightIngest parancs másolásához kattintson a Generált parancs jobb felső sarkában található másolás ikonra.
Megjegyzés
Szükség esetén a LightIngest eszközt a LightIngest letöltése lehetőség kiválasztásával töltheti le.
A betöltési folyamat befejezéséhez a LightIngest parancsot kell futtatnia a másolt paranccsal.