Előzményadatok betöltése az Azure Data Explorer

A LightIngest hasznos lehet az előzményadatok betöltéséhez egy meglévő tárolórendszerből az Azure Data Explorer. Bár saját parancsot is létrehozhat a parancssori argumentumok listájával, ez a cikk bemutatja, hogyan hozhatja létre automatikusan ezt a parancsot egy betöltési varázslóval. A parancs létrehozása mellett ez a folyamat egy új tábla létrehozására és sémaleképezés létrehozására is használható. Ez az eszköz sémaleképezést következtet az adathalmazból.

Cél

1. Az Azure Data Explorer webes felhasználói felületén, a bal oldali menüben válassza a Lekérdezés lehetőséget.

2. Kattintson a jobb gombbal arra az adatbázisra, amelyben az adatokat be szeretné betöltése, majd válassza a LightIngest parancsot.

   

   Megnyílik az Adatok betöltése ablak, amelyen a Cél lap van kijelölve. A Rendszer automatikusan kitölti a Fürt és az Adatbázis mezőket.

3. Válasszon ki egy céltáblát. Ha adatokat szeretne bevinni egy új táblába, válassza az Új tábla lehetőséget, majd adjon meg egy táblanevet.

   Megjegyzés

   A táblanevek legfeljebb 1024 karakterből állhatnak, beleértve a szóközöket, alfanumerikus karaktereket, kötőjeleket és aláhúzásjeleket. A speciális karakterek nem támogatottak.

   

4. Válassza a Tovább: Forrás lehetőséget.

Forrás

1. A Forrás kiválasztása területen válassza az URL-cím hozzáadása vagy a Tároló kiválasztása lehetőséget.

   • URL-cím hozzáadásakor a Hivatkozás a forráshoz területen adja meg a fiókkulcsot vagy a SAS URL-címet egy tárolóhoz. Az SAS URL-címet manuálisan vagy automatikusan is létrehozhatja.

   • Amikor kiválaszt egy tárolót a tárfiókból, válassza ki a Storage-előfizetését, a Tárfiókját és a Tárolót a legördülő menükből.

     

   Megjegyzés

   Legfeljebb 6 GB méretű fájl tölthető be. A javaslat a 100 MB és 1 GB közötti fájlok betöltése.

2. A Speciális beállítások lehetőséget választva további beállításokat adhat meg a betöltési folyamathoz a LightIngest használatával.

   

3. A Speciális konfiguráció panelen adja meg a LightIngest beállításokat az alábbi táblázatnak megfelelően.

   

   Tulajdonság	Leírás
   Létrehozási idő minta	Adja meg, hogy felülbírálja-e a létrehozott mérték betöltési idő tulajdonságát egy mintával, például a tároló mappaszerkezetén alapuló dátum alkalmazásához. Lásd még : Létrehozási idő minta.
   Blobnév minta	Adja meg a betöltendő fájlok azonosításához használt mintát. Betölti az összes olyan fájlt, amely megfelel az adott tárolóban lévő blobnév-mintának. Támogatja a helyettesítő karaktereket. Ajánlott idézőjelekbe ágyazni.
   Tag	A betöltött adatokhoz rendelt címke . A címke bármilyen sztring lehet.
   Fájlok mennyiségének korlátozása	Adja meg a betölthető fájlok számát. Betölti a blobnév mintájának megfelelő első n fájlokat a megadott számig.
   Ne várjon, amíg a betöltés befejeződik	Ha be van állítva, a betöltési folyamat monitorozása nélkül várólistára állítja a blobokat. Ha nincs beállítva, a LightIngest továbbra is lekérdezi a betöltési állapotot, amíg a betöltés be nem fejeződik.
   Csak a kijelölt elemek megjelenítése	Sorolja fel a tárolóban lévő fájlokat, de nem betölti őket.

4. Válassza a Kész lehetőséget a Forrás lapra való visszatéréshez.

   1. A Fájlszűrők lehetőséget választva szűrheti az adatokat úgy, hogy csak egy adott mappa elérési útján vagy egy adott fájlkiterjesztéssel rendelkező fájlokat fogadjanak be.

      

      Alapértelmezés szerint a tároló egyik fájlja véletlenszerűen van kiválasztva, és a tábla sémájának létrehozásához használatos.

   2. Ha szeretné, a Sémameghatározó fájl területen megadhatja a használni kívánt fájlt.

5. Válassza a Tovább: Séma lehetőséget a táblázat oszlopkonfigurációjának megtekintéséhez és szerkesztéséhez.

Séma

A sémalapon megtekintheti az adatok előnézetét.

A LightIngest parancs létrehozásához válassza a Tovább: Betöltés indítása lehetőséget.

Vagy:

• Módosítsa az automatikusan levont adatformátumot a legördülő menüben a kívánt formátum kiválasztásával.
• Módosítsa az automatikusan kikövetkeztetett leképezés nevét. Alfanumerikus karaktereket és aláhúzásokat is használhat. A szóközök, a speciális karakterek és az kötőjelek nem támogatottak.
• Meglévő tábla használata esetén megtarthatja az aktuális táblasémát , ha a táblaséma megegyezik a kijelölt formátummal.
• Válassza a Parancsmegjelenítő lehetőséget a bemenetekből létrehozott automatikus parancsok megtekintéséhez és másolásához.
• Oszlopok szerkesztése. A Részleges adatok előnézete területen válassza ki az oszlop legördülő menüjét a tábla különböző aspektusainak módosításához.

A táblázatban végrehajtott módosítások a következő paraméterektől függnek:

• A táblatípus új vagy meglévő
• A leképezés típusa új vagy meglévő

Betöltés

1. Miután a tábla, a leképezés és a LightIngest parancs zöld pipával van megjelölve, a létrehozott LightIngest parancs másolásához kattintson a Generált parancs jobb felső sarkában található másolás ikonra.

   

   Megjegyzés

   Szükség esetén a LightIngest eszközt a LightIngest letöltése lehetőség kiválasztásával töltheti le.

2. A betöltési folyamat befejezéséhez a LightIngest parancsot kell futtatnia a másolt paranccsal.

1. lépés: Előkészítés az újraparticionálásra

1. Módosítsa a megőrzési szabályzatot a régi adatok engedélyezéséhez. Az alábbi példában a MyTable tábla adatmegőrzési szabályzatát 10 évre állítja be.

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. Módosítsa a gyorsítótárazási szabályzatot úgy, hogy az összes adat a gyors gyorsítótárban legyen az újraparticionáláshoz, mivel csak a gyakori elérésű adatok lehetnek újraparticionáltak a betöltést követően. Az alábbi példában a MyTable tábla gyorsítótárazását 10 évre állítja.

   .alter table MyTable policy caching hot = 3650d
   

   Fontos

   A gyorsítótárazási szabályzat növelése a normál műveleteknél lényegesen több gyorsgyorsítótárat használhat, ami megnövelheti a költségeket.

2. lépés: Újraparticionálás kezdeményezése

1. Hozzon létre egy particionálási szabályzatot, amely particionálja az adatokat a nevű Timestamposzlop alapján. Az alábbi példában a MyTable tábla particionálási szabályzatát a nevű Timestamposzlop particionálására állította be.

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   A particionálási szabályzat tulajdonságaival kapcsolatos információkért lásd: partíciótulajdonságok. Az előzménybetöltés szempontjából fontos, hogy hogyan állítsa be a következő tulajdonságokat:

   • Az EffectiveDateTime tulajdonságot a betöltés kezdete előtti dátumra kell állítani az újraparticionálás aktiválásához.
   • A RangeSize érték egy napra van állítva, így az adatok egy nap gyűjtőibe lesznek csoportosítva. Ezt az értéket azonban úgy kell beállítania, hogy megfeleljen az adatoknak. Ha például több GB-nál kevesebb adata van naponta, érdemes lehet nagyobb értéket beállítania.
   • A OverrideCreationTime értéket true (igaz ) értékre kell állítani, hogy az adatok napi gyűjtőkbe való újraparticionálása után a mértékek az adott nappal legyenek megjelölve létrehozási időként.

2. Állítson be egy egyesítési szabályzatot, amely lehetővé teszi az összes mérték egyesítését, beleértve a 14 napnál régebbi mértékeket is. A házirend beállítása azért fontos, mert az újraparticionálási folyamat 14 napnál régebbi mértékeket hoz létre, amelyeket alapértelmezés szerint kizár az egyesítési folyamat.

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. Monitorozza az újraparticionálási folyamatot az .show database extents partitioning statistics paranccsal. A visszaadott eredmények között keresse meg az újraparticionált táblát, és figyelje a PartitionedRowPercentage oszlopot. Ha a PartitionedRowPercentage oszlop értéke 100, az újraparticionálás befejeződött.

3. lépés: Az újraparticionálás utáni tisztítás

Az újraparticionálás befejezése után törölheti az előző lépésekben beállított szabályzatokat.

1. Távolítsa el a particionálási szabályzatot.

   .delete table MyTable policy partitioning
   

2. Távolítsa el az egyesítési szabályzatot.

   .delete table MyTable policy merge
   

3. Távolítsa el vagy állítsa be a gyorsítótárazási szabályzatot.

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. Távolítsa el vagy állítsa be a megőrzési szabályzatot.

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

Kapcsolódó tartalom

• Adatok lekérdezése az Azure Data Explorer