Log Analytics migrálási útmutató Azure HDInsight-fürtökhöz

Az Azure HDInsight egy nagyvállalati használatra kész, felügyelt fürtszolgáltatás. Ez a szolgáltatás olyan nyílt forráskódú elemzési keretrendszereket futtat, mint az Apache Spark, a Hadoop, a HBase és a Kafka az Azure-ban. Az Azure HDInsight integrálva van más Azure-szolgáltatásokkal, hogy az ügyfelek hatékonyabban kezelhessék big data-elemzési alkalmazásaikat.

A Log Analytics egy eszközt biztosít az Azure Portalon a napló lekérdezéseinek szerkesztéséhez és futtatásához. A lekérdezések az Azure Monitor-naplók által gyűjtött adatokból származnak, és interaktívan elemzik az eredményeket. Az ügyfelek Log Analytics-lekérdezésekkel lekérhetik az adott feltételeknek megfelelő rekordokat. Lekérdezésekkel azonosíthatják a trendeket, elemezhetik a mintákat, és betekintést nyerhetnek az adataikba.

Az Azure HDInsight 2017-ben engedélyezte a Log Analytics integrációját. A HDInsight-ügyfelek gyorsan elfogadták ezt a funkciót a HDInsight-fürtök monitorozásához és a fürtök naplóinak lekérdezéséhez. Bár a funkció bevezetése megnövekedett, az ügyfelek visszajelzést adtak az integrációról:

• Az ügyfelek nem tudják eldönteni, hogy mely naplókat tárolják, és az összes napló tárolása költségessé válhat.
• Az aktuális HDInsight-sémák naplói nem követik a konzisztens elnevezési konvenciókat, és egyes táblák ismétlődőek.
• Az ügyfelek egy beépített irányítópultot szeretnének használni a HDInsight-fürtök KPI-jének egyszerű figyeléséhez.
• Az egyszerű lekérdezések futtatásához az ügyfeleknek a Log Analyticsre kell ugraniuk.

Megoldás áttekintése

Figyelembe véve az ügyfelek visszajelzését, az Azure HDInsight csapata az Azure Monitorral való integrációba fektetett be. Ez az integráció a következőket teszi lehetővé:

• Új táblakészlet az ügyfelek Log Analytics-munkaterületén. Az új táblák egy új Log Analytics-folyamaton keresztül érkeznek.
• Nagyobb megbízhatóság
• Gyorsabb naplók kézbesítése
• Erőforrás-alapú táblacsoportozás és alapértelmezett lekérdezések

Az új Azure Monitor-integráció előnyei

Ez a dokumentum ismerteti az Azure Monitor-integráció változásait, és ajánlott eljárásokat biztosít az új táblák használatához.

Újratervezett sémák: Az új Azure Monitor-integráció sémaformázása jobban rendszerezett és könnyen érthető. Az örökölt sémákban a lehető legtöbb kétértelműség eltávolításához kétharmadával kevesebb séma található.

Szelektív naplózás: A Log Analytics szolgáltatással naplók és metrikák érhetők el. A monitorozási költségek csökkentése érdekében egy új szelektív naplózási funkciót fogunk kiadni. Ezzel a funkcióval be- és kikapcsolhatja a különböző naplókat és metrikaforrásokat. Ezzel a funkcióval csak a használatért kell fizetnie. További részletekért lásd: Szelektív naplózás

Naplófürt portálintegráció: A Naplók panel új a HDInsight-fürtportálon. A fürthöz hozzáféréssel rendelkezők ezen a panelen lekérdezhetik azokat a táblákat, amelyekbe a fürterőforrás rekordokat küld. A felhasználóknak már nincs szükségük hozzáférésre a Log Analytics-munkaterülethez egy adott fürterőforrás rekordjainak megtekintéséhez.

Insights-fürtportál integrációja: Az Elemzések panel szintén új a HDInsight-fürtportálon. Az új Azure Monitor-integráció engedélyezése után kiválaszthatja az Elemzések panelt, és a fürt típusára vonatkozó beépített naplók és metrikák irányítópult automatikusan fel lesznek töltve. Ezeket az irányítópultokat átdolgoztuk a korábbi Azure-megoldásokból. Részletes betekintést nyújtanak a fürt teljesítményébe és állapotába.

Ügyfélforgatókönyvek

A következő szakaszok bemutatják, hogyan használhatják az ügyfelek az új Azure Monitor-integrációt különböző forgatókönyvekben. Az Új Azure Monitor-integráció aktiválása szakasz az új Azure Monitor-integráció aktiválását és használatát ismerteti. A klasszikus Azure Monitorról az új Azure Monitor-integrációs szakaszba való migrálás további információkat tartalmaz a régi Azure Monitor-integrációtól függő felhasználók számára.

Új Azure Monitor-integráció aktiválása

Az új integráció aktiválásához lépjen a fürt portállapjára, és görgessen lefelé a bal oldali menüben, amíg el nem éri a Figyelés szakaszt. A Figyelés szakaszban válassza az Integráció monitorozása lehetőséget. Ezután válassza az Engedélyezés lehetőséget , és kiválaszthatja azt a Log Analytics-munkaterületet, ahová a naplókat el szeretné küldeni. A munkaterület kiválasztása után válassza a Mentés lehetőséget.

Az új táblák elérése

Az új táblák kétféleképpen érhetők el.

1. megközelítés:

Az új táblák első elérésének módja a Log Analytics-munkaterületen keresztül érhető el.

1. Nyissa meg az integráció engedélyezésekor kiválasztott Log Analytics-munkaterületet.
2. Görgessen le a képernyő bal oldalán található menüben, és válassza a Naplók lehetőséget. A Naplók lekérdezésszerkesztő megjelenik a munkaterület összes táblájának listájával.
3. Ha a táblák megoldás szerint vannak csoportosítva, az új HDI-táblák a Naplók kezelése szakaszban találhatók.
4. Ha a táblákat erőforrástípus szerint csoportosítja, a táblák a HDInsight-fürtök szakasz alatt találhatók az alábbi képen látható módon.

2. megközelítés:

Az új táblák elérésének második módja a Fürtportál elérése.

1. Lépjen a fürt portállapjára, és görgessen lefelé a bal oldalon található menüben, amíg meg nem jelenik a Figyelés szakasz. Ebben a szakaszban a Naplók panel jelenik meg.
2. Válassza a Naplók lehetőséget, és megjelenik egy Napló lekérdezésszerkesztő. A szerkesztő tartalmazza a fürterőforráshoz társított összes naplót. Amikor engedélyezte az integrációt, elküldte a naplókat a Log Analytics-munkaterületre. Ezek a naplók erőforrás-alapú hozzáférést (RBAC) biztosítanak. Az RBAC-ben azok a felhasználók láthatják a fürthöz társított naplókat, akik hozzáférnek a fürthöz, de nem a munkaterülethez.

Összehasonlításképpen az alábbi képernyőképek az örökölt integrációs munkaterület nézetet és az új integrációs munkaterület nézetet jelenítik meg:

Örökölt integrációs munkaterület nézet

Új integrációs munkaterület nézet

Az új táblák használata

Ezek az integrációk segíthetnek az új táblák használatában:

Az új táblákkal használható alapértelmezett lekérdezések

A Naplók lekérdezésszerkesztőben állítsa a kapcsolót Lekérdezések értékre a táblák listája fölött. Győződjön meg arról, hogy a lekérdezéseket erőforrástípus szerint csoportosítja, és hogy a HDInsight-fürtöken kívül más erőforrástípushoz nincs szűrőkészlet. Az alábbi kép azt mutatja be, hogyan néznek ki az eredmények, ha erőforrástípus szerint csoportosítják és szűrik a HDInsight-fürtökre. Csak válasszon egyet, és megjelenik a Naplók lekérdezésszerkesztőben. Mindenképpen olvassa el a lekérdezésekben szereplő megjegyzéseket, mert néhány esetben meg kell adnia néhány információt, például a fürt nevét, hogy a lekérdezés sikeresen fusson.

Saját lekérdezések létrehozása

Saját lekérdezéseket a Naplók lekérdezésszerkesztőben adhat meg. A régi táblákban használt lekérdezések nem lesznek érvényesek az új táblákra, mivel sok új tábla új, kifinomult sémákkal rendelkezik. Az alapértelmezett lekérdezések nagyszerű referenciák az új táblák lekérdezéseinek alakításához.

Elemzések

Az elemzések az Azure-munkafüzetek használatával készített fürtspecifikus vizualizációs irányítópultok. Ezek az irányítópultok részletes grafikonokat és vizualizációkat nyújtanak a fürt futásáról. Az irányítópultok szakaszokkal rendelkeznek az egyes fürttípusokhoz, YARN-hoz, rendszermetrikákhoz és összetevőnaplókhoz. A fürt irányítópultját úgy érheti el, hogy megtekinti a fürt lapját a portálon, görgessen le a Figyelés szakaszhoz, és válassza az Elemzések panelt. Az irányítópult automatikusan betöltődik, ha engedélyezte az új integrációt. A diagramok betöltésének engedélyezése néhány másodpercig a naplók lekérdezése során.

Egyéni Azure-munkafüzetek

Létrehozhat saját Azure-munkafüzeteket egyéni grafikonokkal és vizualizációkkal. A fürt portáloldalán görgessen le a Figyelés szakaszhoz, és válassza a Munkafüzetek panelt a bal oldali menüben. Használhat üres sablont, vagy használhatja az egyik sablont a HDInsight-fürtök szakaszban. Minden fürttípushoz tartozik egy sablon. A sablonok akkor hasznosak, ha olyan testreszabásokat szeretne menteni, amelyeket az alapértelmezett HDInsight Insights nem biztosít. Ha úgy érzi, hogy hiányzik valami, küldjön kéréseket a HDInsight Insights új funkcióira vonatkozóan.

Riasztások

A Napló lekérdezésszerkesztőben egyéni riasztásokat adhat hozzá a fürtökhöz és munkaterületekhez. Nyissa meg a Naplók lekérdezésszerkesztőt úgy, hogy kiválasztja a Naplók panelt a fürtből vagy a munkaterület-portálról. Futtasson egy lekérdezést, majd válassza az Új riasztási szabály lehetőséget az alábbi képernyőképen látható módon. További információ a riasztások konfigurálásáról.

Migrálás az új Azure Monitor-integrációba

Ha a klasszikus Azure Monitor-integrációt használja, az új Azure Monitor-integrációra való váltás után módosítania kell az új táblázatformátumokat.

Az új Azure Monitor-integráció engedélyezéséhez kövesse az Új Azure Monitor-integráció aktiválása szakaszban ismertetett lépéseket.

Lekérdezések futtatása a Log Analyticsben

Mivel az új táblázat formátuma eltér az előzőtől, a lekérdezéseket át kell dolgoznunk, hogy használhassa az új táblákat. Az új Azure Monitor-integráció engedélyezése után a táblákban és sémákban böngészve azonosíthatja a régi lekérdezésekben használt mezőket.

A régi tábla és az új tábla közötti leképezési táblával gyorsan megtalálhatja az irányítópultok és lekérdezések áttelepítéséhez szükséges új mezőket.

Alapértelmezett lekérdezések: Alapértelmezett lekérdezéseket hoztunk létre, amelyek bemutatják, hogyan használhatók az új táblák a gyakori helyzetekhez. Az alapértelmezett lekérdezések azt is megjelenítik, hogy milyen információk érhetők el az egyes táblákban. Az alapértelmezett lekérdezésekhez a jelen cikk Új táblák szakaszában található Alapértelmezett lekérdezések szakasz utasításait követve férhet hozzá.

HDInsight-fürtök irányítópultjának frissítése

Ha több irányítópultot is létrehozott a HDInsight-fürtök monitorozásához, az új Azure Monitor-integráció engedélyezése után módosítania kell a tábla mögötti lekérdezést. Előfordulhat, hogy a tábla vagy a mező neve megváltozik az új integrációban, de a régi integrációban szereplő összes információ megtalálható benne.

Az irányítópultok mögötti lekérdezés frissítéséhez tekintse meg a régi tábla/séma közötti leképezési táblát az új táblára/sémára.

Beépített irányítópultok

A beépített irányítópultokat a fürt szintjén is továbbfejlesztettük. Minden gráf jobb felső sarkában található egy gomb, amellyel megtekintheti az információt előállító mögöttes lekérdezést. A gráf nagyszerű módja annak, hogy megismerje, hogyan kérdezhetők le hatékonyan az új táblák.

Mindkét integráció engedélyezése a migrálás felgyorsításához

Egyszerre aktiválhatja a klasszikus és az új Azure Monitor-integrációt is egy olyan fürtön, amely mindkét integrációra jogosult az új Azure Monitor-integrációra való gyors migráláshoz. Az új integráció a 2020. szeptember közepe után létrehozott összes fürthöz elérhető.

Így egyszerűen összehasonlíthatja egymás mellett a használt lekérdezéseket.

A klasszikus integráció engedélyezése

Ha 2020. szeptember közepe után létrehozott fürtöt használ, az új portált a fürt portálján fogja látni. Az új folyamat engedélyezéséhez kövesse az Új Azure Monitor-integráció aktiválása szakaszban ismertetett lépéseket. A fürt klasszikus integrációjának aktiválásához nyissa meg a fürt portálját. Válassza a Monitorozás integrációs panelt a fürtportál bal oldalán található menü Figyelés szakaszában. Válassza az Azure Monitor for HDInsight-fürtök integrációjának konfigurálása (klasszikus) lehetőséget. A klasszikus Azure Monitoring-integráció engedélyezéséhez és letiltásához használható kapcsolóval megjelenik egy mellékkörnyezet.

A klasszikus Azure Monitor-integrációval rendelkező új fürtök létrehozása 2023. január 1. után nem érhető el.

Kiadási és támogatási ütemterv

• A klasszikus Azure Monitoring-integráció 2021. október 15. után nem érhető el. A klasszikus Azure Monitoring-integrációt a dátum után nem engedélyezheti.
• A klasszikus Azure Monitoring-integráció 2024. augusztus 31-e után nem működik.
• Az Azure Monitor-integrációval (előzetes verzió) rendelkező HDInsight-fürtök 2025. február 1-jén nem támogatottak.
• A meglévő Azure Monitor-integráció (előzetes verzió) 2025. január 31-ig továbbra is működni fog. Az Azure Monitor-integráció (előzetes verzió) csak korlátozott mértékben támogatott.
  • Ha a megoldás képmódosítást igényel, az ügyfeleknek át kell lépni az új integrációra.
  • A Microsoft a kritikus biztonsági problémák kivételével nem fogja javítani az Azure Monitor-integrációs (előzetes verziójú) fürtöket.

Függelék: Táblázatleképezés

A log table mappings from the classic Azure Monitor integration to the new one, see Log table mapping.

Kapcsolódó tartalom

Azure Monitor-naplók lekérdezése HDInsight-fürtök monitorozásához