Megosztás a következőn keresztül:

Szelektív naplózás használata az Azure Monitor Agent (AMA) szkriptműveletével az Azure HDInsightban

  • Cikk

Az Azure Monitor Logs egy Azure Monitor-szolgáltatás, amely figyeli a felhőbeli és a helyszíni környezeteket. A monitorozás segít fenntartani a rendelkezésre állásukat és a teljesítményüket.

Az Azure Monitor-naplók a felhőbeli erőforrások, a helyszíni környezetekben lévő erőforrások és más monitorozási eszközök által létrehozott adatokat gyűjtik. Az adatokat több forrás elemzésére használja. Az elemzés lekéréséhez engedélyezze a szelektív naplózási funkciót a HDInsight szkriptműveletével az Azure Portalon.

Tudnivalók a szelektív naplózásról

A szelektív naplózás az Azure általános monitorozási rendszerének része. Miután csatlakoztatta a fürtöt egy Log Analytics-munkaterülethez, és engedélyezte a szelektív naplózást, olyan naplókat és metrikákat láthat, mint a HDInsight biztonsági naplói, a Yarn Resource Manager és a rendszermetrikák. Figyelheti a számítási feladatokat, és megtekintheti, hogy ezek hogyan befolyásolják a fürt stabilitását.

A szelektív naplózás lehetővé teszi az összes tábla engedélyezését vagy letiltását, illetve a kijelölt táblák engedélyezését a Log Analytics-munkaterületen. Az egyes táblák forrástípusát módosíthatja.

Feljegyzés

Ha a Log Analytics újratelepítve van egy fürtben, akkor ismét le kell tiltania az összes táblát és naplótípust. Az újratelepítés visszaállítja az összes konfigurációs fájlt az eredeti állapotba.

A szkriptműveletek szempontjai

  • A monitorozási rendszer a Metadata Server Daemont (egy monitorozási ügynököt) és a Fluentdet használja a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
  • A szelektív naplózás szkriptművelettel tiltja le vagy engedélyezi a táblákat és a naplótípusokat. Mivel a szelektív naplózás nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
  • A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására vagy engedélyezésére.

Előfeltételek

  • Egy Log Analytics-munkaterület. Ezt a munkaterületet úgy tekintheti, mint egy egyedi Azure Monitor-naplókörnyezetet, amelynek saját adattára, adatforrásai és megoldásai vannak. Útmutatásért lásd: Log Analytics-munkaterület létrehozása.
  • Egy Azure-beli HDInsight-fürt. Jelenleg a szelektív naplózási funkciót a következő HDInsight-fürttípusokkal használhatja:
    • Hadoop
    • A HBase
    • Interaktív lekérdezés
    • Spark

A HDInsight-fürtök létrehozásával kapcsolatos útmutatásért tekintse meg az Azure HDInsight használatának első lépéseit.

Naplók engedélyezése vagy letiltása több tábla és naplótípus szkriptműveletével

  1. Nyissa meg a fürt szkriptműveleteit , és válassza az Új beküldés lehetőséget a szkriptműveletek létrehozásának megkezdéséhez.

    Képernyőkép a szkriptművelet létrehozásának megkezdéséhez szükséges gombról.

    Megjelenik a Szkript elküldése műveletpanel .

    A szkriptművelet elküldésére szolgáló panel képernyőképe.

  2. A szkripttípushoz válassza az Egyéni lehetőséget.

  3. Nevezze el a szkriptet. Például: Tiltson le két táblát és két forrást.

  4. A Bash-szkript URI-jának selectiveLoggingScript.sh mutató hivatkozásnak kell lennie.

  5. Válassza ki a fürtre vonatkozó összes csomóponttípust. A beállítások a fő csomópont, a feldolgozó csomópont és a ZooKeeper csomópont.

  6. Adja meg a paramétereket. Példa:

    • Szikra: spark HDInsightSparkLogs:SparkExecutorLog --disable
    • Interaktív lekérdezés: interactivehive HDInsightHadoopAndYarnLogs:NodeManager --enable
    • Hadoop: hadoop HDInsightHiveAndLLAPLogs:HiveServer2Log --disable
    • HBase: hbase HDInsightHBaseLogs:HBaseRegionServerLog --enable

    További információ: Paraméter szintaxisa szakasz.

  7. Válassza a Létrehozás lehetőséget.

  8. Néhány perc múlva megjelenik egy zöld pipa a szkript műveleti előzményei mellett. Ez azt jelenti, hogy a szkript sikeresen lefutott.

    Képernyőkép egy szkript sikeres futtatásáról a táblák és naplótípusok engedélyezéséhez.

A módosítások a Log Analytics-munkaterületen láthatók.

Hibaelhárítás

Nem jelennek meg módosítások a Log Analytics-munkaterületen

Ha elküldi a szkriptműveletet, de a Log Analytics-munkaterületen nincsenek változások:

  1. Az Irányítópultok területen válassza az Ambari kezdőlapot a hibakeresési információk ellenőrzéséhez.

    Képernyőkép az Ambari kezdőlapjának helyéről.

  2. Válassza a Beállítások gombot.

    Képernyőkép a Beállítások gombról.

  3. Válassza ki a legújabb szkript futtatását a háttérműveletek listájának tetején.

    Háttérműveleteket bemutató képernyőkép.

  4. Ellenőrizze a szkript futtatásának állapotát az összes csomóponton egyenként.

    A gazdagépek szkriptfuttatási állapotát bemutató képernyőkép.

  5. Ellenőrizze, hogy a paraméterszintaxis szakasz paraméterszintaxisa helyes-e.

  6. Ellenőrizze, hogy a Log Analytics-munkaterület csatlakoztatva van-e a fürthöz, és hogy a Log Analytics-figyelés be van-e kapcsolva.

  7. Ellenőrizze, hogy a futtatott szkriptművelethez új csomópontok hozzáadásakor a program bejelölte-e a Szkript megőrzése műveletet újrafuttatva jelölőnégyzetet.

    A szkriptműveletek megőrzésére szolgáló jelölőnégyzetet megjelenítő képernyőkép.

  8. Ellenőrizze, hogy a közelmúltban új csomópontot adtak-e hozzá a fürthöz.

    Feljegyzés

    Ahhoz, hogy a szkript a legújabb fürtben fusson, a szkriptnek meg kell őriznie.

  9. Győződjön meg arról, hogy az összes csomóponttípust kiválasztotta a szkriptművelethez.

    Képernyőkép a kijelölt csomóponttípusokról.

A szkriptművelet nem sikerült

Ha a szkriptművelet hibaállapotot mutat a szkriptművelet előzményeiben:

  1. Ellenőrizze, hogy a paraméterszintaxis szakasz paraméterszintaxisa helyes-e.
  2. Ellenőrizze, hogy helyes-e a szkripthivatkozás. Ennek a következőnek kell lennie: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScriptsAma/selectiveLoggingScript.sh.

Táblanevek

A különböző naplótípusok (források) táblaneveinek teljes listáját az Azure Monitor Naplók tábláiban tekintheti meg.

Paraméterszintaxis

A paraméterek határozzák meg a fürt típusát, a táblaneveket, a forrásneveket és a műveletet.

Képernyőkép a paraméter szintaxismezőről.

A paraméter három részből áll:

  • Fürt típusa
  • Táblák és naplótípusok
  • Művelet (vagy --disable --enable)

Több tábla szintaxisa

Ha több táblával rendelkezik, azok vesszővel vannak elválasztva. Példa:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

Szintaxis több forrástípushoz vagy naplótípushoz

Ha több forrástípussal vagy naplótípussal rendelkezik, azok szóközzel vannak elválasztva.

Forrás letiltásához írja be a naplótípusokat tartalmazó táblanevet, majd a kettőspontot, majd a valódi naplótípus nevét:

TableName : LogTypeName

Tegyük fel például, hogy spark HDInsightSecurityLogs egy tábla két naplótípussal rendelkezik: AmbariAuditLog és AuthLog. Mindkét naplótípus letiltásához a helyes szintaxis a következő:

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

Több tábla és forrástípus szintaxisa

Ha két táblát és két forrástípust kell letiltania, használja a következő szintaxist:

  • Spark: InteractiveHiveMetastoreLog naplótípus a HDInsightHiveAndLLAPLogs táblázatban
  • Hbase: InteractiveHiveHSILog naplótípus a HDInsightHiveAndLLAPLogs táblázatban
  • Hadoop: HDInsightHiveAndLLAPMetrics tábla
  • Hadoop: HDInsightHiveTezAppStats tábla

Különítse el a táblákat vesszővel. A források jelölése kettősponttal a tábla neve után, amelyben azok találhatók.

Az ilyen esetek megfelelő paraméterszintaxisa a következő:

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable

Következő lépések