Monitorování Azure Databricks
azure Databricks je rychlá a výkonná analytická služba založená na Apache Sparku , která usnadňuje rychlý vývoj a nasazování řešení pro analýzu velkých objemů dat a umělou inteligenci (AI). Mnoho uživatelů využívá jednoduchost poznámkových bloků ve svých řešeních Azure Databricks. Pro uživatele, kteří vyžadují robustnější výpočetní možnosti, Azure Databricks podporuje distribuované spouštění vlastního kódu aplikace.
Monitorování je důležitou součástí jakéhokoli řešení na úrovni produkčního prostředí a Azure Databricks nabízí robustní funkce pro monitorování vlastních metrik aplikací, událostí dotazů streamování a zpráv protokolu aplikací. Azure Databricks může tato data monitorování odesílat do různých služeb protokolování.
Následující články ukazují, jak odesílat data monitorování z Azure Databricks do Azure Monitoru, monitorovací datové platformy pro Azure.
- odesílání protokolů aplikací Azure Databricks do služby Azure Monitor
- Vizualizace metrik Azure Databricks pomocí řídicích panelů
- Řešení potíží s kritickými body výkonu
Knihovna kódu, která doprovází tyto články, rozšiřuje základní funkce monitorování Azure Databricks, aby do služby Azure Monitor odesílala metriky Sparku, události a informace o protokolování.
Cílová skupina pro tyto články a doprovodná knihovna kódu jsou vývojáři řešení Apache Spark a Azure Databricks. Kód musí být integrovaný do souborů JAR (Java Archive) a pak nasazený do clusteru Azure Databricks. Kód je kombinací Scala a Javy s odpovídající sadou souborů objektového modelu projektu Maven (POM) pro sestavení výstupních souborů JAR. Znalost Javy, Scaly a Mavenu se doporučuje jako předpoklady.
Další kroky
Začněte vytvořením knihovny kódu a jejím nasazením do clusteru Azure Databricks.