Költség- és teljesítményproblémák diagnosztizálása a Spark felhasználói felületén
Ez az útmutató bemutatja, hogyan használhatja a Spark felhasználói felületét a költség- és teljesítményproblémák diagnosztizálásához. Ez egy részletes útmutató, és gyakorlati útmutató. Ahelyett, hogy csupán magyarázatot ad a Spark felhasználói felületén található egyes lapokra, azt jelzi, hogy mit kell keresnie, és mit jelent. Ha nem ismeri az illesztőprogramok, a feldolgozók, a végrehajtók, a szakaszok és a feladatok fogalmait, érdemes lehet áttekinteni a Spark-architektúrát.
Ha a különböző optimalizálási eszközök átfogó listáját keresi, használja a Databricks optimalizálási útmutatóját. Az optimalizálási útmutató szakaszaira ebben a Spark felhasználói felületi útmutatóban hivatkozunk.
Az útmutató használata
Az útmutatóban való navigáláshoz használja az egyes oldalakba ágyazott hivatkozásokat a következő lépéshez. Az útmutató a következő lépéseket tartalmazza sorrendben:
- A feladatok ütemtervének használatával azonosíthatja a főbb problémákat
- Tekintse meg a leghosszabb szakaszt
- Eltolódás vagy kiömlés keresése
- Annak meghatározása, hogy a leghosszabb szakasz I/O-hez kötött-e
- Keressen más okokat a szakasz lassú futási idejére
Lássunk hozzá!
A Spark felhasználói felületének megnyitása
Lépjen a klaszter oldalára:
Kattintson Spark felhasználói felületi:
Következő lépés
Most, hogy megnyitotta a Spark felhasználói felületét, tekintse át az esemény ütemtervét, és tudjon meg többet a folyamatról vagy a lekérdezésről. Lásd: Munkahelyek ütemterv.