Számítási feladatok kezelése
A következőkre vonatkozik:✅ SQL Analytics-végpont és Warehouse a Microsoft Fabricben
Ez a cikk a Microsoft Fabricben végzett adattárházak mögötti architektúrát és számítási feladatkezelést ismerteti.
Adatfeldolgozás
A Warehouse és az SQL Analytics végpontja ugyanazzal a mögöttes feldolgozási architektúrával rendelkezik. Az adatok lekérése vagy betöltése során egy kis és nagy léptékű adatokhoz és számítási funkciókhoz készült elosztott motort használ.
A feldolgozási rendszer kiszolgáló nélküli, mert a háttérbeli számítási kapacitás autonóm módon fel- és leskálázható a számítási feladatok igényeinek kielégítése érdekében.
A lekérdezés elküldésekor az SQL előtér (FE) lekérdezésoptimalizálást végez az adatméret és az összetettség alapján a legjobb terv meghatározásához. A terv létrehozása után az elosztott lekérdezésfeldolgozó (DQP) motor kapja meg. A DQP úgy vezényli a lekérdezés elosztott végrehajtását, hogy kisebb lekérdezésekre osztja, amelyeket háttérbeli számítási csomópontokon hajtanak végre. Minden kis lekérdezést feladatnak nevezünk, és egy elosztott végrehajtási egységet jelöl. Beolvassa a OneLake-ből származó fájl(ok)t, más tevékenységekből, csoportokból vagy megrendelésekből származó eredményeket illeszt be más tevékenységekből. Betöltési feladatok esetén adatokat is ír a megfelelő céltáblákba.
Az adatok feldolgozásakor a rendszer visszaadja az eredményeket az SQL előtérnek a felhasználónak vagy a hívó alkalmazásnak való kézbesítéshez.
Rugalmasság és rugalmasság
A háttérbeli számítási kapacitás egy gyors üzembe helyezési architektúra előnyeit élvezi. Bár az erőforrás-hozzárendeléshez nincs SLA, általában néhány másodpercen belül új csomópontokat szerez be a rendszer. Az erőforrás-igény növekedésével az új számítási feladatok a kibővített kapacitást használják. A skálázás egy online művelet, és a lekérdezések feldolgozása zavartalanul zajlik.
A rendszer hibatűrő, és ha egy csomópont nem megfelelő állapotúvá válik, a csomóponton végrehajtott műveletek újraelosztásra kerülnek az kifogástalan állapotú csomópontokra a befejezéshez.
A Warehouse és az SQL Analytics végpontja kipukkasztható kapacitást biztosít, amely lehetővé teszi, hogy a számítási feladatok több erőforrást használjanak a jobb teljesítmény érdekében, és simítással könnyítsék meg azokat az ügyfeleket, akik hirtelen kiugró csúcsidőket hoznak létre csúcsidőszakaikban, miközben sok kihasználatlan kapacitással rendelkeznek. A simítás leegyszerűsíti a kapacitáskezelést a számítás kiértékelésének elterjesztésével, hogy az ügyfélfeladatok zökkenőmentesen és hatékonyan fussanak.
Ütemezés és forráskezelés
Az elosztott lekérdezésfeldolgozás ütemezője tevékenységszinten működik. A lekérdezések a feladatok irányított aciklikus gráfjaként (DAG) jelennek meg az ütemezőben. Ez a fogalom ismerős a Spark-felhasználók számára. A DAG lehetővé teszi a párhuzamosságot és az egyidejűséget, mivel az egymástól nem függő feladatok egyidejűleg vagy sorrenden kívül is végrehajthatók.
A lekérdezések érkezésekor a feladatok ütemezése az első előtti (FIFO) elvek alapján történik. Ha üresjárati kapacitás van, az ütemező a "legjobb illeszkedés" megközelítést használhatja az egyidejűség optimalizálásához.
Amikor az ütemező azonosítja az újrabehajtási nyomást, skálázási műveletet hív meg. A skálázás önállóan történik, a háttértopológia pedig az egyidejűség növekedésével növekszik. Mivel a csomópontok beszerzése néhány másodpercet vesz igénybe, a rendszer nem az elosztott feldolgozást igénylő lekérdezések konzisztens alszekundumos teljesítményére van optimalizálva.
Ha a nyomás csökken, a háttértopológia visszaskálázható, és visszaengedi az erőforrást a régióba.
Betöltési elkülönítés
A következőre vonatkozik:✅ Warehouse a Microsoft Fabricben
A Microsoft Fabric warehouse háttérbeli számítási készletében a betöltési tevékenységek erőforrás-elkülönítést biztosítanak az elemzési számítási feladatoktól. Ez javítja a teljesítményt és a megbízhatóságot, mivel a betöltési feladatok olyan dedikált csomópontokon futtathatók, amelyek ETL-hez vannak optimalizálva, és nem versenyeznek más lekérdezésekkel vagy erőforrás-alkalmazásokkal.
Előadások
A Warehouse és az SQL Analytics végpontjának felhasználói munkamenet-korlátja munkaterületenként 724. Ha eléri ezt a korlátot, a rendszer hibát ad vissza: The user session limit for the workspace is 724 and has been reached.
Feljegyzés
Mivel a Microsoft Fabric egy SaaS-platform, számos rendszerkapcsolat fut a környezet folyamatos optimalizálásához. A DMV-k a rendszer- és a felhasználói munkameneteket is megjelenítik. További információ: Monitorozás DMV-kkel.
Ajánlott eljárások
A Microsoft Fabric-munkaterület az elosztott számítási rendszer természetes elkülönítési határát biztosítja. A számítási feladatok kihasználhatják ezt a határt a költségek és a teljesítmény kezeléséhez.
A OneLake-billentyűparancsok más munkaterületeken lévő táblák írásvédett replikáinak létrehozására használhatók a terhelés több SQL-motor közötti elosztásához, elkülönítési határ létrehozásához. Ez hatékonyan növelheti az írásvédett lekérdezéseket végrehajtó munkamenetek maximális számát.
