Automatikus naplózás a Microsoft Fabricben
A Microsoft Fabric Synapse Data Science szolgáltatása magában foglalja az automatikus naplózást, amely jelentősen csökkenti a gépi tanulási modell paramétereinek, metrikáinak és elemeinek automatikus naplózásához szükséges kód mennyiségét a betanítás során. Ez a cikk a Synapse Data Science automatikus használatát ismerteti a Microsoft Fabricben.
Az automatikus naplózás kiterjeszti MLflow-nyomkövetési képességeket, és mélyen integrálva van a Synapse Data Science szolgáltatásba a Microsoft Fabricben. Az automatikus naplózás különböző metrikákat rögzíthet, beleértve a pontosságot, a veszteséget, az F1 pontszámot és az Ön által definiált egyéni metrikákat. Az autologging használatával a fejlesztők és az adattudósok könnyedén nyomon követhetik és összehasonlíthatják a különböző modellek és kísérletek teljesítményét manuális nyomon követés nélkül.
Támogatott keretrendszerek
Az automatikus naplózás számos gépi tanulási keretrendszert támogat, például a TensorFlow-t, a PyTorch-ot, a Scikit-learn-t és az XGBoost-t. A keretrendszerhez specifikus tulajdonságokat automatikusan rögzítő módszerekről az MLflow dokumentációjábantalál további információt.
Konfiguráció
Az automatikus naplózás úgy működik, hogy automatikusan rögzíti a gépi tanulási modell bemeneti paramétereinek, kimeneti metrikáinak és kimeneti elemeinek értékeit a betanítás során. Ezeket az adatokat a rendszer naplózza a Microsoft Fabric-munkaterületre, ahol az MLflow API-k vagy a Microsoft Fabric-munkaterület megfelelő kísérlet- és modellelemeinek használatával érheti el és jelenítheti meg azokat.
Synapse Data Science-jegyzetfüzet indításakor a Microsoft Fabric meghívja mlflow.autolog(), hogy azonnal engedélyezhesse a nyomon követést és betöltse a megfelelő függőségeket. A jegyzetfüzet modelljeinek betanítása során az MLflow automatikusan nyomon követi ezt a modellinformációt.
A konfiguráció automatikusan a színfalak mögött történik import mlflow
futtatásakor. A notebook mlflow.autolog() horog alapértelmezett konfigurációja a következő:
mlflow.autolog(
log_input_examples=False,
log_model_signatures=True,
log_models=True,
disable=False,
exclusive=True,
disable_for_unsupported_versions=True,
silent=True
)
Testreszabás
A naplózási viselkedés testreszabásához használhatja a mlflow.autolog() konfigurációt. Ez a konfiguráció paramétereket biztosít a modellnaplózás engedélyezéséhez, bemeneti minták gyűjtéséhez, figyelmeztetések konfigurálásához vagy a megadott hozzáadott tartalom naplózásának engedélyezéséhez.
További metrikák, paraméterek és tulajdonságok nyomon követése
Az MLflow használatával létrehozott futtatások esetében frissítse az MLflow automatikus naplózási konfigurációját a további metrikák, paraméterek, fájlok és metaadatok nyomon követéséhez az alábbiak szerint:
Frissítse a mlflow.autolog() hívást a
exclusive=False
beállításához.mlflow.autolog( log_input_examples=False, log_model_signatures=True, log_models=True, disable=False, exclusive=False, # Update this property to enable custom logging disable_for_unsupported_versions=True, silent=True )
Az MLflow nyomkövetési API-kkal további paramétereket naplózhat és metrikákat. Az alábbi példakód segítségével további tulajdonságok mellett naplózhatja az egyéni metrikákat és paramétereket.
import mlflow mlflow.autolog(exclusive=False) with mlflow.start_run(): mlflow.log_param("parameter name", "example value") # <add model training code here> mlflow.log_metric("metric name", 20)
A Microsoft Fabric automatikus naplózásának letiltása
A Microsoft Fabric automatikus naplózás letiltását végezheti el egy adott jegyzetfüzet-munkamenethez. A munkaterület-beállítással letilthatja az automatikus naplózást az összes jegyzetfüzetben.
Jegyzet
Ha az automatikus naplózás le van tiltva, manuálisan kell naplóznia a paramétereket és metrikákat az MLflow API-k használatával.
Jegyzetfüzet-munkamenet automatikus kitöltésének letiltása
Ha le szeretné tiltani a Microsoft Fabric automatikus használatát egy adott jegyzetfüzet-munkamenethez, hívja meg mlflow.autolog(), és állítsa be a disable=True
.
import mlflow
mlflow.autolog(disable=True)
Az összes jegyzetfüzet és munkamenet automatikus kitöltésének letiltása
A munkaterület-rendszergazdák a munkaterület beállításaival engedélyezhetik vagy letilthatják a Microsoft Fabric automatikus naplózását a munkaterületen lévő összes jegyzetfüzethez és munkamenethez. A Synapse Data Science automatikus naplózásának engedélyezése vagy letiltása:
A munkaterületen válassza Munkaterület beállításailehetőséget.
Munkaterület beállításaiterületen bontsa ki Data Engineering/Science a bal oldali navigációs sávon, és válassza Spark-beállításokat.
A Spark-beállításoklapon válassza az Automatikus napló fület.
Állítsa be a gépi tanulási kísérletek és modellek automatikus nyomon követését vagy Ki.
Válassza Mentéslehetőséget.