Automatikus naplózás a Microsoft Fabricben

A Microsoft Fabric Synapse Data Science szolgáltatása magában foglalja az automatikus naplózást, amely jelentősen csökkenti a gépi tanulási modell paramétereinek, metrikáinak és elemeinek automatikus naplózásához szükséges kód mennyiségét a betanítás során. Ez a cikk a Synapse Data Science automatikus használatát ismerteti a Microsoft Fabricben.

Az automatikus naplózás kiterjeszti MLflow-nyomkövetési képességeket, és mélyen integrálva van a Synapse Data Science szolgáltatásba a Microsoft Fabricben. Az automatikus naplózás különböző metrikákat rögzíthet, beleértve a pontosságot, a veszteséget, az F1 pontszámot és az Ön által definiált egyéni metrikákat. Az autologging használatával a fejlesztők és az adattudósok könnyedén nyomon követhetik és összehasonlíthatják a különböző modellek és kísérletek teljesítményét manuális nyomon követés nélkül.

Támogatott keretrendszerek

Az automatikus naplózás számos gépi tanulási keretrendszert támogat, például a TensorFlow-t, a PyTorch-ot, a Scikit-learn-t és az XGBoost-t. A keretrendszerhez specifikus tulajdonságokat automatikusan rögzítő módszerekről az MLflow dokumentációjábantalál további információt.

Konfiguráció

Az automatikus naplózás úgy működik, hogy automatikusan rögzíti a gépi tanulási modell bemeneti paramétereinek, kimeneti metrikáinak és kimeneti elemeinek értékeit a betanítás során. Ezeket az adatokat a rendszer naplózza a Microsoft Fabric-munkaterületre, ahol az MLflow API-k vagy a Microsoft Fabric-munkaterület megfelelő kísérlet- és modellelemeinek használatával érheti el és jelenítheti meg azokat.

Synapse Data Science-jegyzetfüzet indításakor a Microsoft Fabric meghívja mlflow.autolog(), hogy azonnal engedélyezhesse a nyomon követést és betöltse a megfelelő függőségeket. A jegyzetfüzet modelljeinek betanítása során az MLflow automatikusan nyomon követi ezt a modellinformációt.

A konfiguráció automatikusan a színfalak mögött történik import mlflowfuttatásakor. A notebook mlflow.autolog() horog alapértelmezett konfigurációja a következő:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Testreszabás

A naplózási viselkedés testreszabásához használhatja a mlflow.autolog() konfigurációt. Ez a konfiguráció paramétereket biztosít a modellnaplózás engedélyezéséhez, bemeneti minták gyűjtéséhez, figyelmeztetések konfigurálásához vagy a megadott hozzáadott tartalom naplózásának engedélyezéséhez.

További metrikák, paraméterek és tulajdonságok nyomon követése

Az MLflow használatával létrehozott futtatások esetében frissítse az MLflow automatikus naplózási konfigurációját a további metrikák, paraméterek, fájlok és metaadatok nyomon követéséhez az alábbiak szerint:

1. Frissítse a mlflow.autolog() hívást a exclusive=Falsebeállításához.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Az MLflow nyomkövetési API-kkal további paramétereket naplózhat és metrikákat. Az alábbi példakód segítségével további tulajdonságok mellett naplózhatja az egyéni metrikákat és paramétereket.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

A Microsoft Fabric automatikus naplózásának letiltása

A Microsoft Fabric automatikus naplózás letiltását végezheti el egy adott jegyzetfüzet-munkamenethez. A munkaterület-beállítással letilthatja az automatikus naplózást az összes jegyzetfüzetben.

Jegyzetfüzet-munkamenet automatikus kitöltésének letiltása

Ha le szeretné tiltani a Microsoft Fabric automatikus használatát egy adott jegyzetfüzet-munkamenethez, hívja meg mlflow.autolog(), és állítsa be a disable=True.

import mlflow
mlflow.autolog(disable=True)

Az összes jegyzetfüzet és munkamenet automatikus kitöltésének letiltása

A munkaterület-rendszergazdák a munkaterület beállításaival engedélyezhetik vagy letilthatják a Microsoft Fabric automatikus naplózását a munkaterületen lévő összes jegyzetfüzethez és munkamenethez. A Synapse Data Science automatikus naplózásának engedélyezése vagy letiltása:

1. A munkaterületen válassza Munkaterület beállításailehetőséget.

   

2. Munkaterület beállításaiterületen bontsa ki Data Engineering/Science a bal oldali navigációs sávon, és válassza Spark-beállításokat.

3. A Spark-beállításoklapon válassza az Automatikus napló fület.

4. Állítsa be a gépi tanulási kísérletek és modellek automatikus nyomon követését vagy Ki.

5. Válassza Mentéslehetőséget.

   

Kapcsolódó tartalom

• Építs egy gépi tanulási modellt az Apache Spark MLlib segítségével
• Gépi tanulási kísérletek a Microsoft Fabric