Megosztás a következőn keresztül:


Automatikus naplózás a Microsoft Fabricben

A Microsoft Fabric Synapse Data Science szolgáltatása magában foglalja az automatikus naplózást, amely jelentősen csökkenti a gépi tanulási modell paramétereinek, metrikáinak és elemeinek automatikus naplózásához szükséges kód mennyiségét a betanítás során. Ez a cikk a Synapse Data Science automatikus használatát ismerteti a Microsoft Fabricben.

Az automatikus naplózás kiterjeszti MLflow-nyomkövetési képességeket, és mélyen integrálva van a Synapse Data Science szolgáltatásba a Microsoft Fabricben. Az automatikus naplózás különböző metrikákat rögzíthet, beleértve a pontosságot, a veszteséget, az F1 pontszámot és az Ön által definiált egyéni metrikákat. Az autologging használatával a fejlesztők és az adattudósok könnyedén nyomon követhetik és összehasonlíthatják a különböző modellek és kísérletek teljesítményét manuális nyomon követés nélkül.

Támogatott keretrendszerek

Az automatikus naplózás számos gépi tanulási keretrendszert támogat, például a TensorFlow-t, a PyTorch-ot, a Scikit-learn-t és az XGBoost-t. A keretrendszerhez specifikus tulajdonságokat automatikusan rögzítő módszerekről az MLflow dokumentációjábantalál további információt.

Konfiguráció

Az automatikus naplózás úgy működik, hogy automatikusan rögzíti a gépi tanulási modell bemeneti paramétereinek, kimeneti metrikáinak és kimeneti elemeinek értékeit a betanítás során. Ezeket az adatokat a rendszer naplózza a Microsoft Fabric-munkaterületre, ahol az MLflow API-k vagy a Microsoft Fabric-munkaterület megfelelő kísérlet- és modellelemeinek használatával érheti el és jelenítheti meg azokat.

Synapse Data Science-jegyzetfüzet indításakor a Microsoft Fabric meghívja mlflow.autolog(), hogy azonnal engedélyezhesse a nyomon követést és betöltse a megfelelő függőségeket. A jegyzetfüzet modelljeinek betanítása során az MLflow automatikusan nyomon követi ezt a modellinformációt.

A konfiguráció automatikusan a színfalak mögött történik import mlflowfuttatásakor. A notebook mlflow.autolog() horog alapértelmezett konfigurációja a következő:


mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Testreszabás

A naplózási viselkedés testreszabásához használhatja a mlflow.autolog() konfigurációt. Ez a konfiguráció paramétereket biztosít a modellnaplózás engedélyezéséhez, bemeneti minták gyűjtéséhez, figyelmeztetések konfigurálásához vagy a megadott hozzáadott tartalom naplózásának engedélyezéséhez.

További metrikák, paraméterek és tulajdonságok nyomon követése

Az MLflow használatával létrehozott futtatások esetében frissítse az MLflow automatikus naplózási konfigurációját a további metrikák, paraméterek, fájlok és metaadatok nyomon követéséhez az alábbiak szerint:

  1. Frissítse a mlflow.autolog() hívást a exclusive=Falsebeállításához.

        mlflow.autolog(
        log_input_examples=False,
        log_model_signatures=True,
        log_models=True,
        disable=False,
        exclusive=False, # Update this property to enable custom logging
        disable_for_unsupported_versions=True,
        silent=True
    )
    
  2. Az MLflow nyomkövetési API-kkal további paramétereket naplózhat és metrikákat. Az alábbi példakód segítségével további tulajdonságok mellett naplózhatja az egyéni metrikákat és paramétereket.

    import mlflow
    mlflow.autolog(exclusive=False)
    
    with mlflow.start_run():
      mlflow.log_param("parameter name", "example value")
      # <add model training code here>
      mlflow.log_metric("metric name", 20)
    

A Microsoft Fabric automatikus naplózásának letiltása

A Microsoft Fabric automatikus naplózás letiltását végezheti el egy adott jegyzetfüzet-munkamenethez. A munkaterület-beállítással letilthatja az automatikus naplózást az összes jegyzetfüzetben.

Jegyzet

Ha az automatikus naplózás le van tiltva, manuálisan kell naplóznia a paramétereket és metrikákat az MLflow API-k használatával.

Jegyzetfüzet-munkamenet automatikus kitöltésének letiltása

Ha le szeretné tiltani a Microsoft Fabric automatikus használatát egy adott jegyzetfüzet-munkamenethez, hívja meg mlflow.autolog(), és állítsa be a disable=True.

import mlflow
mlflow.autolog(disable=True)

Az összes jegyzetfüzet és munkamenet automatikus kitöltésének letiltása

A munkaterület-rendszergazdák a munkaterület beállításaival engedélyezhetik vagy letilthatják a Microsoft Fabric automatikus naplózását a munkaterületen lévő összes jegyzetfüzethez és munkamenethez. A Synapse Data Science automatikus naplózásának engedélyezése vagy letiltása:

  1. A munkaterületen válassza Munkaterület beállításailehetőséget.

    Munkaterület képernyőképe, amelyen a Munkaterület beállításai ki van emelve.

  2. Munkaterület beállításaiterületen bontsa ki Data Engineering/Science a bal oldali navigációs sávon, és válassza Spark-beállításokat.

  3. A Spark-beállításoklapon válassza az Automatikus napló fület.

  4. Állítsa be a gépi tanulási kísérletek és modellek automatikus nyomon követését vagy Ki.

  5. Válassza Mentéslehetőséget.

    Képernyőkép az automatikus naplózás munkaterület-beállításáról.