Megosztás a következőn keresztül:

Modellek betanítása scikit-learn használatával a Microsoft Fabricben

  • Cikk

Ez a cikk bemutatja, hogyan taníthatja be és követheti nyomon a scikit-learn modell iterációit. A Scikit-learn egy népszerű nyílt forráskódú gépi tanulási keretrendszer, amelyet gyakran használnak felügyelt és felügyelet nélküli tanuláshoz. A keretrendszer eszközöket biztosít a modellillesztéshez, az adatok előfeldolgozásához, a modell kiválasztásához, a modellértékeléshez és egyebekhez.

Előfeltételek

Telepítse a scikit-learnt a jegyzetfüzeten belül. A scikit-learn verzióját a következő paranccsal telepítheti vagy frissítheti a környezetében:

pip install scikit-learn

A gépi tanulási kísérlet beállítása

Gépi tanulási kísérletet az MLFLow API használatával hozhat létre. Az MLflow set_experiment() függvény létrehoz egy új, sample-sklearn nevű gépi tanulási kísérletet, ha még nem létezik.

Futtassa a következő kódot a jegyzetfüzetben, és hozza létre a kísérletet:

import mlflow

mlflow.set_experiment("sample-sklearn")

Scikit-learn-modell betanítása

A kísérlet beállítása után létrehoz egy mintaadatkészletet és egy logisztikai regressziós modellt. Az alábbi kód elindít egy MLflow-futtatást, és nyomon követi a metrikákat, paramétereket és a végső logisztikai regressziós modellt. A végleges modell létrehozása után mentheti az eredményként kapott modellt a további nyomon követés érdekében.

Futtassa a következő kódot a jegyzetfüzetben, és hozza létre a mintaadatkészletet és a logisztikai regressziós modellt:

import mlflow.sklearn
import numpy as np
from sklearn.linear_model import LogisticRegression
from mlflow.models.signature import infer_signature

with mlflow.start_run() as run:

    lr = LogisticRegression()
    X = np.array([-2, -1, 0, 1, 2, 1]).reshape(-1, 1)
    y = np.array([0, 0, 1, 1, 1, 0])
    lr.fit(X, y)
    score = lr.score(X, y)
    signature = infer_signature(X, y)

    print("log_metric.")
    mlflow.log_metric("score", score)

    print("log_params.")
    mlflow.log_param("alpha", "alpha")

    print("log_model.")
    mlflow.sklearn.log_model(lr, "sklearn-model", signature=signature)
    print("Model saved in run_id=%s" % run.info.run_id)

    print("register_model.")
    mlflow.register_model(

        "runs:/{}/sklearn-model".format(run.info.run_id), "sample-sklearn"
    )
    print("All done")

Modell betöltése és kiértékelése mintaadatkészleten

A modell mentése után betöltheti a következtetéshez.

Futtassa a következő kódot a jegyzetfüzetben, és töltse be a modellt, majd futtassa a következtetést egy mintaadatkészleten:

# Inference with loading the logged model
from synapse.ml.predict import MLflowTransformer

spark.conf.set("spark.synapse.ml.predict.enabled", "true")

model = MLflowTransformer(
    inputCols=["x"],
    outputCol="prediction",
    modelName="sample-sklearn",
    modelVersion=1,
)

test_spark = spark.createDataFrame(
    data=np.array([-2, -1, 0, 1, 2, 1]).reshape(-1, 1).tolist(), schema=["x"]
)

batch_predictions = model.transform(test_spark)

batch_predictions.show()

Kapcsolódó tartalom

  • Gépi tanulási modellek megismerése
  • Gépi tanulási kísérletek létrehozása