Automatické označovanie v službe Microsoft Fabric

Synapse Data Science v službe Microsoft Fabric zahŕňa automatické označovanie, čo výrazne znižuje množstvo kódu potrebného na automatické zaznamenávanie parametrov, metrík a položiek modelu strojového učenia počas trénovania. Tento článok popisuje automatické označovanie vedy o údajoch synapse v službe Microsoft Fabric.

Automatické označovanie rozširuje možnosti sledovania tokov ML a je hlboko integrované do prostredia Synapse Data Science v službe Microsoft Fabric. Automatické označovanie umožňuje zaznamenávať rôzne metriky vrátane presnosti, straty, skóre F1 a vlastných metrík, ktoré definujete. Pomocou automatického označovania môžu vývojári a dátoví vedci jednoducho sledovať a porovnávať výkon rôznych modelov a experimentov bez manuálneho sledovania.

Podporované rámce

Automatické označovanie podporuje širokú škálu rámcov strojového učenia vrátane architektúr TensorFlow, PyTorch, Scikit-learn a XGBoost. Ďalšie informácie o vlastnostiach špecifických pre architektúru, ktoré zaznamenáva automatické označovanie, nájdete v dokumentácii k toku MLflow.

Konfigurácia

Automatické označovanie funguje tak, že automaticky zaznamenáva hodnoty vstupných parametrov, výstupných metrík a výstupných položiek modelu strojového učenia počas jeho trénovania. Tieto informácie sa prihlásia do pracovného priestoru služby Microsoft Fabric, kde ich môžete získať prístup a vizualizovať pomocou rozhraní API toku MLflow alebo príslušných experimentálnych položiek a položiek modelu v pracovnom priestore služby Microsoft Fabric.

Keď spustíte poznámkový blok Synapse Data Science, služba Microsoft Fabric zavolá mlflow.autolog(), aby okamžite umožnila sledovanie a načítala príslušné závislosti. Pri trénovaní modelov v notebooku MLflow automaticky sleduje tieto informácie o modeli.

Konfigurácia sa automaticky uskutoční v zákulisí, keď spustíte import mlflow. Predvolená konfigurácia notebooku mlflow.autolog() hook je:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Prispôsobenie

Ak chcete prispôsobiť správanie zapisovania do denníka, môžete použiť konfiguráciu mlflow.autolog(). Táto konfigurácia poskytuje parametre na povolenie zapisovania do denníka modelu, zhromažďovanie ukážok vstupov, konfigurovanie upozornení alebo povolenie zapisovania do denníka pridaného obsahu, ktorý zadáte.

Sledovanie ďalších metrík, parametrov a vlastností

V prípade spustení vytvorených s tokom MLflow aktualizujte konfiguráciu automatického označovania toku MLflow a sledujte ďalšie metriky, parametre, súbory a metaúdaje nasledovne:

1. Aktualizujte volanie mlflow.autolog() a nastavte exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Pomocou rozhraní MLflow tracking API zapíšte do denníka ďalšie parametre a metriky. Nasledujúci príklad kódu umožňuje zapísať vlastné metriky a parametre spolu s ďalšími vlastnosťami.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Zakázanie automatického označovania v službe Microsoft Fabric

Automatické označovanie v službe Microsoft Fabric môžete zakázať pre konkrétnu reláciu poznámkového bloku. Automatické označovanie vo všetkých poznámkových blokoch môžete tiež zakázať pomocou nastavenia pracovného priestoru.

Zakázanie automatického označovania pre reláciu poznámkového bloku

Ak chcete zakázať automatické označovanie v službe Microsoft Fabric pre konkrétnu reláciu poznámkového bloku, zavolajte mlflow.autolog() a nastavte .

import mlflow
mlflow.autolog(disable=True)

Zakázanie automatického označovania vo všetkých poznámkových blokoch a reláciách

Správcovia pracovného priestoru môžu povoliť alebo zakázať automatické označovanie služby Microsoft Fabric pre všetky poznámkové bloky a relácie vo svojom pracovnom priestore pomocou nastavení pracovného priestoru. Povolenie alebo zakázanie automatického označovania Synapse Data Science:

1. V pracovnom priestore vyberte Nastavenia pracovného priestoru.

   

2. V nastavení pracovného priestorurozbaľte v ľavom navigačnom paneli položku Data Engineering/Science a vyberte nastavenia Spark.

3. V nastavení Sparkvyberte kartu Automatický denník.

4. Nastavenie Automatické sledovanie experimentov a modelov strojového učenia na pri alebo Vypnuté.

5. Vyberte položku Uložiť.

   

Súvisiaci obsah

• vytvorenie modelu strojového učenia pomocou aplikácie Apache Spark MLlib
• experimentov strojového učenia v službe Microsoft Fabric