Modellek üzembe helyezése kötegelt következtetéshez és előrejelzéshez

Ez a cikk azt ismerteti, hogy a Databricks mit javasol a kötegelt következtetéshez.

Az Azure Databricksben való valós idejű modellmegjelenítésért lásd: Modellek üzembe helyezése a Mozaik AI-modellkiszolgálóhasználatával.

AI Functions kötegelt inferenciához

Az AI-függvények beépített függvények, amelyekkel AI-t alkalmazhat a Databricksben tárolt adatokra. Kötegelt következtetést futtathat feladatspecifikus AI-függvények vagy az általános célú függvény, ai_queryhasználatával. A rugalmasság érdekében a Databricks a ai_query használatát javasolja a kötegelt következtetéshez.

A ai_query-t két fő módon használhatja kötegelt következtetéshez:

• Kötegelt következtetés ai_query és Databricks által üzemeltetett alapmodellek használatával. Ha ezt a módszert használja, a Databricks egy olyan végpontot kiszolgáló modellt konfigurál, amely a számítási feladat alapján automatikusan skáláz. Megnézheti, mely előre kiosztott LLM-ek vannak támogatva.
• Csoportos következtetés ai_query és egy ön által konfigurált modellkiszolgáló végpont használatával. Ez a módszer olyan kötegelt következtetési munkafolyamatokhoz szükséges, amelyek a Databricksen kívül üzemeltetett alapmodelleket, a finomhangolt alapmodelleket vagy a hagyományos ML-modelleket használják. Az üzembe helyezés után a végpont közvetlenül használható a ai_query-val.

Batch-következtetés Spark DataFrame használatával

A Spark használatával végzett modellkövetkeztetési munkafolyamat részletes útmutatója Kötegelt következtetés végrehajtása Spark DataFrame- használatával.

A mélytanulási modellre vonatkozó következtetési példákért tekintse meg a következő cikkeket:

• Modellkövetkeztetés a TensorFlow és a TensorRT használatával
• Modellkövetkeztetés a PyTorch használatával

Strukturált adatkinyerés és kötegelt következtetés a Spark UDF használatával

Az alábbi példajegyzetfüzet egy egyszerű ügynök fejlesztését, naplózását és kiértékelését mutatja be strukturált adatkinyeréshez, hogy a nyers, strukturálatlan adatokat rendszerezett, használható információkká alakítsa automatizált kinyerési technikákkal. Ez a megközelítés bemutatja, hogyan implementálhatja az egyéni ügynököket tömeges következtetéshez az MLflow PythonModel osztály segítségével, és hogyan alkalmazhatja a naplózott ügynökmodellt Spark User-Defined függvényként (UDF). Ez a jegyzetfüzet azt is bemutatja, hogyan használhatja a Mosaic AI ügynökértékelést a pontosság kiértékelésére a valós adatok alapján.

Strukturált adatkinyerés és kötegelt következtetés a Spark UDF használatával

Jegyzetfüzet lekérése

:::