Nasazení modelů pro dávkové odvozování a predikce

Tento článek popisuje, co Databricks doporučuje pro dávkový odhad.

Podrobnosti o nasazení modelů v reálném čase na Azure Databricks naleznete v části Nasazování modelů pomocí Mosaic AI Model Serving.

funkce AI pro hromadné odvozování

AI Functions jsou integrované funkce, které můžete použít k použití umělé inteligence na data uložená v Databricks. Dávkové odvozování můžete spustit pomocí funkcí AI specifických pro úloh nebo funkce pro obecné účely ai_query. Kvůli flexibilitě doporučuje Databricks používat ai_query pro dávkové predikce.

Existují dva hlavní způsoby použití ai_query pro dávkové odvozování:

• odvozování služby Batch pomocí základních modelů hostovaných ai_query a Databricks. Když použijete tuto metodu, Databricks nakonfiguruje model obsluhující koncový bod, který se automaticky škáluje na základě úlohy. Podívejte se, které předem zřízené LLM jsou podporovány.
• Dávkové inferování pomocí ai_query a koncového bodu pro nasazování modelu, který si sami nakonfigurujete. Tato metoda se vyžaduje pro pracovní postupy odvozování dávek, které používají základní modely hostované mimo Databricks, jemně vyladěné základní modely nebo tradiční modely ML. Po nasazení je možné koncový bod použít přímo s ai_query.

dávkové odvozování pomocí datového rámce Spark

Podrobný průvodce pracovním postupem odvozování modelu pomocí Spark Data Frame najdete v tématu Provedení dávkového odvozování pomocí Sparku.

Příklady odvozování modelů hlubokého učení najdete v následujících článcích:

• Odvozování modelů pomocí TensorFlow a TensorRT
• Odvozování modelů pomocí PyTorchu

Extrakce strukturovaných dat a dávkové odvozování pomocí UDF Sparku

Následující ukázkový poznámkový blok ukazuje vývoj, protokolování a vyhodnocení jednoduchého agenta pro extrakci strukturovaných dat k transformaci nezpracovaných, nestrukturovaných dat do uspořádaných a použitelných informací prostřednictvím automatizovaných technik extrakce. Tento přístup ukazuje, jak implementovat vlastní agenty pro dávkové odvozování pomocí třídy PythonModel MLflow a použít model protokolovaného agenta jako funkci spark User-Defined (UDF). Tento poznámkový blok také ukazuje, jak využít hodnocení agenta Mosaic AI k vyhodnocení přesnosti s použitím referenčních dat.

Extrakce strukturovaných dat a dávkové odvozování pomocí UDF Sparku

Vezmi poznámkový blok

:::