Wdrażanie modeli na potrzeby wnioskowania wsadowego i przewidywania

Artykuł opisuje, co Databricks zaleca dla wnioskowania wsadowego.

Aby uzyskać informacje na temat wdrażania modeli w czasie rzeczywistym na platformie Azure Databricks, zobacz Wdrażanie modeli za pomocą Mosaic AI Model Serving.

Funkcje sztucznej inteligencji do wnioskowania wsadowego

Funkcje sztucznej inteligencji to wbudowane funkcje, których można użyć do zastosowania sztucznej inteligencji na danych przechowywanych w usłudze Databricks. Możesz uruchamiać wnioskowanie wsadowe przy użyciu funkcji AI specyficznych dla zadań , lub funkcji ogólnego przeznaczenia ai_query. W celu zapewnienia elastyczności usługa Databricks zaleca używanie ai_query do wnioskowania wsadowego.

Istnieją dwa główne sposoby używania ai_query na potrzeby wnioskowania wsadowego:

• Wnioskowanie wsadowe przy użyciu modeli podstawowych hostowanych na platformie ai_query i Databricks. W przypadku korzystania z tej metody usługa Databricks konfiguruje model obsługujący punkt końcowy, który jest skalowany automatycznie na podstawie obciążenia. Zobacz, które wstępnie przygotowane modele językowe są obsługiwane.
• wnioskowanie wsadowe przy użyciu ai_query i punktu końcowego do serwowania modeli, który konfigurujesz samodzielnie. Ta metoda jest wymagana w przypadku przepływów pracy wnioskowania wsadowego, które korzystają z modeli podstawowych hostowanych poza usługą Databricks, dostosowanych modeli podstawowych lub tradycyjnych modeli uczenia maszynowego. Po wdrożeniu punkt końcowy może być używany bezpośrednio z ai_query.

wnioskowanie wsadowe przy użyciu Spark DataFrame

Zobacz Wykonywanie wnioskowania wsadowego przy użyciu ramki danych Spark, aby zapoznać się z przewodnikiem krok po kroku dotyczącym wykorzystania modelu przy użyciu platformy Spark.

Przykłady wnioskowania modelu uczenia głębokiego można znaleźć w następujących artykułach:

• Wnioskowanie modelu przy użyciu bibliotek TensorFlow i TensorRT
• Wnioskowanie modelu przy użyciu narzędzia PyTorch

Wyodrębnianie danych strukturalnych i wnioskowanie wsadowe przy użyciu funkcji UDF platformy Spark

Poniższy przykładowy notes przedstawia opracowywanie, rejestrowanie i ocenę prostego agenta do wyodrębniania danych strukturalnych w celu przekształcania nieprzetworzonych, nieustrukturyzowanych danych w zorganizowane, używane informacje za pomocą zautomatyzowanych technik wyodrębniania. W tym podejściu pokazano, jak zaimplementować agentów niestandardowych na potrzeby wnioskowania wsadowego przy użyciu klasy PythonModel platformy MLflow i użyć zarejestrowanego modelu agenta jako funkcji platformy Spark User-Defined (UDF). W tym notesie pokazano również, jak wykorzystywać narzędzie Mosaic AI Agent Evaluation do dokładnej oceny z wykorzystaniem rzeczywistych danych.

Wyodrębnianie danych strukturalnych i wnioskowanie wsadowe przy użyciu funkcji UDF platformy Spark

Zdobądź notatnik

:::