Implantar modelos para inferência e previsão em lote

Este artigo descreve o que o Databricks recomenda para inferência em lote.

Para implementação de modelos em tempo real no Azure Databricks, consulte Implantar modelos usando o Mosaic AI Model Serving.

Funções de IA para inferência em lote

AI Functions são funções integradas que você pode usar para aplicar IA em seus dados armazenados no Databricks. Você pode executar a inferência em lote usando funções de IA específicas da tarefa ou a função de propósito geral, ai_query. Para flexibilidade, o Databricks recomenda o uso de ai_query para inferência em lote.

Há duas maneiras principais de usar ai_query para inferência em lote:

• Inferência em lote usando ai_query e modelos de base hospedados em Databricks. Quando você usa esse método, o Databricks configura um modelo de ponto de extremidade de serviço que é dimensionado automaticamente com base na carga de trabalho. Veja quais LLMs pré-provisionados são suportados.
• Inferência em lote usando ai_query e um endpoint de serviço que é configurado por si próprio. Esse método é necessário para fluxos de trabalho de inferência em lote que usam modelos de base hospedados fora do Databricks, modelos de fundação ajustados ou modelos de ML tradicionais. Após a implantação, o ponto de extremidade pode ser usado diretamente com ai_query.

Inferência em lote usando um Spark DataFrame

Consulte Executar inferência em lote usando um DataFrame do Spark para obter um guia passo a passo sobre o fluxo de trabalho de inferência de modelo usando o Spark.

Para obter exemplos de inferência de modelos de aprendizagem profunda, consulte os seguintes artigos:

• Inferência de modelos usando TensorFlow e TensorRT
• Inferência de modelos usando PyTorch

Extração de dados estruturados e inferência em lote usando o Spark UDF

O bloco de anotações de exemplo a seguir demonstra o desenvolvimento, o registro em log e a avaliação de um agente simples para extração de dados estruturados para transformar dados brutos e não estruturados em informações organizadas e utilizáveis por meio de técnicas de extração automatizada. Essa abordagem demonstra como implementar agentes personalizados para inferência em lote usando a classe PythonModel do MLflow e empregar o modelo de agente registrado como uma função de User-Defined de faísca (UDF). Este caderno também mostra como aproveitar o Mosaic AI Agent Evaluation para avaliar a precisão usando dados de verdade do solo.

Extração de dados estruturados e inferência em lote usando o Spark UDF

Obter caderno

:::