Развертывание моделей для пакетного вывода и прогнозирования

В этой статье описывается, что Databricks рекомендует для пакетного вывода предсказаний.

Для предоставления моделей в режиме реального времени в Azure Databricks см. раздел Развертывание моделей с использованием Mosaic AI для обслуживания моделей.

функции ИИ для пакетного предсказания

Функции ИИ — это встроенные функции, которые можно использовать для применения ИИ к данным, хранящимся в Databricks. Вы можете выполнить пакетный вывод с помощью функций ИИ для конкретных задач или функции общего назначения ai_query. Для гибкости Databricks рекомендует использовать ai_query для пакетного вывода.

Существует два основных способа использования ai_query для пакетного вывода:

• пакетное прогнозирование с помощью ai_query и базовых моделей, размещенных на платформе Databricks,. При использовании этого метода Databricks настраивает конечную точку обслуживания модели, которая масштабируется автоматически на основе рабочей нагрузки. Узнайте, какие предварительно подготовленные модели LLM поддерживаются.
• пакетное предсказание с использованием ai_query и конечной точки обслуживания модели, которую вы настраиваете самостоятельно. Этот метод необходим для рабочих процессов пакетного вывода, использующих базовые модели, размещенные за пределами Databricks, точно настроенных моделей фундамента или традиционных моделей машинного обучения. После развертывания конечная точка может сразу использоваться с ai_query.

Пакетное выполнение инференции с использованием кадра данных Spark

См. для пошагового руководства через рабочий процесс вывода модели с использованием Spark в статье Выполнение пакетного вывода с помощью Кадра данных Spark.

Примеры вывода модели глубокого обучения см. в следующих статьях:

• Вывод модели с помощью TensorFlow и TensorRT
• Вывод модели с помощью PyTorch

Структурированное извлечение данных и пакетный инференс с помощью UDF Spark

В следующем примере записной книжки демонстрируется разработка, ведение журнала и оценка простого агента для структурированного извлечения данных для преобразования необработанных, неструктурированных данных в упорядоченные, используемые сведения с помощью методов автоматического извлечения. Этот подход демонстрирует, как реализовать пользовательские агенты для пакетного вывода с помощью класса PythonModel MLflow и использовать модель агента, зарегистрированную в журнале, как функцию Spark User-Defined (UDF). В этой записной книжке также показано, как использовать оценку агента Mosaic AI для оценки точности с использованием эталонных данных.

Структурированное извлечение данных и пакетный вывод с использованием Spark UDF.

Получи ноутбук

:::