Menyebarkan model untuk inferensi dan prediksi batch

Artikel ini menjelaskan apa yang direkomendasikan Databricks untuk inferensi batch.

Untuk penyajian model real time di Azure Databricks, lihat Menyebarkan model menggunakan Mosaic AI Model Serving.

Fungsi AI untuk inferensi batch

Fungsi AI adalah fungsi bawaan yang dapat Anda gunakan untuk menerapkan AI pada data Anda yang disimpan di Databricks. Anda dapat menjalankan inferensi batch menggunakan fungsi AI khusus tugas atau fungsi tujuan umum, ai_query. Untuk fleksibilitas, Databricks merekomendasikan penggunaan ai_query untuk inferensi batch.

Ada dua cara utama untuk menggunakan ai_query untuk inferensi batch:

• inference batch menggunakan model dasar yang dihosting oleh Databricks ai_query dan. Saat Anda menggunakan metode ini, Databricks mengonfigurasi model yang melayani titik akhir yang diskalakan secara otomatis berdasarkan beban kerja. Lihat LLM mana yang telah disediakan sebelumnya yang didukung.
• Inferensi batch menggunakan ai_query dan sebuah model yang melayani endpoint yang Anda konfigurasikan sendiri. Metode ini diperlukan untuk alur kerja inferensi batch yang menggunakan model fondasi yang dihosting di luar Databricks, model fondasi yang disempurnakan, atau model ML tradisional. Setelah penyebaran, titik akhir dapat langsung digunakan dengan ai_query.

inferensi Batch menggunakan Spark DataFrame

Lihat Panduan langkah demi langkah melakukan inferensi batch menggunakan Spark DataFrame untuk alur kerja inferensi model dengan Spark.

Untuk contoh inferensi model pembelajaran mendalam, lihat artikel berikut:

• Inferensi model menggunakan TensorFlow dan TensorRT
• Inferensi model menggunakan PyTorch

Ekstraksi data terstruktur dan inferensi batch menggunakan Spark UDF

Contoh notebook berikut menunjukkan pengembangan, pengelogan, dan evaluasi agen sederhana untuk ekstraksi data terstruktur untuk mengubah data mentah dan tidak terstruktur menjadi informasi yang terorganisir dan dapat digunakan melalui teknik ekstraksi otomatis. Pendekatan ini menunjukkan cara menerapkan agen kustom untuk inferensi batch menggunakan kelas PythonModel MLflow dan menggunakan model agen yang dicatat sebagai Spark User-Defined Function (UDF). Notebook ini juga menunjukkan cara memanfaatkan Evaluasi Agen AI Mosaik untuk mengevaluasi akurasi menggunakan data kebenaran dasar.

Ekstraksi data terstruktur dan inferensi batch menggunakan Spark UDF

Ambil buku catatan

:::