Toplu çıkarım ve tahmin için modelleri dağıtma

Bu makalede, Databricks'in toplu çıkarım için ne önerdiği açıklanmaktadır.

Azure Databricks'te gerçek zamanlı model sunma için bkz. Mozaik Yapay Zeka Modeli Sunmakullanarak modelleri dağıtma .

Toplu çıkarım için AI İşlevleri

AI İşlevleri, Databricks'te depolanan verilerinize yapay zeka uygulamak için kullanabileceğiniz yerleşik işlevlerdir. Göreve özgü yapay zeka işlevlerini veya'ı ya da genel amaçlı işlevi ai_query'yi kullanarak toplu çıkarım çalıştırabilirsiniz. Databricks, esneklik için toplu çıkarım için ai_query kullanılmasını önerir.

Toplu çıkarım için ai_query kullanmanın iki ana yolu vardır:

• ai_query ve Databricks tarafından barındırılan temel modelleri kullanarak toplu çıkarım. Bu yöntemi kullandığınızda Databricks, iş yüküne göre otomatik olarak ölçeklendirilen uç nokta sunan bir model yapılandırıyor. Hangi önceden sağlanan LLM'lerin desteklendiğini görün.
• Toplu çıkarım , ai_query ve kendinizin yapılandırdığı bir model sunma uç noktası kullanılarak yapılır. Bu yöntem Databricks dışında barındırılan temel modelleri, ince ayarlı temel modelleri veya geleneksel ML modellerini kullanan toplu çıkarım iş akışları için gereklidir. Dağıtımdan sonra uç nokta doğrudan ai_queryile kullanılabilir.

Spark DataFrame kullanarak toplu çıkarım

Spark kullanarak model çıkarım iş akışında adım adım kılavuz için bkz. Spark DataFrame kullanarak toplu çıkarım gerçekleştirme.

Derin öğrenme modeli çıkarım örnekleri için aşağıdaki makalelere bakın:

• TensorFlow ve TensorRT kullanarak model çıkarımı
• PyTorch kullanarak model çıkarımı

Spark UDF kullanarak yapılandırılmış veri ayıklama ve toplu çıkarım

Aşağıdaki örnek not defteri ham, yapılandırılmamış verileri otomatik ayıklama teknikleri aracılığıyla düzenli, kullanılabilir bilgilere dönüştürmek üzere yapılandırılmış veri ayıklama için basit bir aracı geliştirme, günlüğe kaydetme ve değerlendirme işlemlerini gösterir. Bu yaklaşım, MLflow'un PythonModel sınıfını kullanarak toplu çıkarım için özel aracılar oluşturmayı ve kaydedilen aracı modelini Spark User-Defined İşlevi (UDF) olarak kullanmayı gösterir. Bu not defteri ayrıca, temel doğruluk verilerini kullanarak doğruluğu değerlendirmek için Mozaik Yapay Zeka Aracısı Değerlendirmesi'nin nasıl kullanılağini da gösterir.

Spark UDF kullanarak yapılandırılmış veri ayıklama ve toplu çıkarım

Dizüstü bilgisayar al

:::