Aracılığıyla paylaş

Mozaik AI Model Sunma kullanarak modelleri dağıtın

  • Makale

Bu makalede, gerçek zamanlı sunum ve toplu çıkarım için yapay zeka ve ML modellerini dağıtmaya yönelik Databricks çözümü olan Mozaik Yapay Zeka Modeli Sunma açıklanmaktadır.

Mozaik Yapay Zeka Modeli Nedir?

Mozaik Yapay Zeka Modeli Sunma, gerçek zamanlı ve toplu çıkarım için yapay zeka modellerini dağıtmak, idare etmek ve sorgulamak için birleşik bir arabirim sağlar. Hizmet ettiğiniz her model, web veya istemci uygulamanızla tümleştirebileceğiniz bir REST API olarak kullanılabilir.

Model Sunma, modelleri dağıtmak için yüksek oranda kullanılabilir ve düşük gecikme süreli bir hizmet sağlar. Hizmet, talep değişikliklerini karşılamak için ölçeği otomatik olarak artırıp azaltır ve altyapı maliyetlerinden tasarruf ederken gecikme süresi performansını da en iyi duruma getirir. Bu işlev sunucusuz işlem kullanır. Daha fazla ayrıntı için Model Sunma fiyatlandırma sayfasına bakın.

Model Sunma, CRUD ve sorgulama görevleri için birleşik bir REST API ve MLflow Dağıtım API'sini sunar. Buna ek olarak, tüm modellerinizi ve ilgili hizmet uç noktalarını yönetmek için tek bir kullanıcı arabirimi sağlar. Analiz iş akışlarına kolay tümleştirme için yapay zeka işlevlerini kullanarak modellere doğrudan SQL'den de erişebilirsiniz.

Başlamak için aşağıdaki kılavuzlara bakın:

Dağıtabileceğiniz modeller

Model sunumu, aşağıdaki model türleri için gerçek zamanlı ve toplu çıkarım destekler:

  • Özel modeller. Bunlar MLflow biçiminde paketlenmiş Python modelleridir. Bunlar Unity Kataloğu'na veya çalışma alanı modeli kayıt defterine kaydedilebilir. Örnek olarak scikit-learn, XGBoost, PyTorch ve Hugging Face transformatör modelleri verilebilir.
    • Aracı hizmeti, özel bir model olarak desteklenmektedir. Yapay zeka uygulaması dağıtmak için bir aracıyı kullanmayı görüntüleyin.
  • Temel modeller.
    • Databricks tarafından barındırılan Meta Llama gibi temel modeller. Bu modellerFoundation Model API'leri kullanılarak kullanılabilir. Bu modeller, iyileştirilmiş çıkarımları destekleyen, seçilmiş temel model mimarileridir. Meta-Llama-3.3-70B-Instruct, GTE-Large ve Mistral-7B gibi temel modeller, belirteç başına ödeme fiyatlandırmasıyla anında kullanılabilir ve performans garantileri ile ince ayarlı model varyantları gerektiren iş yükleri, sağlananaktarım hızıyla dağıtılabilir.
    • Databricks dışında barındırılan Foundation modelleri, OpenAI'den GPT-4 gibi. Bu modellere dış modellerkullanılarak erişilebilir. Bu modellere hizmet veren uç noktalar Azure Databricks'ten merkezi olarak yönetilebilir, böylece kuruluşunuzdaki OpenAI ve Anthropic gibi çeşitli LLM sağlayıcılarının kullanımını ve yönetimini kolaylaştırabilirsiniz.

Not

AI Playground'i kullanarak desteklenen büyük dil modelleriyle etkileşim kurabilirsiniz. AI Playground, LLM'leri test edebileceğiniz, sorabileceğiniz ve karşılaştırabileceğiniz sohbet benzeri bir ortamdır. Bu işlev Azure Databricks çalışma alanınızda kullanılabilir.

Model Servisi neden kullanılır?

  • Herhangi bir modeli dağıtma ve sorgulama: Model Sunma, Databricks'te veya harici olarak barındırılmalarından bağımsız olarak tüm modelleri tek bir konumda yönetebileceğiniz ve tek bir API ile sorgulayabileceğiniz birleşik bir arabirim sağlar. Bu yaklaşım, çeşitli bulutlar ve sağlayıcılar arasında üretimde modelleri deneme, özelleştirme ve dağıtma sürecini basitleştirir.
  • Özel verilerinizle modelleri güvenli bir şekilde özelleştirme: Veri Zekası Platformu üzerinde oluşturulan Model Sunma, Databricks Özellik Deposu ve Mozaik Yapay Zeka Vektör Arama ile yerel tümleştirme aracılığıyla özelliklerin ve eklemelerin modellere tümleştirilmesini kolaylaştırır. Daha da iyi doğruluk ve bağlamsal anlayış için modeller özel verilerle ince ayarlanabilir ve Model Hizmeti'ne kolayca dağıtılabilir.
  • Modelleri yönetme ve izleme: Sunum Kullanıcı Arabirimi, şirket dışında barındırılanlar da dahil olmak üzere tüm model uç noktalarını tek bir yerde merkezi olarak yönetmenizi sağlar. AI Gatewaykullanarak izinleri yönetebilir, kullanım sınırlarını izleyebilir ve ayarlayabilir ve tüm model türlerinin kalitesini izleyebilirsiniz. Bu sayede SaaS'ye erişimi demokratikleştirebilir ve kuruluşunuzdaki LLM'leri açabilir ve uygun korumaların yerinde olduğundan emin olursunuz.
  • İyileştirilmiş çıkarım ve hızlı ölçeklendirmemaliyeti azaltın: Databricks, büyük modeller için en iyi aktarım hızını ve gecikme süresini elde etmek için bir dizi iyileştirme gerçekleştirmiştir. Uç noktalar, talep değişikliklerini karşılamak için ölçeği otomatik olarak artırıp azaltarak altyapı maliyetlerinden tasarruf sağlarken gecikme süresi performansını da en iyi duruma getirir. Model sunma maliyetlerini kontrol edin.

Not

Gecikme süresine duyarlı olan veya saniyede çok sayıda sorgu içeren iş yükleri için Databricks, özel model sunum uç noktaları üzerinde yol iyileştirme kullanılmasını önerir. Çalışma alanınızın yüksek ölçeklenebilirlik için etkinleştirildiğinden emin olmak için Databricks hesap ekibinize ulaşın.

  • Model Sunma için güvenilirlik ve güvenlik getirme: Model Sunma, yüksek kullanılabilirlik ve düşük gecikme süreli üretim kullanımı için tasarlanmıştır ve ek yük gecikme süresi 50 ms'den kısa olan saniyede 25 binden fazla sorgu destekleyebilir. Hizmet veren iş yükleri birden çok güvenlik katmanıyla korunarak en hassas görevler için bile güvenli ve güvenilir bir ortam sağlar.

Not

Model Sunma, üretim dağıtımlarında istikrarsızlaştırma riski nedeniyle mevcut model görüntülerine güvenlik yamaları sağlamaz. Yeni bir model sürümünden oluşturulan yeni model görüntüsü en son düzeltme eklerini içerir. Daha fazla bilgi için Databricks hesap ekibinize ulaşın.

Gereksinimler

Çalışma alanınız için Model Sunma'yı etkinleştirme

Çalışma alanınızda Model Sunma'yı etkinleştirmek için ek adım gerekmez.

Sınırlamalar ve bölge kullanılabilirliği

Mozaik Yapay Zeka Modeli Sunma, güvenilir performans sağlamak için varsayılan sınırlar uygular. Bkz. Model Sunma sınırları ve bölgeleri. Bu sınırlar veya desteklenmeyen bir bölgedeki bir uç nokta hakkında geri bildiriminiz varsa Databricks hesap ekibinize ulaşın.

Model Sunma'da veri koruması

Databricks, veri güvenliğini ciddiye alır. Databricks, Mozaik Yapay Zeka Modeli Sunma'yı kullanarak analiz ettiğiniz verilerin önemini anlar ve verilerinizi korumak için aşağıdaki güvenlik denetimlerini uygular.

  • Model Sunma için her müşteri isteği mantıksal olarak yalıtılmış, kimliği doğrulanmış ve yetkilendirilmiştir.
  • Mozaik AI Model Sunma, depolanan (AES-256) ve aktarımdaki (TLS 1.2+) tüm verileri şifreler.

Tüm ücretli hesaplar için Mozaik AI Model Sunma, herhangi bir modeli eğitmek veya Databricks hizmetlerini geliştirmek için hizmete gönderilen kullanıcı girişlerini veya hizmetten çıkışları kullanmaz.

Databricks Foundation Model API'leri için, hizmeti sağlamanın bir parçası olarak Databricks, uygunsuz kullanımları veya zararlı kullanımları önleme, algılama ve azaltma amacıyla girişleri ve çıkışları geçici olarak işleyebilir ve depolayabilir. Giriş ve çıkışlarınız diğer müşterilerinkilerden yalıtılır, otuz (30) güne kadar çalışma alanınızla aynı bölgede depolanır ve yalnızca güvenlik veya uygunsuz kullanım sorunlarını algılamak ve yanıtlamak için erişilebilir. Temel Model API'leri bir Databricks Belirlenmiş Hizmetidir, yani Databricks Geos tarafından uygulanan veri yerleşim yeri sınırlarına bağlıdır.

Ek kaynaklar