Mozaik AI Ağ Geçidi tanıtımı
Önemli
Bu özellik Genel Önizlemededir.
Bu makalede desteklenen üretken yapay zeka modellerine ve uç noktalara hizmet veren ilişkili modellerine erişimi idare etmeye ve izlemeye yönelik Databricks çözümü olan Mozaik AI Ağ Geçidi açıklanmaktadır.
Mozaik AI Ağ Geçidi nedir?
Mozaik AI Ağ Geçidi, kuruluş içindeki üretken yapay zeka modellerinin ve aracılarının kullanımını ve yönetimini kolaylaştırmak için tasarlanmıştır. Hizmet sunan uç noktaları modellemek için idare, izleme ve üretime hazır olma durumunu getiren merkezi bir hizmettir. Ayrıca yapay zekanın kuruluşunuzda benimsenmesini demokratikleştirmek ve hızlandırmak için yapay zeka trafiğini çalıştırmanıza, güvenli hale getirmenize ve yönetmenize olanak tanır.
Tüm veriler, Unity Kataloğu'ndaki Delta tablolarına kaydedilir.
AI Gateway verilerinizden içgörüleri görselleştirmeye başlamak için GitHub'dan örnek AI Gateway panosunu indirin. Bu pano, kullanım izleme ve yük günlüğü çıkarım tablolarındaki verilerden yararlanıyor.
JSON dosyasını indirdikten sonra panoyu çalışma alanınıza aktarın. Panoları içeri aktarma yönergeleri için Pano dosyasını içeri aktarma bölümüne bakın.
Desteklenen özellikler
Aşağıdaki tablo, kullanılabilir AI Gateway özelliklerini ve uç nokta türlerini sunan modelin bunları desteklediğini tanımlar.
| Özellik | Tanım | Harici model uç noktası | Foundation Model API'lerin tahsisli aktarım kapasitesi uç noktası | Mosaic Yapay Zeka ajanları |
|---|---|---|---|---|
| İzin ve hız sınırlama | Kimlerin erişimi olduğunu ve ne kadar erişime sahip olduğunu denetleme. | Destekleniyor | Destekleniyor | Desteklenmeyen |
| Yük günlüğü | çıkarım tablolarını kullanarak model API'lerine gönderilen verileri izleyin ve denetleyin. | Destekleniyor | Destekleniyor | Destekleniyor |
| Kullanımı izleme | sistem tablolarını kullanarak uç noktalarda operasyonel kullanımı ve ilişkili maliyetleri izleyin. | Destekleniyor | Destekleniyor | Desteklenmeyen |
| AI Korumaları | İsteklerde ve yanıtlarda istenmeyen verileri ve güvenli olmayan verileri önleyin. Bkz. AI Guardrails. | Destekleniyor | Destekleniyor | Desteklenmeyen |
| Fallbacks | Dağıtım sırasında ve sonrasındaki üretim kesintilerini en aza indirin. | Destekleniyor | Desteklenmeyen | Desteklenmeyen |
| Trafik ayırma | Modeller arasında trafiğin yükünü dengeleme. | Destekleniyor | Destekleniyor | Desteklenmeyen |
Mozaik AI Ağ Geçidi, etkinleştirilmiş özellikler bazında ücretlendirilir. Önizleme sırasında bu ücretli özellikler arasında AI Guardrails, yük günlüğü ve kullanım izleme yer alır. Sorgu izinleri, hız sınırlama, geri dönüşler ve trafik bölme gibi özellikler ücretsizdir. Tüm yeni özellikler ücrete tabidir.
Aşağıdaki tablo, ücretli AI Gateway özellikleri için milyon (M) token başına Databricks birimleri (DBU) oranını yansıtır. Ücretler SKU altında Serverless Real-time Inference listelenir.
| Özellik | DBU oranı |
|---|---|
| AI Korumaları | M belirteçleri başına 21,429 DBU |
| Yük günlüğü | M belirtkenleri başına 2.857 DBU |
| Kullanımı izleme | M belirteçleri başına 0,571 DBU |
AI Korumaları
AI Guardrails, kullanıcıların hizmet uç noktasında veri uyumluluğunu yapılandırmalarına ve uygulamalarına ve temel model üzerinde yapılan isteklerde zararlı içeriği azaltmalarına olanak tanır. Hatalı istekler ve yanıtlar engellenir ve kullanıcıya varsayılan bir ileti döndürülür. Model sunma uç noktasında korumaları nasıl yapılandıracağınızı öğrenin.
Önemli
AI Guardrails moderasyon hizmeti, Temel Model API'lerine bağımlıdır ve belirteç başına ödeme modeli ile çalışır. Bu bağımlılık, AI Guardrails moderation hizmetinin kullanılabilirliğini, Foundation Model API'lerini destekleyen ve token başına ödeme modelini kullanan bölgelerle sınırlar.
Aşağıdaki tablo yapılandırılabilir koruyucu önlemleri özetler. Bkz. Sınırlamaları.
| Koruyucu Bariyer | Tanım |
|---|---|
| Güvenlik filtreleme | Güvenlik filtrelemesi modelinizin şiddet içeren suç, kendine zarar verme ve nefret söylemi gibi güvenli olmayan ve zararlı içerikle etkileşim kurmasını önler. AI Gateway güvenlik filtresi Meta Llama 3 ile derlenir. Databricks, güvenlik filtresi olarak Llama Guard 2-8b kullanır. Llama Guard güvenlik filtresi ve güvenlik filtresi için hangi konuların geçerli olduğu hakkında daha fazla bilgi edinmek için Meta Llama Guard 2 8B model kartına bakın. Meta Llama 3, LLAMA 3 Topluluk Lisansı, Telif Hakkı © Meta Platformları, Inc. altında lisanslanır. Tüm Hakları Saklıdır. Müşteriler, geçerli model lisanslarıyla uyumluluğu sağlamakla sorumludur. |
| Kişisel olarak tanımlanabilir bilgiler (PII) algılama | Müşteriler kullanıcılar için adlar, adresler, kredi kartı numaraları gibi hassas bilgileri algılayabilir. Bu özellik için AI Gateway, Abd'de şu PII kategorilerini algılamak için Presidio kullanır: kredi kartı numaraları, e-posta adresleri, telefon numaraları, banka hesap numaraları ve sosyal güvenlik numaraları. PII sınıflandırıcısı, yapılandırılmış ve yapılandırılmamış verilerdeki hassas bilgileri veya PII'yi tanımlamaya yardımcı olabilir. Ancak, otomatik algılama mekanizmaları kullandığından, hizmetin tüm hassas bilgileri bulacağının garantisi yoktur. Sonuç olarak ek sistemler ve korumalar kullanılmalıdır. Bu sınıflandırma yöntemlerinin kapsamı öncelikli olarak ABD telefon numaraları ve sosyal güvenlik numaraları gibi ABD PII kategorilerine göre belirlenmiştir. |
| Konu yönetimi | İzin verilen bir konu kümesini listeleme özelliği. Sohbet isteği verildiğinde, bu koruma, sohbetin konusu izin verilen konularda değilse isteği işaretler. |
| Anahtar sözcük filtreleme | Müşteriler hem giriş hem de çıkış için farklı geçersiz anahtar sözcük kümeleri belirtebilir. Anahtar sözcük filtreleme için olası kullanım örneklerinden biri, modelin rakiplerden bahsetmemesidir. Bu koruma, anahtar sözcüğün istek veya yanıt içeriğinde var olup olmadığını belirlemek için anahtar sözcük veya dize eşleştirme kullanır. |
AI Gateway'i kullan
Hizmet Sunma kullanıcı arabirimini kullanarak uç noktalara hizmet veren modelinizde AI Gateway özelliklerini yapılandırabilirsiniz. Bkz Model sunma uç noktalarında Yapay Zeka Ağ Geçidi'ni yapılandırma.
Sınırlamalar
Önizleme sırasındaki sınırlamalar şunlardır:
- AI Gateway yalnızca şu amaçla desteklenir:
- Sağlanan aktarım hızı ile model sunma uç noktaları için Temel Model API'leri.
- Model sunucu uç noktaları dış modellere hizmet verir.
- Mozaik yapay zeka aracılarına hizmet veren uç noktaları sunan model.
- Yapay zeka korumaları kullanıldığında, istek küme boyutu - eklemeler küme boyutu, tamamlamalar küme boyutu veya sohbet istekleri için
nparametresi - 16'yı aşamaz. - Sağlanan aktarım hızı iş yükleri için, yalnızca hız sınırlaması yapılması ve AI Gateway özellikli çıkarım tablolarını kullanarak yük günlüğü kaydı desteklenir.
- Bkz. AI Gateway özellikli çıkarım tablosu sınırlamaları.
- işlevini çağırarak kullanır ve yapay zeka korumaları belirtirseniz, bu korumalar işlevin isteklerine ve ara yanıtlarına uygulanmaz. Ancak nihai çıktı yanıtına koruma önlemleri uygulanır.