Yapay Zeka Ağ Geçidi özellikli çıkarım tablolarını kullanarak sunulan modelleri izleme
Önemli
Bu özellik Genel Önizlemesürümündedir.
Önemli
Bu makalede dış modeller, sağlanan aktarım hızı iş yükleri veya aracı modelleri için çıkarım tabloları için geçerli olan konular açıklanmaktadır. özel modelleriçin modelleri izlemek ve hatalarını ayıklamak amacıyla çıkarım tabloları için bkz. .
Bu makalede sunulan modelleri izlemeye yönelik yapay zeka ağ geçidi özellikli çıkarım tabloları açıklanmaktadır. Çıkarım tablosu, bir uç nokta için gelen istekleri ve giden yanıtları otomatik olarak yakalar ve bunları Unity Kataloğu Delta tablosu olarak günlüğe kaydeder. Makine öğrenmesi modellerini izlemek, değerlendirmek, karşılaştırmak ve ince ayar yapmak için bu tablodaki verileri kullanabilirsiniz.
Yapay Zeka Ağ Geçidi özellikli çıkarım tabloları nelerdir?
AI Gateway özellikli çıkarım tabloları, Mosaic AI Model Sunma uç noktalarından gelen istek girişlerini ve yanıtları (tahminleri) sürekli olarak günlüğe kaydederek ve Unity Kataloğu'ndaki Delta tablosuna kaydederek modellerin izlenmesini ve tanılamasını basitleştirir. Daha sonra modellerinizi izlemek, hatalarını ayıklamak ve iyileştirmek için Databricks SQL sorguları ve not defterleri gibi Databricks platformunun tüm özelliklerini kullanabilirsiniz.
Mevcut veya yeni oluşturulan model sunum uç noktasında çıkarım tablolarını etkinleştirebilirsiniz ve bu uç noktaya yönelik istekler Unity Kataloğu'ndaki bir tabloya otomatik olarak kaydedilir.
Çıkarım tabloları için bazı yaygın uygulamalar şunlardır:
- Eğitim corpus'u oluşturun. Çıkarım tablolarını temel gerçeklik etiketleriyle birleştirerek modelinizi yeniden eğitmek veya ince ayar yapmak ve geliştirmek için kullanabileceğiniz bir eğitim corpus'u oluşturabilirsiniz. Databricks İşler'i kullanarak sürekli bir geri bildirim döngüsü ayarlayabilir ve yeniden eğitimi otomatikleştirebilirsiniz.
- Veri ve model kalitesini izleme. Lakehouse İzleme'yi kullanarak model performansınızı ve veri kaymalarınızı sürekli izleyebilirsiniz. Lakehouse İzleme, paydaşlarla paylaşabileceğiniz veri ve model kalitesi gösterge panellerini otomatik olarak oluşturur. Buna ek olarak, gelen verilerdeki değişimlere veya model performansındaki düşüşlere göre modelinizi yeniden eğitmeniz gerektiğinde uyarıları etkinleştirebilirsiniz.
- Üretim sorunlarının hatalarını ayıkla. Çıkarım tabloları HTTP durum kodları, istek ve yanıt JSON kodu, model çalışma süreleri gibi verileri günlüğe kaydeder ve model çalışma zamanlarında çıkış izler. Bu performans verilerini hata ayıklama amacıyla kullanabilirsiniz. Geçmiş isteklerdeki model performansını karşılaştırmak için çıkarım tablolarındaki geçmiş verileri de kullanabilirsiniz.
Gereksinimler
AI Ağ Geçidi özellikli çıkarım tabloları yalnızca sağlanan aktarım hızı kullanan uç noktalar veya dış modellerisunan uç noktalar için desteklenir.
Databricks çalışma alanı, bunlardan birinde:
Unity Kataloğu depolama hesabında yapılandırılmış özel bağlantısı olan çalışma alanları için, Sunucusuz işlemden özel bağlantı yapılandırmasayfasındaki adımları izleyin.
Databricks, çıkarım tablolarınızın en iyi duruma getirilmiş performansı için tahmine dayalı iyileştirme etkinleştirmenizi önerir.
Çalışma alanınızda Unity Kataloğu etkinleştirilmiş olmalıdır.
Hem uç nokta oluşturucusu hem de değiştirici uç nokta üzerinde Yönetebilir iznine sahip olmalıdır. erişim denetim listeleribakın.
Hem uç noktanın oluşturucusu hem de değiştirici, Unity Kataloğu'nda aşağıdaki
izinlerine sahip olmalıdır: - Belirtilen katalogda
USE CATALOG
izinlerini ayarlayın. - Belirtilen şemada
USE SCHEMA
izinleri. -
CREATE TABLE
izinleri şemada.
- Belirtilen katalogda
Uyarı
Çıkarım tablosu, aşağıdakilerden birini yaparsanız veri kaydını durdurabilir veya bozulma riski taşır:
- Tablo şemasını değiştirin.
- Tablo adını değiştirin.
- Tabloyu silin.
- Unity Kataloğu kataloğuna veya şemasına yönelik izinleri kaybedersiniz.
Çıkarım tablolarını etkinleştirme ve devre dışı bırakma
Bu bölümde, Hizmet Sunma kullanıcı arabirimini kullanarak çıkarım tablolarını etkinleştirme veya devre dışı bırakma gösterilmektedir. Çıkarım tablolarının sahibi, uç noktayı oluşturan kullanıcıdır. Tablodaki tüm erişim denetim listeleri (ACL' ler) standart Unity Kataloğu izinlerini izler ve tablo sahibi tarafından değiştirilebilir.
Uç nokta oluşturma sırasında çıkarım tablolarını etkinleştirmek için aşağıdaki adımları kullanın:
- Databricks Mosaic Yapay Zeka Kullanıcı Arabiriminde 'ı olarak sunmak için tıklayın.
- Sunum uç noktası oluştur'atıklayın.
- AI Gateway bölümünde çıkarım tablolarını etkinleştir'i seçin.
Çıkarım tablolarını mevcut bir uç noktada da etkinleştirebilirsiniz. Mevcut uç nokta yapılandırmasını düzenlemek için aşağıdakileri yapın:
- AI Gateway bölümünde AI Gateway'i düzenletıklayın.
- çıkarım tablolarını etkinleştir
seçin.
Çıkarım tablolarını devre dışı bırakmak için şu yönergeleri izleyin:
- Uç nokta sayfanıza gidin.
- AI Gatewaydüzenle üzerine tıklayın.
- Onay işaretini kaldırmak için çıkarım tablosunu etkinleştir seçeneğine tıklayın.
- AI Gateway özelliklerinden memnun kaldığınızda Güncelleştir'e tıklayın.
Çıkarım tablosunda sonuçları sorgulama ve analiz etme
Sunulan modelleriniz hazır olduktan sonra modellerinize yapılan tüm istekler yanıtlarla birlikte çıkarım tablosuna otomatik olarak kaydedilir. Tabloyu kullanıcı arabiriminde görüntüleyebilir, Databricks SQL'den veya bir not defterinden sorgulayabilir veya REST API'yi kullanarak tabloyu sorgulayabilirsiniz.
Kullanıcı arabirimindeki tabloyu görüntülemek için: Uç nokta sayfasında, çıkarım tablosunun adına tıklayarak tabloyu Katalog Gezgini'nde açın.
Uç nokta sayfasındaki çıkarım tablosu adına bağlantı
Databricks SQL'den veya Databricks not defterinden tabloyu sorgulamak için: Çıkarım tablosunu sorgulamak için aşağıdakine benzer bir kod çalıştırabilirsiniz.
SELECT * FROM <catalog>.<schema>.<payload_table>
**Çıkarım tablosu verilerinizi uç noktanızda sunulan temel model hakkındaki ayrıntılarla birleştirmek için:** Temel model ayrıntıları, system.serving.served_entities sistem tablosunda yakalanır.
SELECT * FROM <catalog>.<schema>.<payload_table> payload
JOIN system.serving.served_entities se on payload.served_entity_id = se.served_entity_id
AI Ağ Geçidi özellikli çıkartım tablosu şeması
AI Gateway kullanılarak etkinleştirilen çıkarım tabloları aşağıdaki şemaya sahiptir:
Sütun adı | Açıklama | Tür |
---|---|---|
request_date |
Model sunum isteğinin alındığı UTC tarihi. | TARİH |
databricks_request_id |
Azure Databricks tarafından oluşturulan ve tüm model sunum isteklerine eklenmiş istek tanımlayıcısı. | DİZGİ |
request_time |
İsteğin alındığı zaman damgası. | ZAMAN DAMGASI |
status_code |
Modelden döndürülen HTTP durum kodu. | INT |
sampling_fraction |
İsteğin aşağı örneklenmiş olması durumunda kullanılan örnekleme kesri. Bu değer 0 ile 1 arasındadır ve burada 1, 100% gelen isteğin dahil olduğunu temsil eder. | ÇİFT |
execution_duration_ms |
Modelin çıkarım gerçekleştirdiği milisaniye cinsinden süre. Bu ek yük ağ gecikme sürelerini içermez ve yalnızca modelin tahmin oluşturma süresini temsil eder. | BIGINT |
request |
Uç noktaya hizmet veren modele gönderilen ham istek JSON gövdesi. | DİZGİ |
response |
Uç noktaya hizmet veren model tarafından döndürülen ham yanıt JSON gövdesi. | DİZGİ |
served_entity_id |
Sunulan varlığın benzersiz kimliği. | DİZGİ |
logging_error_codes |
Veriler günlüğe kaydedilemediği zaman oluşan hatalar. Hata kodları MAX_REQUEST_SIZE_EXCEEDED ve MAX_RESPONSE_SIZE_EXCEEDED içerir. |
DİZİ |
requester |
hizmet veren uç noktasının çağrı isteği için izinleri kullanılan kullanıcı veya hizmet sorumlusunun kimliği. | DİZGİ |
Sınırlamalar
Sağlanan aktarım hızı iş yükleri:
- Sağlanan aktarım hızını kullanan uç noktaya hizmet veren yeni bir model oluşturursanız yalnızca AI Gateway özellikli çıkarım tabloları desteklenir.
- Sağlanan aktarım hızını kullanan mevcut bir model sunan uç noktanız varsa ve daha önceyapılandırılmış çıkarım tabloları yoksa, bunu AI Gateway özellikli çıkarım tablolarını kullanacak şekilde güncelleştirebilirsiniz.
- Sağlanan aktarım hızını kullanan mevcut bir model sunan uç noktanız varsa ve şu anda veya önceden yapılandırılmışçıkarım tablolarına sahipse, AI Gateway özellikli çıkarım tablolarını kullanacak şekilde güncelleştirmeden edebilirsiniz.
- Akış yapay zeka aracısı yanıt günlükleri için yalnızca ChatCompletion ile uyumlu alanlar ve izler toplanır.
Çıkarım tabloları günlük teslimi şu anda en iyi çabadır, ancak günlüklerin isteği izleyen 1 saat içinde kullanılabilir olmasını bekleyebilirsiniz. Daha fazla bilgi için Databricks hesap ekibinize ulaşın.
Günlüğe kaydedilen istek ve yanıt boyutu üst sınırı 1 MiB'dir (1.048.576 bayt). Bunu aşan istek ve yanıt yükleri
null
olarak günlüğe kaydedilir velogging_error_codes
MAX_REQUEST_SIZE_EXCEEDED
veyaMAX_RESPONSE_SIZE_EXCEEDED
ile doldurulur.
AI Gateway'e özgü sınırlamalar için bkz. Sınırlamalar. Uç nokta sınırlamalarını sunan genel model için bkz. Model Sunma sınırları ve bölgeleri.