Aracılığıyla paylaş

Yapay Zeka Ağ Geçidi özellikli çıkarım tablolarını kullanarak sunulan modelleri izleme

  • Makale

Önemli

Bu özellik Genel Önizlemesürümündedir.

Önemli

Bu makalede dış modeller, sağlanan aktarım hızı iş yükleri veya aracı modelleri için çıkarım tabloları için geçerli olan konular açıklanmaktadır. özel modelleriçin modelleri izlemek ve hatalarını ayıklamak amacıyla çıkarım tabloları için bkz. .

Bu makalede sunulan modelleri izlemeye yönelik yapay zeka ağ geçidi özellikli çıkarım tabloları açıklanmaktadır. Çıkarım tablosu, bir uç nokta için gelen istekleri ve giden yanıtları otomatik olarak yakalar ve bunları Unity Kataloğu Delta tablosu olarak günlüğe kaydeder. Makine öğrenmesi modellerini izlemek, değerlendirmek, karşılaştırmak ve ince ayar yapmak için bu tablodaki verileri kullanabilirsiniz.

Yapay Zeka Ağ Geçidi özellikli çıkarım tabloları nelerdir?

AI Gateway özellikli çıkarım tabloları, Mosaic AI Model Sunma uç noktalarından gelen istek girişlerini ve yanıtları (tahminleri) sürekli olarak günlüğe kaydederek ve Unity Kataloğu'ndaki Delta tablosuna kaydederek modellerin izlenmesini ve tanılamasını basitleştirir. Daha sonra modellerinizi izlemek, hatalarını ayıklamak ve iyileştirmek için Databricks SQL sorguları ve not defterleri gibi Databricks platformunun tüm özelliklerini kullanabilirsiniz.

Mevcut veya yeni oluşturulan model sunum uç noktasında çıkarım tablolarını etkinleştirebilirsiniz ve bu uç noktaya yönelik istekler Unity Kataloğu'ndaki bir tabloya otomatik olarak kaydedilir.

Çıkarım tabloları için bazı yaygın uygulamalar şunlardır:

  • Eğitim corpus'u oluşturun. Çıkarım tablolarını temel gerçeklik etiketleriyle birleştirerek modelinizi yeniden eğitmek veya ince ayar yapmak ve geliştirmek için kullanabileceğiniz bir eğitim corpus'u oluşturabilirsiniz. Databricks İşler'i kullanarak sürekli bir geri bildirim döngüsü ayarlayabilir ve yeniden eğitimi otomatikleştirebilirsiniz.
  • Veri ve model kalitesini izleme. Lakehouse İzleme'yi kullanarak model performansınızı ve veri kaymalarınızı sürekli izleyebilirsiniz. Lakehouse İzleme, paydaşlarla paylaşabileceğiniz veri ve model kalitesi gösterge panellerini otomatik olarak oluşturur. Buna ek olarak, gelen verilerdeki değişimlere veya model performansındaki düşüşlere göre modelinizi yeniden eğitmeniz gerektiğinde uyarıları etkinleştirebilirsiniz.
  • Üretim sorunlarının hatalarını ayıkla. Çıkarım tabloları HTTP durum kodları, istek ve yanıt JSON kodu, model çalışma süreleri gibi verileri günlüğe kaydeder ve model çalışma zamanlarında çıkış izler. Bu performans verilerini hata ayıklama amacıyla kullanabilirsiniz. Geçmiş isteklerdeki model performansını karşılaştırmak için çıkarım tablolarındaki geçmiş verileri de kullanabilirsiniz.

Gereksinimler

  • AI Ağ Geçidi özellikli çıkarım tabloları yalnızca sağlanan aktarım hızı kullanan uç noktalar veya dış modellerisunan uç noktalar için desteklenir.

  • Databricks çalışma alanı, bunlardan birinde:

  • Unity Kataloğu depolama hesabında yapılandırılmış özel bağlantısı olan çalışma alanları için, Sunucusuz işlemden özel bağlantı yapılandırmasayfasındaki adımları izleyin.

  • Databricks, çıkarım tablolarınızın en iyi duruma getirilmiş performansı için tahmine dayalı iyileştirme etkinleştirmenizi önerir.

  • Çalışma alanınızda Unity Kataloğu etkinleştirilmiş olmalıdır.

  • Hem uç nokta oluşturucusu hem de değiştirici uç nokta üzerinde Yönetebilir iznine sahip olmalıdır. erişim denetim listeleribakın.

  • Hem uç noktanın oluşturucusu hem de değiştirici, Unity Kataloğu'nda aşağıdaki izinlerine sahip olmalıdır:

    • Belirtilen katalogda USE CATALOG izinlerini ayarlayın.
    • Belirtilen şemada USE SCHEMA izinleri.
    • CREATE TABLE izinleri şemada.

Uyarı

Çıkarım tablosu, aşağıdakilerden birini yaparsanız veri kaydını durdurabilir veya bozulma riski taşır:

  • Tablo şemasını değiştirin.
  • Tablo adını değiştirin.
  • Tabloyu silin.
  • Unity Kataloğu kataloğuna veya şemasına yönelik izinleri kaybedersiniz.

Çıkarım tablolarını etkinleştirme ve devre dışı bırakma

Bu bölümde, Hizmet Sunma kullanıcı arabirimini kullanarak çıkarım tablolarını etkinleştirme veya devre dışı bırakma gösterilmektedir. Çıkarım tablolarının sahibi, uç noktayı oluşturan kullanıcıdır. Tablodaki tüm erişim denetim listeleri (ACL' ler) standart Unity Kataloğu izinlerini izler ve tablo sahibi tarafından değiştirilebilir.

Uç nokta oluşturma sırasında çıkarım tablolarını etkinleştirmek için aşağıdaki adımları kullanın:

  1. Databricks Mosaic Yapay Zeka Kullanıcı Arabiriminde 'ı olarak sunmak için tıklayın.
  2. Sunum uç noktası oluştur'atıklayın.
  3. AI Gateway bölümünde çıkarım tablolarını etkinleştir'i seçin.

Çıkarım tablolarını mevcut bir uç noktada da etkinleştirebilirsiniz. Mevcut uç nokta yapılandırmasını düzenlemek için aşağıdakileri yapın:

  1. AI Gateway bölümünde AI Gateway'i düzenletıklayın.
  2. çıkarım tablolarını etkinleştirseçin.

Çıkarım tablolarını devre dışı bırakmak için şu yönergeleri izleyin:

  1. Uç nokta sayfanıza gidin.
  2. AI Gatewaydüzenle üzerine tıklayın.
  3. Onay işaretini kaldırmak için çıkarım tablosunu etkinleştir seçeneğine tıklayın.
  4. AI Gateway özelliklerinden memnun kaldığınızda Güncelleştir'e tıklayın.

Çıkarım tablosunda sonuçları sorgulama ve analiz etme

Sunulan modelleriniz hazır olduktan sonra modellerinize yapılan tüm istekler yanıtlarla birlikte çıkarım tablosuna otomatik olarak kaydedilir. Tabloyu kullanıcı arabiriminde görüntüleyebilir, Databricks SQL'den veya bir not defterinden sorgulayabilir veya REST API'yi kullanarak tabloyu sorgulayabilirsiniz.

Kullanıcı arabirimindeki tabloyu görüntülemek için: Uç nokta sayfasında, çıkarım tablosunun adına tıklayarak tabloyu Katalog Gezgini'nde açın.

Uç nokta sayfasındaki çıkarım tablosu adına bağlantı

Databricks SQL'den veya Databricks not defterinden tabloyu sorgulamak için: Çıkarım tablosunu sorgulamak için aşağıdakine benzer bir kod çalıştırabilirsiniz.

SELECT * FROM <catalog>.<schema>.<payload_table>

**Çıkarım tablosu verilerinizi uç noktanızda sunulan temel model hakkındaki ayrıntılarla birleştirmek için:** Temel model ayrıntıları, system.serving.served_entities sistem tablosunda yakalanır.

SELECT * FROM <catalog>.<schema>.<payload_table> payload
JOIN system.serving.served_entities se on payload.served_entity_id = se.served_entity_id

AI Ağ Geçidi özellikli çıkartım tablosu şeması

AI Gateway kullanılarak etkinleştirilen çıkarım tabloları aşağıdaki şemaya sahiptir:

Sütun adı Açıklama Tür
request_date Model sunum isteğinin alındığı UTC tarihi. TARİH
databricks_request_id Azure Databricks tarafından oluşturulan ve tüm model sunum isteklerine eklenmiş istek tanımlayıcısı. DİZGİ
request_time İsteğin alındığı zaman damgası. ZAMAN DAMGASI
status_code Modelden döndürülen HTTP durum kodu. INT
sampling_fraction İsteğin aşağı örneklenmiş olması durumunda kullanılan örnekleme kesri. Bu değer 0 ile 1 arasındadır ve burada 1, 100% gelen isteğin dahil olduğunu temsil eder. ÇİFT
execution_duration_ms Modelin çıkarım gerçekleştirdiği milisaniye cinsinden süre. Bu ek yük ağ gecikme sürelerini içermez ve yalnızca modelin tahmin oluşturma süresini temsil eder. BIGINT
request Uç noktaya hizmet veren modele gönderilen ham istek JSON gövdesi. DİZGİ
response Uç noktaya hizmet veren model tarafından döndürülen ham yanıt JSON gövdesi. DİZGİ
served_entity_id Sunulan varlığın benzersiz kimliği. DİZGİ
logging_error_codes Veriler günlüğe kaydedilemediği zaman oluşan hatalar. Hata kodları MAX_REQUEST_SIZE_EXCEEDED ve MAX_RESPONSE_SIZE_EXCEEDEDiçerir. DİZİ
requester hizmet veren uç noktasının çağrı isteği için izinleri kullanılan kullanıcı veya hizmet sorumlusunun kimliği. DİZGİ

Sınırlamalar

  • Sağlanan aktarım hızı iş yükleri:

    • Sağlanan aktarım hızını kullanan uç noktaya hizmet veren yeni bir model oluşturursanız yalnızca AI Gateway özellikli çıkarım tabloları desteklenir.
    • Sağlanan aktarım hızını kullanan mevcut bir model sunan uç noktanız varsa ve daha önceyapılandırılmış çıkarım tabloları yoksa, bunu AI Gateway özellikli çıkarım tablolarını kullanacak şekilde güncelleştirebilirsiniz.
    • Sağlanan aktarım hızını kullanan mevcut bir model sunan uç noktanız varsa ve şu anda veya önceden yapılandırılmışçıkarım tablolarına sahipse, AI Gateway özellikli çıkarım tablolarını kullanacak şekilde güncelleştirmeden edebilirsiniz.
    • Akış yapay zeka aracısı yanıt günlükleri için yalnızca ChatCompletion ile uyumlu alanlar ve izler toplanır.

  • Çıkarım tabloları günlük teslimi şu anda en iyi çabadır, ancak günlüklerin isteği izleyen 1 saat içinde kullanılabilir olmasını bekleyebilirsiniz. Daha fazla bilgi için Databricks hesap ekibinize ulaşın.

  • Günlüğe kaydedilen istek ve yanıt boyutu üst sınırı 1 MiB'dir (1.048.576 bayt). Bunu aşan istek ve yanıt yükleri null olarak günlüğe kaydedilir ve logging_error_codesMAX_REQUEST_SIZE_EXCEEDED veya MAX_RESPONSE_SIZE_EXCEEDEDile doldurulur.

AI Gateway'e özgü sınırlamalar için bkz. Sınırlamalar. Uç nokta sınırlamalarını sunan genel model için bkz. Model Sunma sınırları ve bölgeleri.