Azure OpenAI depolanmış tamamlamaları ve damıtma (önizleme)

Depolanan tamamlamalar, değerlendirmeler ve ince ayarlamalar için veri kümesi olarak kullanmak üzere sohbet tamamlama oturumlarından konuşma geçmişini yakalamanıza olanak sağlar.

Depolanmış tamamlama desteği

API desteği

Destek ilk olarak eklendi 2024-10-01-preview

Dağıtım türü

Şu anda yalnızca Standard model dağıtımları depolanmış tamamlamaları destekler.

Model ve bölge kullanılabilirliği

Depolanan tamamlamaları yapılandırma

Azure OpenAI dağıtımınızda depolanan tamamlamaları etkinleştirmek için parametresini store olarak Trueayarlayın. metadata Depolanan tamamlama veri kümenizi ek bilgilerle zenginleştirmek için parametresini kullanın.

import os
from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-10-01-preview"
)

completion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

import os
from openai import AzureOpenAI
    
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-10-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )

ompletion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Azure OpenAI dağıtımı için depolanan tamamlamalar etkinleştirildikten sonra, Depolanan Tamamlamalar bölmesindeki Azure AI Foundry portalındagörünmeye başlarlar .

Damıtma

Damıtma, depolanan tamamlamalarınızı ince ayarlı bir veri kümesine dönüştürmenizi sağlar. Yaygın bir kullanım örneği, belirli bir görev için depolanmış tamamlamaları daha büyük ve daha güçlü bir modelle kullanmak ve ardından daha küçük bir modeli model etkileşimlerinin yüksek kaliteli örnekleri üzerinde eğitmek için depolanmış tamamlamaları kullanmaktır.

Damıtma işlemi için en az 10 depolanmış tamamlama gerekir, ancak en iyi sonuçlar için yüz binlerce depolanmış tamamlama sağlanması önerilir.

1. Azure AI Foundry portalındaki Saklı Tamamlamalar bölmesinden, modelinizi eğitmek istediğiniz tamamlamaları seçmek için Filtre seçeneklerini kullanın.

2. Damıtmaya başlamak için Damıt'ı seçin

   

3. Depolanan tamamlama veri kümenizle ince ayar yapmak istediğiniz modeli seçin.

   

4. Modelin hangi sürümünde ince ayar yapmak istediğinizi onaylayın:

   

5. .jsonl Rastgele oluşturulan ada sahip bir dosya, depolanmış tamamlamalarınızdan bir eğitim veri kümesi olarak oluşturulur. İleri dosyasını >seçin.

   Not

   Depolanmış tamamlama damıtma eğitim dosyalarına doğrudan erişilemez ve dışarıdan dışarı aktarılamaz/indirilemez.

   

Adımların geri kalanı tipik Azure OpenAI ince ayarlama adımlarına karşılık gelir. Daha fazla bilgi edinmek için başlangıç kılavuzumuza bakın.

Değerlendirme

Büyük dil modellerinin değerlendirilmesi , çeşitli görev ve boyutlardaki performanslarını ölçmede kritik bir adımdır. Bu, özellikle eğitimden elde edilen performans artışlarını (veya kayıplarını) değerlendirmenin önemli olduğu hassas ayarlanmış modeller için önemlidir. Kapsamlı değerlendirmeler, modelin farklı sürümlerinin uygulamanızı veya senaryonuzu nasıl etkileyebileceklerini anlamanıza yardımcı olabilir.

Depolanan tamamlamalar, değerlendirmeleri çalıştırmak için bir veri kümesi olarak kullanılabilir.

1. Azure AI Foundry portalındakiSaklı Tamamlamalar bölmesinde, değerlendirme veri kümenizin parçası olmasını istediğiniz tamamlamaları seçmek için Filtre seçeneklerini kullanın.

2. Değerlendirmeyi yapılandırmak için Değerlendir'i seçin

   

3. Bu işlem, depolanmış tamamlamalarınızdan bir değerlendirme veri kümesi olarak oluşturulan rastgele oluşturulmuş bir ada sahip önceden doldurulmuş .jsonl bir dosyayla Değerlendirmeler bölmesini başlatır.

   Not

   Depolanan tamamlama değerlendirme veri dosyalarına doğrudan erişilemez ve dışarıdan dışarı aktarılamaz/indirilemez.

   

Değerlendirme hakkında daha fazla bilgi edinmek için bkz. Değerlendirmeleri kullanmaya başlama

Sorun giderme

Depolanan tamamlamaları kullanmak için özel izinlere ihtiyacım var mı?

Depolanan tamamlamalar erişimi iki DataActions aracılığıyla denetlenir:

• Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/read
• Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/action

Varsayılan olarak Cognitive Services OpenAI Contributor şu izinlerin her ikisine de erişimi vardır:

Depolanan veriler Nasıl yaparım? silinsin mi?

veriler ilişkili Azure OpenAI kaynağı silinerek silinebilir. Yalnızca depolanan tamamlanma verilerini silmek istiyorsanız müşteri desteğiyle bir servis talebi açmanız gerekir.

Ne kadar depolanmış tamamlama verisi depolayabilirim?

En fazla 10 GB veri depolayabilirsiniz.

Bir abonelikte depolanan tamamlamaların etkinleştirilmesini önleyebilir miyim?

Abonelik düzeyinde depolanan tamamlamaları devre dışı bırakmak için müşteri desteğiyle bir servis talebi açmanız gerekir.

TypeError: Completions.create() beklenmeyen bir 'store' bağımsız değişkeni aldı

Bu hata, OpenAI istemci kitaplığının yayımlanan depolanmış tamamlamalar özelliğinin önceki bir sürümünü çalıştırdığınızda oluşur. pip install openai --upgrade'i çalıştırın.