Penyelesaian & distilasi tersimpan Azure OpenAI (pratinjau)

Penyelesaian tersimpan memungkinkan Anda mengambil riwayat percakapan dari sesi penyelesaian obrolan untuk digunakan sebagai himpunan data untuk evaluasi dan penyempurnaan.

Dukungan penyelesaian tersimpan

Dukungan API

Dukungan pertama kali ditambahkan di 2024-10-01-preview

Jenis penyebaran

Saat ini hanya Standard penyebaran model yang mendukung penyelesaian tersimpan.

Ketersediaan model &wilayah

Mengonfigurasi penyelesaian tersimpan

Untuk mengaktifkan penyelesaian tersimpan untuk penyebaran Azure OpenAI Anda, atur store parameter ke True. metadata Gunakan parameter untuk memperkaya himpunan data penyelesaian tersimpan Anda dengan informasi tambahan.

import os
from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-10-01-preview"
)

completion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

import os
from openai import AzureOpenAI
    
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-10-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )

ompletion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Setelah penyelesaian tersimpan diaktifkan untuk penyebaran Azure OpenAI, mereka akan mulai muncul di portal Azure AI Foundry di panel Penyelesaian Tersimpan .

Distilasi

Penyulingan memungkinkan Anda mengubah penyelesaian yang disimpan menjadi himpunan data penyempurnaan. Kasus penggunaan umum adalah menggunakan penyelesaian tersimpan dengan model yang lebih kuat untuk tugas tertentu dan kemudian menggunakan penyelesaian yang disimpan untuk melatih model yang lebih kecil pada contoh interaksi model berkualitas tinggi.

Penyulingan memerlukan minimal 10 penyelesaian tersimpan, meskipun disarankan untuk memberikan ratusan hingga ribuan penyelesaian tersimpan untuk hasil terbaik.

1. Dari panel Penyelesaian Tersimpan di portal Azure AI Foundry gunakan opsi Filter untuk memilih penyelesaian yang ingin Anda latih model Anda.

2. Untuk memulai penyulingan, pilih Distill

   

3. Pilih model mana yang ingin Anda sesuaikan dengan himpunan data penyelesaian yang disimpan.

   

4. Konfirmasikan versi model mana yang ingin Anda sesuaikan:

   

5. File .jsonl dengan nama yang dihasilkan secara acak akan dibuat sebagai himpunan data pelatihan dari penyelesaian tersimpan Anda. Pilih file >Berikutnya.

   Catatan

   File pelatihan penyulingan penyelesaian tersimpan tidak dapat diakses secara langsung dan tidak dapat diekspor secara eksternal/diunduh.

   

Langkah-langkah lainnya sesuai dengan langkah-langkah penyempurnaan Azure OpenAI yang khas. Untuk mempelajari lebih lanjut, lihat panduan memulai penyempurnaan kami.

Evaluasi

Evaluasi model bahasa besar adalah langkah penting dalam mengukur performanya di berbagai tugas dan dimensi. Ini sangat penting untuk model yang disempurnakan, di mana menilai perolehan performa (atau kerugian) dari pelatihan sangat penting. Evaluasi menyeluruh dapat membantu pemahaman Anda tentang bagaimana versi model yang berbeda dapat memengaruhi aplikasi atau skenario Anda.

Penyelesaian tersimpan dapat digunakan sebagai himpunan data untuk menjalankan evaluasi.

1. Dari panel Penyelesaian Tersimpan di portal Azure AI Foundry, gunakan opsi Filter untuk memilih penyelesaian yang ingin Anda jadikan bagian dari himpunan data evaluasi Anda.

2. Untuk mengonfigurasi evaluasi, pilih Evaluasi

   

3. Ini meluncurkan panel Evaluasi dengan file yang telah diisi .jsonl sebelumnya dengan nama yang dihasilkan secara acak yang dibuat sebagai himpunan data evaluasi dari penyelesaian tersimpan Anda.

   Catatan

   File data evaluasi penyelesaian tersimpan tidak dapat diakses secara langsung dan tidak dapat diekspor secara eksternal/diunduh.

   

Untuk mempelajari selengkapnya tentang evaluasi lihat, mulai menggunakan evaluasi

Pemecahan Masalah

Apakah saya memerlukan izin khusus untuk menggunakan penyelesaian tersimpan?

Akses penyelesaian tersimpan dikontrol melalui dua DataActions:

• Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/read
• Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/action

Secara default Cognitive Services OpenAI Contributor memiliki akses ke kedua izin ini:

Bagaimana cara menghapus data yang disimpan?

Data dapat dihapus dengan menghapus sumber daya Azure OpenAI terkait. Jika Anda hanya ingin menghapus data penyelesaian tersimpan, Anda harus membuka kasus dengan dukungan pelanggan.

Berapa banyak data penyelesaian yang disimpan yang dapat saya simpan?

Anda dapat menyimpan data maksimum 10 GB.

Dapatkah saya mencegah penyelesaian tersimpan diaktifkan pada langganan?

Anda harus membuka kasus dengan dukungan pelanggan untuk menonaktifkan penyelesaian tersimpan di tingkat langganan.

TypeError: Completions.create() mendapat argumen 'store' yang tidak terduga

Kesalahan ini terjadi saat Anda menjalankan versi lama pustaka klien OpenAI yang mendahului fitur penyelesaian tersimpan yang dirilis. Jalankan pip install openai --upgrade.