Azure OpenAI tárolt befejezések > desztilláció (előzetes verzió)

A tárolt befejezésekkel rögzítheti a csevegés befejező munkameneteinek beszélgetési előzményeit, és adatkészletként használhatja az értékeléshez és a finomhangoláshoz.

Tárolt befejezések támogatása

API-támogatás

Támogatás először hozzáadva a következőben: 2024-10-01-preview

Üzemelő példány típusa

Jelenleg csak Standard a modelltelepítések támogatják a tárolt befejezéseket.

Modell és régió rendelkezésre állása

Tárolt befejezések konfigurálása

Ha engedélyezni szeretné a tárolt befejezéseket az Azure OpenAI üzembe helyezéséhez, állítsa a paramétert a store következőre True: . A paraméterrel metadata további információkkal bővítheti a tárolt befejezési adatkészletet.

import os
from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-10-01-preview"
)

completion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

import os
from openai import AzureOpenAI
    
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-10-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )

ompletion = client.chat.completions.create(
    
    model="gpt-4o", # replace with model deployment name
    store= True,
    metadata =  {
    "user": "admin",
    "category": "docs-test",
  },
    messages=[
    {"role": "system", "content": "Provide a clear and concise summary of the technical content, highlighting key concepts and their relationships. Focus on the main ideas and practical implications."},
    {"role": "user", "content": "Ensemble methods combine multiple machine learning models to create a more robust and accurate predictor. Common techniques include bagging (training models on random subsets of data), boosting (sequentially training models to correct previous errors), and stacking (using a meta-model to combine base model predictions). Random Forests, a popular bagging method, create multiple decision trees using random feature subsets. Gradient Boosting builds trees sequentially, with each tree focusing on correcting the errors of previous trees. These methods often achieve better performance than single models by reducing overfitting and variance while capturing different aspects of the data."}
    ]   
)

print(completion.choices[0].message)

Ha a tárolt befejezések engedélyezve vannak egy Azure OpenAI-üzemelő példányhoz, azok megjelennek az Azure AI Foundry portálon a Tárolt befejezések panelen.

Desztilláció

A lepárlás lehetővé teszi, hogy a tárolt befejezéseket finomhangoló adathalmazsá alakítsa. Gyakori használati eset a tárolt befejezések használata egy nagyobb teljesítményű modellel egy adott feladathoz, majd a tárolt kiegészítések használatával betanítsa a kisebb modelleket a modell interakcióinak kiváló minőségű példáira.

A lepárláshoz legalább 10 tárolt befejezés szükséges, de ajánlott több száz-ezer tárolt befejezést biztosítani a legjobb eredmény érdekében.

1. Az Azure AI Foundry portál Tárolt befejezések paneljén válassza ki a szűrőbeállításokat a modell betanítása gombra kattintva.

2. A lepárlás megkezdéséhez válassza a Lepárlás lehetőséget

   

3. Válassza ki, hogy melyik modellt szeretné finomhangolni a tárolt befejezési adatkészlettel.

   

4. Ellenőrizze, hogy a modell melyik verzióját szeretné finomhangolni:

   

5. A .jsonl rendszer egy véletlenszerűen létrehozott nevű fájlt hoz létre betanítási adatkészletként a tárolt befejezésekből. Válassza ki a Következő fájlt>.

   Feljegyzés

   A tárolt befejezési lepárlási betanítási fájlok nem érhetők el közvetlenül, és nem exportálhatók külsőleg/letöltve.

   

A többi lépés megfelel a tipikus Azure OpenAI finomhangolási lépéseknek. További információkért tekintse meg az első lépések részletes finomhangolását ismertető útmutatónkat.

Értékelés

A nagy nyelvi modellek kiértékelése kritikus lépés a teljesítmény különböző feladatok és dimenziók közötti mérésében. Ez különösen fontos a finomhangolt modellek esetében, ahol a betanításból származó teljesítménynövekedés (vagy veszteség) értékelése kulcsfontosságú. Az alapos értékelések segíthetnek megérteni, hogy a modell különböző verziói milyen hatással lehetnek az alkalmazásra vagy a forgatókönyvre.

A tárolt befejezések adatkészletként használhatók a kiértékelések futtatásához.

1. Az Azure AI Foundry portál Tárolt befejezések paneljén a Szűrő beállításaival válassza ki a kiértékelési adathalmaz részét képező befejezéseket.

2. A kiértékelés konfigurálásához válassza a Kiértékelés lehetőséget

   

3. Ezzel elindítja a Kiértékelések panelt egy előre feltöltött .jsonl fájllal, véletlenszerűen generált névvel, amely a tárolt befejezésekből kiértékelési adatkészletként jön létre.

   Feljegyzés

   A tárolt befejezési kiértékelési adatfájlok nem érhetők el közvetlenül, és nem exportálhatók külsőleg/letöltve.

   

Az értékeléssel kapcsolatos további információkért tekintse meg az értékelés első lépéseit

Hibaelhárítás

Különleges engedélyekre van szükségem a tárolt befejezések használatához?

A tárolt befejezések hozzáférését két DataActions szabályozza:

• Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/read
• Microsoft.CognitiveServices/accounts/OpenAI/stored-completions/action

Alapértelmezés szerint Cognitive Services OpenAI Contributor mindkét engedélyhez rendelkezik hozzáféréssel:

Hogyan törölte a tárolt adatokat?

Az adatok a társított Azure OpenAI-erőforrás törlésével törölhetők. Ha csak a tárolt befejezési adatokat szeretné törölni, nyisson meg egy esetet az ügyfélszolgálatnál.

Mennyi tárolt befejezési adatot tárolhatok?

Legfeljebb 10 GB adatot tárolhat.

Megakadályozhatom, hogy a tárolt befejezések engedélyezve legyenek az előfizetésben?

Az előfizetés szintjén a tárolt befejezések letiltásához meg kell nyitnia egy esetet az ügyfélszolgálattal.

TypeError: Completions.create() váratlan "store" argumentumot kapott

Ez a hiba akkor fordul elő, ha az OpenAI ügyfélkódtár egy régebbi verzióját futtatja, amely megelőzi a tárolt befejezési funkció kiadását. Futtassa az pip install openai --upgrade parancsot.