Azure OpenAI Assistants API (előzetes verzió)
Az Azure OpenAI szolgáltatás egyik funkciója, az Assistants nyilvános előzetes verzióban érhető el az 2024-02-15-preview
API-verziótól kezdve. Az Assistants API megkönnyíti a fejlesztők számára, hogy kifinomult, copilot-szerű felületekkel rendelkező alkalmazásokat hozzanak létre, amelyek átjuthatnak az adatokon, megoldásokat javasolhatnak és automatizálhatják a feladatokat.
- Az asszisztensek a személyiségük és képességeik finomhangolására vonatkozó útmutatással meghívhatják az Azure OpenAI-modelleket.
- Az asszisztensek több eszközt is elérhetik párhuzamosan. Ezek lehetnek az Azure OpenAI által üzemeltetett eszközök, például a kódértelmeztető és a fájlkeresés, vagy a függvényhívással létrehozható, üzemeltethető és elérhető eszközök.
- Az asszisztensek hozzáférhetnek az állandó szálakhoz. A szálak leegyszerűsítik az AI-alkalmazások fejlesztését az üzenetelőzmények tárolásával és csonkolásával, ha a beszélgetés túl sokáig tart a modell környezethosszához. Egyszer létre kell hoznia egy szálat, és egyszerűen hozzá kell fűznie az üzeneteket, amikor a felhasználók válaszolnak.
- Az asszisztensek több formátumban is hozzáférhetnek a fájlokhoz. Akár a létrehozásuk részeként, akár a segédek és a felhasználók közötti szálak részeként. Eszközök használata esetén a segédek fájlokat (például képeket vagy számolótáblákat) is létrehozhatnak, és hivatkozhatnak az általuk létrehozott üzenetekben hivatkozott fájlokra.
Áttekintés
Korábban az egyéni AI-asszisztensek létrehozása még a tapasztalt fejlesztők számára is komoly emelést igényelt. Bár a csevegés-befejezési API egyszerű és hatékony, az eredendően állapot nélküli, ami azt jelenti, hogy a fejlesztőknek kezelniük kellett a beszélgetési állapotot és a csevegési szálakat, az eszközintegrációkat, a dokumentumok és indexek lekérését, valamint manuálisan kellett végrehajtaniuk a kódot.
A Assistants API a csevegés-befejezési API állapotalapú fejlődéseként megoldást kínál ezekre a kihívásokra. Az Assistants API támogatja az állandó, automatikusan felügyelt szálakat. Ez azt jelenti, hogy fejlesztőként már nem kell beszélgetési állapotkezelő rendszereket fejlesztenie, és a modell környezeti ablakának korlátain kell dolgoznia. Az Assistants API automatikusan kezeli az optimalizálásokat, hogy a szál a választott modell maximális környezeti ablaka alatt maradjon. Miután létrehozott egy szálat, egyszerűen hozzáfűzhet hozzá új üzeneteket, amikor a felhasználók válaszolnak. Az asszisztensek szükség esetén több eszközt is elérhetik párhuzamosan. Ezek az eszközök a következőket foglalják magukban:
Tipp.
Az Asszisztensek használatához nincs további díjszabás vagy kvóta, kivéve, ha a kódértelmezőt vagy a fájlkeresésieszközöket használja.
Az Assistants API ugyanazokat a képességeket használja, mint az OpenAI GPT-terméke. Néhány lehetséges használati eset az AI-alapú termékajánlítótól, az értékesítési elemző alkalmazástól, a kódolási asszisztenstől, az alkalmazottI Q&A csevegőrobottól és egyebektől terjed. Az Azure AI Foundry portálon kezdjen el építeni a kód nélküli asszisztensek játszóterére, vagy kezdjen el az API-val építeni.
Fontos
A nem megbízható adatok függvényhívással, kódértelmezővel vagy fájlkereséssel történő lekérése fájlbemenettel, valamint a segédszálak funkciói veszélyeztethetik az asszisztens vagy az asszisztenst használó alkalmazás biztonságát. Itt megismerheti a kockázatcsökkentési módszereket.
Elérhető modellek
Az assitantsokkal használható Azure OpenAI-modellek listájának megtekintéséhez tekintse meg a Modellek című cikket.
Asszisztensek játszótér
Rövid útmutatónkban bemutatjuk az Asszisztensek játszóteret. Ez kód nélküli környezetet biztosít az asszisztensek képességeinek teszteléséhez.
Asszisztensek összetevői
Komponens | Leírás |
---|---|
Asszisztens | Az Azure OpenAI-modelleket eszközökkel együtt használó egyéni AI. |
Fonál | Beszélgetési munkamenet egy asszisztens és egy felhasználó között. A szálak tárolják az üzeneteket, és automatikusan kezelik a csonkolást, hogy a tartalom illeszkedjen a modell környezetébe. |
Üzenet | Segéd vagy felhasználó által létrehozott üzenet. Az üzenetek tartalmazhatnak szöveget, képeket és más fájlokat. Az üzenetek listaként vannak tárolva a szálon. |
Fut | Egy asszisztens aktiválása a szál tartalma alapján történő futtatás megkezdéséhez. Az asszisztens a konfigurációjával és a szál üzeneteivel hajtja végre a feladatokat modellek és eszközök meghívásával. A Futtatás részeként a segéd hozzáfűzi az üzeneteket a szálhoz. |
Futtatási lépés | Az Asszisztens által a futtatás részeként végrehajtott lépések részletes listája. A segédek meghívhatnak eszközöket, vagy létrehozhatnak üzeneteket a futtatás során. A futtatási lépések megvizsgálásával megtudhatja, hogyan jut el a segéd a végső eredményekhez. |
Asszisztensek adathozzáférés
Jelenleg az Asszisztensek számára létrehozott asszisztensek, szálak, üzenetek és fájlok hatóköre az Azure OpenAI erőforrásszintjén van. Ezért bárki, aki hozzáfér az Azure OpenAI-erőforráshoz vagy API-kulcshoz, képes olvasni/írni asszisztenseket, szálakat, üzeneteket és fájlokat.
Határozottan javasoljuk a következő adathozzáférési vezérlőket:
- Engedélyezés implementálása. Mielőtt olvasást vagy írást végez az asszisztenseken, szálakon, üzeneteken és fájlokon, győződjön meg arról, hogy a végfelhasználó jogosult erre.
- Az Azure OpenAI-erőforrás- és API-kulcshozzáférés korlátozása. Gondosan gondolja át, hogy kinek van hozzáférése az Azure OpenAI-erőforrásokhoz, ahol asszisztenseket használnak és a társított API-kulcsokat.
- Rendszeresen naplózhatja, hogy mely fiókok/személyek férhetnek hozzá az Azure OpenAI-erőforráshoz. Az API-kulcsok és az erőforrásszintű hozzáférés számos műveletet tesznek lehetővé, beleértve az üzenetek és fájlok olvasását és módosítását.
- Engedélyezze a diagnosztikai beállításokat az Azure OpenAI-erőforrás tevékenységnaplójának bizonyos aspektusainak hosszú távú nyomon követéséhez.
Paraméterek
Az Assistants API számos paramétert támogat, amelyek lehetővé teszik az Asszisztensek kimenetének testreszabását. A tool_choice
paraméterrel kényszerítheti a segédet egy adott eszköz használatára. A szerepkörrel rendelkező assistant
üzeneteket egyéni beszélgetési előzmények létrehozásához is létrehozhatja a szálakban.
temperature
, top_p
lehetővé teszi a response_format
válaszok további finomhangolását. További információkért tekintse meg a referenciadokumentációt.
Környezetablak-kezelés
Az asszisztensek automatikusan csonkítják a szöveget, hogy azok a modell maximális környezethosszán belül maradhassanak. Ezt a viselkedést testre szabhatja a futtatáshoz használni kívánt maximális jogkivonatok megadásával és/vagy a futtatásba felvenni kívánt legutóbbi üzenetek maximális számával.
Maximális befejezési és maximális parancssori jogkivonatok
Ha egyetlen futtatásban szeretné szabályozni a jogkivonat használatát, állítsa be max_prompt_tokens
és max_completion_tokens
amikor létrehozza a Futtatás parancsot. Ezek a korlátok a futtatás teljes életciklusa során az összes befejezéshez használt jogkivonatok teljes számára vonatkoznak.
Ha például egy 500-ra beállított és max_completion_tokens
1000 értékű futtatást max_prompt_tokens
kezdeményez, az azt jelenti, hogy az első befejezés 500 jogkivonatra csonkítja a szálat, és 1000 tokenre korlátozza a kimenetet. Ha az első befejezéskor csak 200 parancssori jogkivonatot és 300 befejezési jogkivonatot használ, a második befejezés 300 parancssori jogkivonatra és 700 befejezési jogkivonatra vonatkozó korláttal rendelkezik.
Ha egy befejezés eléri a max_completion_tokens
korlátot, a futtatás befejezetlen állapotú lesz, és a részletek a incomplete_details
Futtatás objektum mezőjében lesznek megadva.
A Fájlkeresés eszköz használata esetén azt javasoljuk max_prompt_tokens
, hogy ne legyen kevesebb, mint 20 000. Hosszabb beszélgetésekhez vagy a Fájlkereséssel való több interakcióhoz érdemes ezt a korlátot 50 000-re növelni, vagy ideális esetben a lehető legjobb minőségű eredmények elérése érdekében távolítsa el a max_prompt_tokens
korlátokat.
Csonkítási stratégia
Csonkítási stratégiát is megadhat, amely szabályozza, hogyan jelenjen meg a szál a modell környezeti ablakában. A csonkítási stratégia használata auto
az OpenAI alapértelmezett csonkítási stratégiáját fogja használni. A csonkítási last_messages
stratégia használatával megadhatja, hogy hány legutóbbi üzenet szerepeljen a környezeti ablakban.
Lásd még
- További információ az asszisztensekről és a fájlkeresésről
- További információ az asszisztensekről és a kódértelmezőről
- További információ az Asszisztensekről és a függvényhívásról
- Azure OpenAI Assistants API-minták