Az Azure OpenAI üzembehelyezési típusai

Az Azure OpenAI az üzleti és használati mintáknak megfelelő üzemeltetési struktúrával kapcsolatos lehetőségeket biztosít az ügyfelek számára. A szolgáltatás két fő üzembe helyezési típust kínál: standard és kiépített. Egy adott üzembe helyezési típus esetében az ügyfelek egy Azure-beli földrajzi ( vagy ), Microsoft által megadott adatzóna (StandardDataZone-Standard vagy Provisioned-Managed) vagy DataZone Provisioned-Managedglobális (Global-Standard vagy Global Provisioned-Managed) feldolgozási lehetőség kiválasztásával igazíthatják számítási feladataikat az adatfeldolgozási követelményeikhez.

Minden üzemelő példány pontosan ugyanazokat a következtetési műveleteket hajthatja végre, azonban a számlázás, a skálázás és a teljesítmény lényegesen eltérő. A megoldástervezés részeként két kulcsfontosságú döntést kell meghoznia:

• Adatfeldolgozás helye
• Híváskötet

Az Azure OpenAI üzembehelyezési adatfeldolgozási helyei

A standard üzemelő példányok esetében három üzembehelyezési típus közül választhat: globális, adatzóna és Azure-földrajz. A kiépített üzemelő példányok esetében két üzembehelyezési típus közül választhat : globális és Azure-földrajzi hely. A globális szabvány az ajánlott kiindulópont.

A globális üzemelő példányok az Azure globális infrastruktúráját használva dinamikusan irányítják az ügyfélforgalmat az adatközpontba a legjobb rendelkezésre állással az ügyfél következtetési kérelmeihez. Ez azt jelenti, hogy a legmagasabb kezdeti átviteli sebességkorlátokat és a legjobb modell rendelkezésre állást fogja kapni a Globális szolgáltatással, miközben továbbra is biztosítja az üzemidős SLA-t és az alacsony késést. A standard és globális szabványokban megadott használati szintek fölötti nagy mennyiségű számítási feladatok esetében nagyobb késési eltérést tapasztalhat. Azoknak az ügyfeleknek, akik nagyobb számítási feladatok használata esetén az alacsonyabb késési varianciát igénylik, javasoljuk, hogy használja ki a kiépített üzembehelyezési típusokat.

A globális üzemelő példányok lesznek az összes új modell és funkció első helye. A hívás mennyiségétől függően a nagy mennyiségű és alacsony késésű varianciával rendelkező ügyfeleknek figyelembe kell venniük a kiépített üzembehelyezési típusokat.

Az adatzónák üzembe helyezései az Azure globális infrastruktúráját használják az ügyfélforgalom dinamikus átirányítására az adatközpontba a Microsoft által meghatározott adatzónán belül az ügyfél következtetési kérelmeinek legjobb rendelkezésre állásával. Az Azure-beli földrajzi hely és a globális üzembe helyezési ajánlatok között elhelyezkedő adatzónák üzembe helyezése emelt szintű kvótakorlátokat biztosít, miközben az adatfeldolgozás a Microsoft által megadott adatzónán belül marad. A inaktív adatok továbbra is az Azure OpenAI-erőforrás földrajzi területén maradnak (például a svédországi középső Azure-régióban létrehozott Azure OpenAI-erőforrások esetében az Azure földrajzi területe Svédország).

Ha a Data Zone üzembe helyezéséhez használt Azure OpenAI-erőforrás a Egyesült Államok található, az adatok a Egyesült Államok belül lesznek feldolgozva. Ha az Adatzóna üzembe helyezéséhez használt Azure OpenAI-erőforrás az Európai Unió valamely tagállamában található, az adatok az Európai Unió tagállamának földrajzi régióiban lesznek feldolgozva. Az Összes Azure OpenAI-szolgáltatás üzembe helyezési típusa esetén a inaktív adatok továbbra is az Azure OpenAI-erőforrás földrajzi területén maradnak. Az Azure-beli adatfeldolgozási és megfelelőségi kötelezettségvállalások továbbra is érvényesek maradnak.

A "Globális" címkével ellátott üzembehelyezési típusok esetén a parancssorok és válaszok bármely olyan földrajzi helyen feldolgozhatók, ahol a vonatkozó Azure OpenAI-modell üzembe van helyezve (további információ a modellek régiónkénti elérhetőségéről). A "DataZone" címkével ellátott üzembehelyezési típusok esetén a kérések és válaszok a Microsoft által meghatározott adatzónán belül bármely földrajzi helyen feldolgozhatók. Ha a DataZone-telepítést a Egyesült Államok található Azure OpenAI-erőforrásban hozza létre, a kérések és válaszok a Egyesült Államok bárhol feldolgozhatók. Ha DataZone-üzembe helyezést hoz létre az Európai Unió valamely tagállamában található Azure OpenAI-erőforrásban, a kérések és válaszok feldolgozhatók ebben vagy bármely más európai uniós tagállamban. A globális és a DataZone üzemelő példányok esetében a inaktív adatok, például a feltöltött adatok az ügyfél által kijelölt földrajzi helyen vannak tárolva. Csak a feldolgozás helyét érinti, ha az ügyfél globális üzembe helyezési típust vagy DataZone-üzembe helyezési típust használ az Azure OpenAI Szolgáltatásban; Az Azure-beli adatfeldolgozási és megfelelőségi kötelezettségvállalások továbbra is érvényesek maradnak.

Globális szabvány

A globális üzemelő példányok ugyanabban az Azure OpenAI-erőforrásokban érhetők el, mint a nem globális üzembe helyezési típusok, de lehetővé teszik az Azure globális infrastruktúrájának használatát, hogy dinamikusan irányíthassa a forgalmat az adatközpontba, és minden kéréshez a legjobb rendelkezésre állást biztosíthassa. A globális szabvány a legmagasabb alapértelmezett kvótát biztosítja, és szükségtelenné teszi a terheléselosztást több erőforrás között.

A nagy konzisztens kötettel rendelkező ügyfelek nagyobb késési variabilitást tapasztalhatnak. A küszöbérték modellenként van beállítva. További információt a kvóták oldalán talál. Az olyan alkalmazások esetében, amelyek nagyobb számítási feladatok használata esetén alacsonyabb késési eltérést igényelnek, javasoljuk a kiosztott átviteli sebesség megvásárlását.

Globális kiépítés

A globális üzemelő példányok ugyanabban az Azure OpenAI-erőforrásokban érhetők el, mint a nem globális üzembe helyezési típusok, de lehetővé teszik az Azure globális infrastruktúrájának használatát, hogy dinamikusan irányíthassa a forgalmat az adatközpontba, és minden kéréshez a legjobb rendelkezésre állást biztosíthassa. A globális kiépített üzemelő példányok fenntartott modellfeldolgozási kapacitást biztosítanak a magas és kiszámítható átviteli sebességhez az Azure globális infrastruktúrájának használatával.

Globális köteg

A globális köteg nagy léptékű és nagy mennyiségű feldolgozási feladatok hatékony kezelésére lett kialakítva. A kérések aszinkron csoportjainak feldolgozása külön kvótával, 24 órás célfordulással, 50%-kal kevesebb költséggel, mint a globális szabvány. Kötegelt feldolgozás esetén ahelyett, hogy egyszerre egy kérést küldené el, nagy számú kérést küldhet egyetlen fájlban. A globális kötegkérelmek külön, enqueued tokenkvótával rendelkeznek, így elkerülhetők az online számítási feladatok zavarai.

Főbb használati esetek:

• Nagy léptékű adatfeldolgozás: A kiterjedt adathalmazok gyors elemzése párhuzamosan.

• Tartalomgenerálás: Nagy mennyiségű szöveget, például termékleírásokat vagy cikkeket hozhat létre.

• Dokumentum áttekintése és összegzése: Automatizálja a hosszadalmas dokumentumok áttekintését és összegzését.

• Ügyfélszolgálati automatizálás: Számos lekérdezés egyidejű kezelése a gyorsabb válaszok érdekében.

• Adatkinyerés és -elemzés: Adatok kinyerése és elemzése nagy mennyiségű strukturálatlan adatból.

• Természetes nyelvi feldolgozással (NLP) kapcsolatos feladatok: Olyan feladatokat hajthat végre, mint a hangulatelemzés vagy a fordítás nagy adathalmazokon.

• Marketing és személyre szabás: Személyre szabott tartalmak és javaslatok létrehozása nagy méretekben.

Adatzóna standard

Az adatzóna standard üzemelő példányai ugyanabban az Azure OpenAI-erőforrásban érhetők el, mint az összes többi Azure OpenAI-üzembe helyezési típus, de lehetővé teszik az Azure globális infrastruktúrájának kihasználását, hogy dinamikusan irányíthassa a forgalmat a Microsoft által definiált adatzónán belüli adatközpontba, a lehető legjobb rendelkezésre állással az egyes kérésekhez. Az adatzóna-szabvány magasabb alapértelmezett kvótákat biztosít, mint az Azure földrajzi alapú üzembe helyezési típusai.

A nagy konzisztens kötettel rendelkező ügyfelek nagyobb késési variabilitást tapasztalhatnak. A küszöbérték modellenként van beállítva. További információért tekintse meg a Kvóták és korlátok lapot. A nagy mennyiségű kis késést igénylő számítási feladatok esetében javasoljuk, hogy használják ki a kiépített üzembehelyezési ajánlatokat.

Kiépített adatzóna

Az adatzóna által kiépített üzembe helyezések ugyanabban az Azure OpenAI-erőforrásban érhetők el, mint az összes többi Azure OpenAI-telepítési típus, de lehetővé teszik az Azure globális infrastruktúrájának használatát, hogy dinamikusan irányíthassa a forgalmat a Microsoft által megadott adatzónán belüli adatközpontba a lehető legjobb rendelkezésre állással az egyes kérésekhez. Az adatzóna kiépített üzembe helyezései fenntartott modellfeldolgozási kapacitást biztosítanak a magas és kiszámítható átviteli sebességhez a Microsoft által megadott adatzónán belüli Azure-infrastruktúra használatával.

Adatzóna köteg

Az adatzónák kötegtelepítései ugyanazokat a funkciókat biztosítják, mint a globális kötegtelepítések , ugyanakkor lehetővé teszik az Azure globális infrastruktúrájának használatát, hogy dinamikusan irányíthassa a forgalmat csak a Microsoft által meghatározott adatzónán belüli adatközpontokhoz, és minden kéréshez a legjobb rendelkezésre állással rendelkezik.

Standard

A standard üzemelő példányok hívásonkénti számlázási modellt biztosítanak a kiválasztott modellen. Az első lépések leggyorsabb módja, mivel csak a felhasznált mennyiségért kell fizetnie. Az egyes régiókban elérhető modellek és az átviteli sebesség korlátozott lehet.

A standard üzembe helyezéseket alacsony és közepes méretű, nagy kapacitású számítási feladatokhoz optimalizáljuk. A nagy konzisztens kötettel rendelkező ügyfelek nagyobb késési variabilitást tapasztalhatnak.

Kiépítve

A kiépített üzemelő példányok lehetővé teszik az üzembe helyezéshez szükséges átviteli sebesség megadását. A szolgáltatás ezután lefoglalja a szükséges modellfeldolgozási kapacitást, és biztosítja, hogy készen áll az Ön számára. Az átviteli sebesség a kiosztott átviteli egységek (PTU) szempontjából van definiálva, amely az üzembe helyezés átviteli sebességének normalizált módja. Az egyes modellverzió-párok üzembe helyezéséhez és PTU-nként eltérő átviteli sebesség biztosításához különböző mennyiségű PTU szükséges. További információ a kiosztott átviteli sebesség fogalmairól szóló cikkünkből.

Globális központi telepítésekhez való hozzáférés letiltása az előfizetésben

Az Azure Policy segít a szervezeti szabványok betartatásában és a megfelelőségi követelmények nagy léptékű kiértékelésében. A megfelelőségi irányítópulton keresztül egy összesített nézetet biztosít a környezet általános állapotának kiértékeléséhez, amely lehetővé teszi az erőforrások és szabályzatok szintjén történő részletes elemzést is. Ezenfelül segít biztosítani az erőforrások megfelelőségét a meglévő erőforrások tömeges, illetve az új erőforrások automatikus szervizelésével. További információ az Azure Policyról és az AI-szolgáltatások speciális beépített vezérlőiről.

Az alábbi szabályzattal letilthatja az Azure OpenAI bármely üzembehelyezési típushoz való hozzáférését. Ha le szeretné tiltani egy adott központi telepítési típushoz való hozzáférést, cserélje le GlobalStandard annak a központi telepítési típusnak a termékváltozatát, amelyhez le szeretné tiltani a hozzáférést.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Modellek üzembe helyezése

Az erőforrások létrehozásáról és a modellek üzembe helyezéséről az erőforrás-létrehozási útmutatóban olvashat.

Lásd még

• Kvóták > korlátai
• Kiosztott átviteli egységek (PTU) előkészítése
• Üzembe helyezési átviteli egységek (PTU) – első lépések