Modell katalógus és gyűjtemények
Az Azure Machine Learning Studióban található modellkatalógus a Generatív AI-alkalmazások készítését lehetővé tevő modellek széles skálájának felderítésére és használatára használható. A modellkatalógus több száz modellt tartalmaz olyan modellszolgáltatóktól, mint az Azure OpenAI szolgáltatás, a Mistral, a Meta, a Cohere, az NVIDIA, az Ölelés arc, beleértve a Microsoft által betanított modelleket. A Microsofttól eltérő szolgáltatóktól származó modellek nem Microsoft-termékek, a Microsoft termékfeltételeiben meghatározottak szerint, és a modellben megadott feltételekre is vonatkoznak.
Modellgyűjtemények
A modellek a modellkatalógus gyűjteményei szerint vannak rendszerezve. A modellkatalógusban három gyűjteménytípus létezik:
- Az Azure AI által válogatott modellek: A legnépszerűbb, harmadik féltől származó nyílt súlyú és igényes modellek, amelyek csomagolva és optimalizálva, zökkenőmentesen működnek az Azure AI-platformon. Ezeknek a modelleknek a használatára a modellszolgáltatónak a modellhez megadott licencfeltételei vonatkoznak. Az Azure Machine Learning üzembe helyezésekor a modell rendelkezésre állására a vonatkozó Azure SLA vonatkozik, és a Microsoft támogatást nyújt az üzembe helyezési problémákhoz. Az olyan partnerektől származó modellek, mint a Meta, az NVIDIA és a Mistral AI, példák a katalógus "Az Azure AI által válogatott" gyűjteményében elérhető modellekre. Ezeket a modelleket a katalógusban található modellcsempék zöld pipája jelöli, vagy szűrhet a „Curated by Azure AI” gyűjtemény alapján.
- Kizárólag az Azure-ban elérhető Azure OpenAI-modellek: Az Azure OpenAI-modellek zászlóshajója az "Azure OpenAI" gyűjteményen keresztül az Azure OpenAI szolgáltatással való integráción keresztül. Ezeket a modelleket a Microsoft támogatja, és használatukra az Azure OpenAI Service termékfeltételei és SLA-ja vonatkozik.
- Nyitott modellek az Ölelés Face Hubból: Az Ölelésarc hub több száz modellje érhető el az "Ölelés Arc" gyűjteményen keresztül, hogy valós idejű következtetéseket kövessünk online végpontokkal. A Hugging Face hozza létre és tartja karban a Hugging Face gyűjteményben felsorolt modelleket. Használja a HuggingFace fórumát vagy a a HuggingFace-támogatást segítségért. További információ arról, hogyan helyezhet üzembe modelleket a Hugging Face-ből.
Javaslat a modellkatalógus kiegészítésére: Ezzel az űrlappal elküldheti a modellkatalógushoz való hozzáadásra vonatkozó kérelmet.
A modellkatalógus képességeinek áttekintése
Az Azure OpenAI-modellekkel kapcsolatos információkért tekintse meg az Azure OpenAI Service szolgáltatást.
Az Azure AI által válogatott és az Ölelés Face Hubon megnyitott modellek esetében ezek némelyike felügyelt számítási lehetőséggel telepíthető, és ezek némelyike elérhető a használatalapú fizetéses számlázással rendelkező kiszolgáló nélküli API-k használatával történő üzembe helyezéshez. Ezek a modellek felderíthetők, összehasonlíthatók, kiértékelhetők, finomhangolhatók (ha támogatottak), és nagy léptékben üzembe helyezhetők, és integrálhatók a nagyvállalati szintű biztonsággal és adatszabályozással rendelkező Generatív AI-alkalmazásokba.
- Felfedezés: Modellkártyák áttekintése, mintakövetkeztetés kipróbálása és kódminták tallózása a modell kiértékeléséhez, finomhangolásához vagy üzembe helyezéséhez.
- Összehasonlítás: Hasonlítsa össze az iparágban elérhető modellek és adathalmazok teljesítménymutatóit annak felméréséhez, hogy melyik felel meg az üzleti forgatókönyvnek.
- Értékelés: Saját tesztadatok megadásával kiértékelheti, hogy a modell megfelel-e az adott számítási feladatnak. A kiértékelési metrikák segítségével egyszerűen megjeleníthető, hogy a kiválasztott modell milyen jól teljesített az adott forgatókönyvben.
- Finomhangolás: Testre szabhatja a finomhangolható modelleket a saját betanítási adataival, és a legjobb modellt választhatja ki az összes finomhangolási feladat metrikáinak összehasonlításával. A beépített optimalizálás felgyorsítja a finomhangolást, és csökkenti a finomhangoláshoz szükséges memóriát és számítást.
- Üzembe helyezés: Előre betanított modellek vagy finomhangolt modellek zökkenőmentes üzembe helyezése következtetés céljából. A felügyelt számításhoz üzembe helyezhető modellek is letölthetők.
Modell üzembe helyezése: Felügyelt számítási és kiszolgáló nélküli API (használatalapú fizetés)
A Modellkatalógus két különböző módszert kínál a modellek katalógusból való üzembe helyezésére az Ön számára: felügyelt számítási és kiszolgáló nélküli API-k. Az egyes modellekhez elérhető üzembehelyezési lehetőségek eltérőek; Az alábbi táblázatokban további információt talál az üzembe helyezési lehetőségek funkcióiról és az egyes modellekhez elérhető lehetőségekről. További információ az üzembe helyezési lehetőségekkel végzett adatfeldolgozásról.
| Funkciók | Felügyelt számítás | Kiszolgáló nélküli API (használatalapú fizetés) |
|---|---|---|
| Üzembe helyezési élmény és számlázás | A modell súlyozása felügyelt online végpontokkal rendelkező dedikált virtuális gépekre kerülnek üzembe helyezésre. A felügyelt online végpont, amely egy vagy több üzembe helyezéssel rendelkezhet, REST API-t tesz elérhetővé a következtetéshez. Az üzemelő példányok által használt virtuálisgép-processzor-üzemórákat számlázzuk Önnek. | A modellekhez való hozzáférés olyan üzembe helyezésen keresztül történik, amely egy API-t helyez üzembe a modell eléréséhez. Az API hozzáférést biztosít a Microsoft által felügyelt központi GPU-készletben üzemeltetett modellhez következtetés céljából. Ezt a hozzáférési módot „Szolgáltatásként elérhető modelleknek” nevezzük. Az API-k bemeneteiért és kimeneteiért díjat kell fizetnie, általában jogkivonatokban; az üzembe helyezés előtt meg kell adni a díjszabással kapcsolatos információkat. |
| API-hitelesítés | Kulcsok és hitelesítés Microsoft Entra ID-vel További információ. | Csak kulcsok. |
| Tartalombiztonság | Azure tartalombiztonsági szolgáltatás API-k használata. | Az Azure AI Tartalom Biztonság-szűrők integrálva érhetők el a következtetési API-kkal. Az Azure AI Tartalombiztonsági szűrői külön számlázhatók. |
| Hálózati elkülönítés | Felügyelt virtuális hálózat privát online végpontokkal További információ. |
Telepítési beállítások
| Modell | Felügyelt számítás | Kiszolgáló nélküli API (használatalapú fizetés) |
|---|---|---|
| Llama-családbeli modellek | Llama-3.3-70B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3.3-70B-Instruct Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistral-családbeli modellek | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Ministral-3B Mistral-Nemo |
| Családi modellek összehevesítése | Nem elérhető | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-többnyelvű Cohere-rerank-v3-english Cohere-rerank-v3-többnyelvű |
| JAIS | Nem elérhető | jais-30b-chat |
| Phi-3 családi modellek | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
| Nixtla | Nem elérhető | TimeGEN-1 |
| Egyéb modellek | Elérhető | Nem érhető el |
Felügyelt számítás
A modellek felügyelt számítással való üzembe helyezésének képessége az Azure Machine Learning platformképességére épülve lehetővé teszi a modellkatalógusban található modellek széles gyűjteményének teljes GenAIOps-(más néven LLMOps-) életciklusának zökkenőmentes integrációját.
Hogyan teszik elérhetővé a modelleket a felügyelt számításhoz?
A modellek olyan Azure Machine Learning-nyilvántartásokon keresztül érhetők el, amelyek lehetővé teszik az ML első megközelítését a Machine Learning-eszközök üzemeltetéséhez és terjesztéséhez, például a modell súlyozásához, a modellek futtatásához használt tároló futtatókörnyezeteihez, a modellek és adathalmazok kiértékeléséhez és finomhangolásához szükséges folyamatokat a teljesítménymutatókhoz és mintákhoz. Ezek az ML-nyilvántartások nagymértékben méretezhető és nagyvállalati használatra kész infrastruktúrára épülnek, amely:
Alacsony késésű hozzáférési modellösszetevőket biztosít az összes Azure-régióba beépített georeplikációval.
Támogatja a vállalati biztonsági követelményeket, például a modellekhez való hozzáférés korlátozását az Azure Policy használatával és a biztonságos üzembe helyezést felügyelt virtuális hálózatokkal.
Felügyelt számítással üzembe helyezett modellek kiértékelése és finomhangolása
Az „Azure AI által összeválogatott" gyűjteményben kiértékelést és finomhangolást hajthat végre az Azure Machine Learningben az Azure Machine Learning folyamatainak használatával. Dönthet úgy, hogy saját kiértékelési és finomhangolási kódot használ, és csak a modellek súlyozását veszi igénybe, vagy olyan Azure Machine Learning-összetevőket is használhat, amelyek beépített kiértékelési és finomhangolási képességeket kínálnak. Tudjon meg többet ezen a linken.
Modellek üzembe helyezése következtetéshez felügyelt számítással
A felügyelt számítással történő üzembe helyezéshez elérhető modellek valós idejű következtetés céljából üzembe helyezhetők az Azure Machine Learning online végpontjaiban, vagy az Azure Machine Learning kötegelt következtetéséhez használhatók az adatok kötegelt feldolgozásához. A felügyelt számításra való üzembe helyezéshez virtuálisgép-kvótát kell használnia az Azure-előfizetésben a modell optimális futtatásához szükséges adott termékváltozatokhoz. Egyes modellek lehetővé teszik, hogy ideiglenesen megosztott kvótát telepítsen a modell teszteléséhez. További információ a modellek üzembe helyezéséről:
- Meta Llama-modellek üzembe helyezése
- Az Azure AI által létrehozott nyílt modellek üzembe helyezése
- Arcmodellek ölelése üzembe helyezése
Generatív AI-alkalmazások létrehozása felügyelt számítással
A prompt flow képességeket kínál az AI-alkalmazások prototípus-készítéséhez, kísérletezéshez, iteráláshoz és üzembe helyezéséhez. Az Open Model LLM eszközzel felügyelt számítással üzembe helyezett modelleket a Prompt Flow-ban használhatja. A felügyelt számítások által közzétett REST API-t olyan népszerű LLM-eszközökben is használhatja, mint például a LangChain az Azure Machine Learning bővítményével.
Tartalombiztonság felügyelt számítással üzembe helyezett modellekhez
Az Azure AI Content Safety (AACS) szolgáltatás olyan modellekhez használható, amelyeket a felügyelt számításhoz telepítettek a káros tartalmak különböző kategóriáinak, például a szexuális tartalmak, az erőszak, a gyűlölet és az önkárosítás, valamint az olyan speciális fenyegetések szűrésére, mint a Jailbreak kockázatészlelése és a védett anyagszöveg-észlelés. Erre a jegyzetfüzetre hivatkozva referenciaintegrációt végezhet a Láma 2 AACS-jével, vagy a Prompt Flow Content Safety (Text) eszközével a modell válaszait továbbíthatja az AACS-nek szűrés céljából. Az ilyen használatért az AACS díjszabása szerint külön kell fizetnie.
A modellkatalógusban nem szereplő modellek használata
A modellkatalógusban nem elérhető modellek esetében az Azure Machine Learning egy nyílt és bővíthető platformot biztosít a választott modellek használatához. Bármilyen keretrendszerrel vagy futtatókörnyezettel rendelkező modellt hozhat létre az Azure Machine Learning nyílt és bővíthető platformjának képességeivel, például a tárolókhoz készült Azure Machine Learning-környezetekkel , amelyek keretrendszereket, futtatókörnyezeteket és Azure Machine Learning-folyamatokat csomagolhatnak a modellek kiértékeléséhez vagy finomhangolásához kódhoz. Ebben a jegyzetfüzetben mintaként hivatkozhat a modellek importálására, valamint a beépített futtatókörnyezetek és folyamatok használatára.
Kiszolgáló nélküli API-k használatalapú fizetéses számlázással
A modellkatalógus bizonyos modelljei üzembe helyezhetők kiszolgáló nélküli API-kként használatalapú számlázással; ezt az üzembe helyezési módszert szolgáltatásként (Models-as-a Service, MaaS) nevezzük. A MaaS-on keresztül elérhető modelleket a Microsoft által felügyelt infrastruktúrában üzemeltetik, amely API-alapú hozzáférést tesz lehetővé a modellszolgáltató modelljéhez. Az API-alapú hozzáférés jelentősen csökkentheti a modell elérésének költségeit, és jelentősen leegyszerűsítheti a kiépítési élményt. A Legtöbb MaaS-modell jogkivonatalapú díjszabással érhető el.
Hogyan érhetők el harmadik féltől származó modellek a MaaS-ben?
A használatalapú számlázással rendelkező, üzembe helyezéshez kiszolgáló nélküli API-kként elérhető modelleket a modellszolgáltató kínálja, de a Microsoft által felügyelt Azure-infrastruktúrában üzemelteti, és ahhoz API-n keresztül lehet hozzáférni. A modellszolgáltatók meghatározzák a licencfeltételeket, és beállítják a modelljeik használati árát, míg az Azure Machine Learning szolgáltatás kezeli az üzemeltetési infrastruktúrát, elérhetővé teszi a következtetési API-kat, és adatfeldolgozóként működik a MaaS-en keresztül üzembe helyezett modellek által küldött kérések és tartalomkimenetek esetében. A MaaS-hez készült adatfeldolgozásról az adatvédelmi cikkben talál további információt.
Modellhasználat kifizetése a MaaS-ben
A MaaS-en keresztül üzembe helyezett modellek felderítési, előfizetési és használati élménye az Azure AI Foundry portálon és az Azure Machine Learning Studióban található. A felhasználók elfogadják a modellek használatára vonatkozó licencfeltételeket, és a használatra vonatkozó díjszabási információkat az üzembe helyezés során adják meg. A külső szolgáltatóktól származó modellek számlázása az Azure Marketplace-en keresztül történik, a kereskedelmi piactér használati feltételeivel összhangban; a Microsofttól származó modellek számlázása Azure-mérőkkel történik, mint első féltől származó fogyasztási szolgáltatás. A termékfeltételekben leírtaknak megfelelően a belső használatalapú szolgáltatások az Azure-mérők használatával vásárolhatók meg, de nem vonatkoznak az Azure szolgáltatási feltételeire. Ezeknek a modelleknek a használatára a megadott licencfeltételek vonatkoznak.
Modellek üzembe helyezése következtetéshez a MaaS-ben
A modell MaaS-sel történő üzembe helyezése lehetővé teszi a felhasználók számára, hogy az infrastruktúra konfigurálása vagy GPU-k kiépítése nélkül is hozzáférjenek a következtetési API-k használatra kész állapotához, így időt és erőforrásokat takarítva meg. Ezek az API-k több LLM-eszközzel integrálhatók, és a használat számlázása az előző szakaszban leírtak szerint történik.
Modellek finomhangolása a MaaS-ben használatalapú fizetéssel
A MaaS-on keresztül elérhető és a finomhangolást támogató modellek esetében a felhasználók használatalapú fizetéses számlázással kihasználhatják az üzemeltetett finomhangolás előnyeit, hogy az általuk megadott adatok alapján testre szabhassák a modelleket. További információ: Llama 2-modell finomhangolása az Azure AI Foundry portálon.
RAG a MaaS-on keresztül üzembe helyezett modellekkel
Az Azure AI Foundry lehetővé teszi a felhasználók számára a vektorindexek használatát és a kiterjesztett generáció lekérését. A kiszolgáló nélküli API-kként üzembe helyezhető modellek használatával egyéni adatokon alapuló beágyazások és következtetések hozhatók létre a használati esetükre vonatkozó válaszok létrehozásához. További információkért tekintse meg a bővített generáció és indexek lekérését ismertető témakört.
Ajánlatok és modellek regionális elérhetősége
A használatalapú PPay-számlázás csak azoknak a felhasználóknak érhető el, akiknek az Azure-előfizetése egy számlázási fiókhoz tartozik egy olyan országban vagy régióban, ahol a modellszolgáltató elérhetővé tette az ajánlatot. Ha az ajánlat elérhető az adott régióban, akkor a felhasználónak rendelkeznie kell egy központtal/projektel abban az Azure-régióban, ahol a modell elérhető az üzembe helyezéshez vagy a finomhangoláshoz, adott esetben. Részletes információkért tekintse meg a kiszolgáló nélküli API-végpontok modelljeinek régióbeli rendelkezésre állását.
Tartalombiztonság a MaaS-en keresztül üzembe helyezett modellekhez
Fontos
Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.
További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.
A kiszolgáló nélküli API-kon keresztül üzembe helyezett nyelvi modellek esetében az Azure AI az Azure AI Content Safety szövegmoderálási szűrőinek alapértelmezett konfigurációját implementálja, amely észleli a káros tartalmakat, például a gyűlöletet, az önkárosítást, a szexuális és az erőszakos tartalmakat. A tartalomszűrésről (előzetes verzió) további információt az Azure AI által a modellkatalógusban válogatott modellek tartalombiztonsága című témakörben talál.
Tipp.
A tartalomszűrés (előzetes verzió) nem érhető el bizonyos, kiszolgáló nélküli API-kon keresztül üzembe helyezett modelltípusokhoz. Ezek a modelltípusok közé tartoznak a modellek és az idősorozat-modellek beágyazása.
A tartalomszűrés (előzetes verzió) szinkron módon történik, amikor a szolgáltatás a tartalom létrehozására kéri. Előfordulhat, hogy az Azure AI Content Safety díjszabása szerint külön kell fizetnie az ilyen felhasználásért. A tartalomszűrés (előzetes verzió) letiltható az egyes kiszolgáló nélküli végpontok esetében:
- Nyelvi modell első üzembe helyezésekor
- Később a tartalomszűrés váltógombjának kiválasztásával az üzembe helyezés részletei lapon
Tegyük fel, hogy az Azure AI Model Inference API-tól eltérő API-t használ egy kiszolgáló nélküli API-val üzembe helyezett modell használatához. Ilyen esetben a tartalomszűrés (előzetes verzió) csak akkor engedélyezett, ha külön implementálja az Azure AI Content Safety használatával.
Az Azure AI Content Safety használatának megkezdéséhez tekintse meg a szöveges tartalom elemzésével kapcsolatos rövid útmutatót. Ha nem használ tartalomszűrést (előzetes verziót) a kiszolgáló nélküli API-kon keresztül üzembe helyezett modellek használatakor, nagyobb a kockázata annak, hogy a felhasználókat káros tartalmakká teszi.
Hálózatelkülönítés kiszolgáló nélküli API-k használatával üzembe helyezett modellekhez
A kiszolgáló nélküli API-ként üzembe helyezett modellek végpontjai annak a munkaterületnek a nyilvános hálózati hozzáférési (PNA) jelölőbeállítását követik, amelyben az üzembe helyezés található. A MaaS-végpont védelméhez tiltsa le a PNA jelzőt a munkaterületen. A munkaterület privát végpontjának használatával biztonságossá teheti az ügyfél és a végpont közötti bejövő kommunikációt.
A munkaterület PNA-jelölőjének beállítása:
- Nyissa meg az Azure Portalt.
- Keressen rá az Azure Machine Learningre, és válassza ki a munkaterületet a munkaterületek listájából.
- Az Áttekintés lapon a bal oldali navigációs panelen lépjen a Beállítások>hálózatkezelés lapjára.
- A Nyilvános hozzáférés lapon konfigurálhatja a nyilvános hálózati hozzáférési jelző beállításait.
- Mentse a módosításokat. A módosítások propagálása akár öt percet is igénybe vehet.
Korlátozások
- Ha 2024. július 11. előtt létrehozott egy privát végponttal rendelkező munkaterületet, a munkaterülethez hozzáadott új MaaS-végpontok nem fogják követni a hálózatkezelési konfigurációt. Ehelyett létre kell hoznia egy új privát végpontot a munkaterülethez, és új kiszolgáló nélküli API-üzemelő példányokat kell létrehoznia a munkaterületen, hogy az új üzembe helyezések követni tudják a munkaterület hálózati konfigurációját.
- Ha 2024. július 11. előtt létrehozott egy maaS-üzembe helyezéssel rendelkező munkaterületet, és engedélyezi a privát végpontot ezen a munkaterületen, a meglévő MaaS-telepítések nem fogják követni a munkaterület hálózati konfigurációját. Ahhoz, hogy a munkaterület kiszolgáló nélküli API-üzemelő példányai kövessék a munkaterület konfigurációját, újra létre kell hoznia az üzembe helyezéseket.
- Jelenleg az Adatok szolgáltatás nem érhető el a Privát munkaterületeken futó MaaS-környezetekhez, mivel a privát munkaterületeken le van tiltva a PNA-jelző.
- A hálózati konfiguráció bármilyen módosítása (például a PNA-jelző engedélyezése vagy letiltása) propagálása akár öt percet is igénybe vehet.