Megosztás a következőn keresztül:

Online végpont üzembe helyezése valós idejű következtetéshez

  • Cikk

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Ez a cikk az Azure Machine Learningben való valós idejű következtetés online végpontjait ismerteti. A következtetés az új bemeneti adatok gépi tanulási modellre történő alkalmazásának folyamata kimenetek létrehozásához. Az Azure Machine Learning lehetővé teszi az adatok valós idejű következtetését az online végpontokon üzembe helyezett modellek használatával. Bár ezeket a kimeneteket általában előrejelzéseknek nevezik, a következtetés használatával kimeneteket hozhat létre más gépi tanulási feladatokhoz, például a besoroláshoz és a fürtözéshez.

Online végpontok

Az online végpontok olyan modelleket helyeznek üzembe egy webkiszolgálón, amely a HTTP protokoll alapján képes előrejelzéseket visszaadni. Az online végpontok valós idejű következtetési modelleket képesek üzembe helyezni szinkron, kis késésű kérelmekben, és a legjobban akkor használhatók, ha:

  • Alacsony késési követelményekkel rendelkezik.
  • A modell viszonylag rövid idő alatt meg tudja válaszolni a kérést.
  • A modell bemenetei illeszkednek a kérelem HTTP-hasznos adataihoz.
  • Fel kell skáláznia a kérések számát.

Végpont definiálásához meg kell adnia a következőket:

Felügyelt online végpontok

A felügyelt online végpontok kényelmesen, kulcsrakész módon helyezik üzembe a gépi tanulási modelleket, és ajánlott az Azure Machine Learning online végpontjait használni. A felügyelt online végpontok skálázható, teljes mértékben felügyelt módon működnek együtt a nagy teljesítményű processzorral és GPU-val rendelkező Azure-beli gépekkel.

A mögöttes infrastruktúra beállításának és kezelésének többletterhelésétől való megszabadulás érdekében ezek a végpontok gondoskodnak a modellek kiszolgálásáról, skálázásáról, biztonságáról és monitorozásáról is. A felügyelt online végpontok definiálásáról a végpont definiálása című témakörben olvashat.

Felügyelt online végpontok és Azure Container Instances vagy Azure Kubernetes Service (AKS) v1

A felügyelt online végpontok az online végpontok használatának ajánlott módjai az Azure Machine Learningben. Az alábbi táblázat a felügyelt online végpontok fő attribútumait emeli ki az Azure Container Instances és az Azure Kubernetes Service (AKS) v1-megoldásokhoz képest.

Attribútumok Felügyelt online végpontok (v2) Tárolópéldányok vagy AKS (v1)
Hálózati biztonság/elkülönítés Egyszerű bejövő/kimenő vezérlő gyors váltógombbal A virtuális hálózat nem támogatott, vagy összetett manuális konfigurációt igényel
Felügyelt szolgáltatás • Teljes körűen felügyelt számítási kiépítés/skálázás
• Hálózati konfiguráció az adatkiszivárgás megelőzéséhez
• Gazdagép operációs rendszerének frissítése, a helyi frissítések szabályozott bevezetése		 • A skálázás korlátozott
• A felhasználónak kezelnie kell a hálózati konfigurációt vagy a frissítést
Végpont/üzembe helyezés fogalma A végpont és az üzembe helyezés megkülönböztetése olyan összetett forgatókönyveket tesz lehetővé, mint a modellek biztonságos bevezetése A végpont fogalma nem
Diagnosztika és figyelés • Helyi végpont hibakeresése lehetséges a Docker és a Visual Studio Code használatával
• Speciális metrikák és naplóelemzés diagramokkal/lekérdezésekkel az üzembe helyezések összehasonlítása érdekében
• Költséglebontás üzembe helyezési szintre		 Nincs egyszerű helyi hibakeresés
Méretezhetőség Rugalmas és automatikus skálázás (az alapértelmezett fürtméret nem köti) • A tárolópéldányok nem méretezhetők
• Az AKS v1 csak a fürtön belüli skálázást támogatja, és méretezhetőségi konfigurációt igényel
Alkalmasság vállalati használatra Privát kapcsolat, ügyfél által kezelt kulcsok, Microsoft Entra-azonosító, kvótakezelés, számlázási integráció, szolgáltatásiszint-szerződés (SLA) Nem támogatott
Speciális gépi tanulási funkciók • Modell adatgyűjtése
• Modellfigyelés
• Champion-challenger modell, biztonságos bevezetés, forgalomtükrözés
• Felelős AI-bővíthetőség		 Nem támogatott

Felügyelt online végpontok és Kubernetes online végpontok

Ha inkább a Kubernetes-t szeretné használni a modellek üzembe helyezéséhez és a végpontok kiszolgálásához, és jól kezeli az infrastruktúra követelményeit, használhatja a Kubernetes online végpontjait. Ezek a végpontok lehetővé teszik modellek üzembe helyezését és online végpontok cpu-kkal vagy GPU-kkal való kiszolgálását a teljes mértékben konfigurált és felügyelt Kubernetes-fürtön bárhol.

A felügyelt online végpontok megkönnyítik az üzembe helyezési folyamatot, és az alábbi előnyöket biztosítják a Kubernetes online végpontjaival szemben:

  • Automatikus infrastruktúra-kezelés

    • Kiépíti a számítást, és üzemelteti a modellt. Csak adja meg a virtuális gép (VM) típusát és méretezési beállításait.
    • Frissíti és javítja a mögöttes gazdagép operációsrendszer-rendszerképét.
    • Rendszerhiba esetén elvégzi a csomópontok helyreállítását.

  • Figyelés és naplók

    Képernyőkép a végpontkésés Azure Monitor-grafikonról.

  • A költségelemzési nézet lehetővé teszi a költségek monitorozását a végpont és az üzembe helyezés szintjén.

    Képernyőkép egy végpont és az üzembe helyezés költségdiagramról.

    Feljegyzés

    A felügyelt online végpontok az Azure Machine Learning számításán alapulnak. Felügyelt online végpont használata esetén a számítási és hálózatkezelési díjakat kell fizetnie. Nincs felár. A díjszabással kapcsolatos további információkért tekintse meg az Azure díjkalkulátorát.

    Ha Azure Machine Learning virtuális hálózatot használ a felügyelt online végpont kimenő forgalmának védelmére, a felügyelt virtuális hálózat által használt azure-beli privát kapcsolatért és teljes tartománynévért (FQDN) kell fizetnie. További információ: Felügyelt virtuális hálózat díjszabása.

Az alábbi táblázat a felügyelt online végpontok és a Kubernetes online végpontok közötti főbb különbségeket emeli ki.

Felügyelt online végpontok Kubernetes online végpontok (AKS v2)
Javasolt felhasználók Felügyelt modell üzembe helyezését és továbbfejlesztett MLOps-funkciókat igénylő felhasználók A Kubernetest előnyben részesítő és az infrastruktúra-követelmények önálló kezelésére képes felhasználók
Csomópontok kiépítése Felügyelt számítási kiépítés, frissítés, eltávolítás Felhasználói felelősség
Csomópont karbantartása Felügyelt gazdagép operációsrendszer-rendszerképének frissítései és biztonsági megkeményedése Felhasználói felelősség
Fürtméretezés (méretezés) Felügyelt manuális és automatikus skálázás , amely támogatja a csomópontok további kiépítését Manuális és automatikus skálázás, amely támogatja a replikák számának skálázását a rögzített fürthatárokon belül
Számítási típus A szolgáltatás kezeli Ügyfél által felügyelt Kubernetes-fürt
Kezelt identitás Támogatott Támogatott
Virtuális hálózat Támogatott kezelt hálózati elkülönítés Felhasználói felelősség
Házon kívül történő monitorozás és naplózás Az Azure Monitor és a Log Analytics működik, beleértve a végpontokhoz és üzembe helyezésekhez szükséges főbb metrikákat és naplótáblákat Felhasználói felelősség
Naplózás az Application Insights használatával (örökölt) Támogatott Támogatott
Költség nézet Részletes végpont/üzembehelyezési szint Fürtszint
A költségekre alkalmazott költségek Az üzembe helyezéshez hozzárendelt virtuális gépek (VM-ek) A fürthöz rendelt virtuális gépek
Tükrözött forgalom Támogatott Támogatott
Kód nélküli üzembe helyezés Támogatja az MLflow- és Triton-modelleket Támogatja az MLflow- és Triton-modelleket

Online üzemelő példányok

Az üzembe helyezés a következtetést okozó modell üzemeltetéséhez szükséges erőforrások és számítások készlete. Egyetlen végpont több különböző konfigurációval rendelkező üzembe helyezést is tartalmazhat. Ez a beállítás segít leválasztani a végpont által bemutatott felületet az üzembe helyezésben található megvalósítási részletekről. Az online végpont olyan útválasztási mechanizmussal rendelkezik, amely a végpont adott üzemelő példányaihoz irányíthatja a kéréseket.

Az alábbi ábra egy online végpontot mutat be, amely két üzembe helyezéssel rendelkezik, kék és zöld. A kék üzembe helyezés cpu-termékváltozattal rendelkező virtuális gépeket használ, és egy modell 1. verzióját futtatja. A zöld üzembe helyezés GPU-termékváltozattal rendelkező virtuális gépeket használ, és a modell 2. verzióját futtatja. A végpont úgy van konfigurálva, hogy a bejövő forgalom 90%-át a kék üzembe helyezésre irányozza, míg a zöld üzembe helyezés megkapja a fennmaradó 10%-ot.

A forgalmat két üzembe helyezésre felosztó végpontot ábrázoló ábra.

Modell üzembe helyezéséhez a következővel kell rendelkeznie:

  • Modellfájlok, illetve a munkaterületen már regisztrált modell neve és verziója.

  • Pontozási szkriptkód , amely végrehajtja a modellt egy adott bemeneti kérelemben.

    A pontozó szkript fogadja az üzembe helyezett webszolgáltatásnak küldött adatokat, és átadja azokat a modellnek. A szkript ezután végrehajtja a modellt, és visszaadja válaszát az ügyfélnek. A pontozási szkript a modellre jellemző, és ismernie kell azokat az adatokat, amelyeket a modell bemenetként vár el, és kimenetként ad vissza.

  • A modell futtatásához használandó környezet . A környezet lehet Egy Docker-rendszerkép Conda-függőségekkel vagy Docker-fájlokkal.

  • A példány típusának és skálázási kapacitásának megadására vonatkozó beállítások.

Ha szeretné megtudni, hogyan helyezhet üzembe online végpontokat az Azure CLI, a Python SDK, az Azure Machine Learning Studio vagy egy ARM-sablon használatával, olvassa el a gépi tanulási modell üzembe helyezését online végpont használatával.

Az üzembe helyezés fő attribútumai

Az alábbi táblázat az üzembe helyezés fő attribútumait ismerteti:

Attribútum Ismertetés
Név Az üzembe helyezés neve.
Végpont neve Az üzembe helyezés létrehozásához szükséges végpont neve.
Modell Az üzembe helyezéshez használni kívánt modell. Ez az érték lehet a munkaterület egy meglévő verziójú modelljére való hivatkozás, vagy egy beágyazott modell specifikációja. A modell elérési útjának nyomon követéséről és megadásáról további információt az online végponton üzembe helyezendő modell megadása című témakörben talál.
Kód elérési útja A helyi fejlesztési környezet könyvtárának elérési útja, amely tartalmazza a modell pontozásához szükséges Összes Python-forráskódot. Beágyazott könyvtárakat és csomagokat is használhat.
Pontozási szkript A forráskód könyvtárában található pontozófájl relatív elérési útja. Ennek a Python-kódnak egy függvénysel init() és egy függvénnyel kell rendelkeznie run() . A init() függvény a modell létrehozása vagy frissítése után lesz meghívva, például a modell gyorsítótárazásához a memóriában. A run() függvényt a rendszer a végpont minden meghívásánál meghívja, hogy elvégezhesse a tényleges pontozást és előrejelzést.
Környezet A modellt és a kódot üzemeltető környezet. Ez az érték hivatkozhat a munkaterület meglévő verziójú környezetére, vagy egy beágyazott környezeti specifikációra.
Példány típusa Az üzembe helyezéshez használandó virtuálisgép-méret. A támogatott méretek listáját a Felügyelt online végpontok termékváltozata című témakörben találja.
Példányok száma Az üzembe helyezéshez használandó példányok száma. Alapozza az értéket a várt számítási feladatra. Magas rendelkezésre állás esetén állítsa az értéket legalább 3. A rendszer további 20%-ot foglal le a frissítések végrehajtásához. További információ: Virtuálisgép-kvóta kiosztása az üzemelő példányokhoz.

Megjegyzések online üzemelő példányokhoz

  • Az üzembe helyezés bármikor hivatkozhat a környezetben definiált modellre és tárolórendszerképre, például ha az üzembe helyezési példányok biztonsági javításokon vagy más helyreállítási műveleteken mennek keresztül. Ha az Azure Container Registryben regisztrált modellt vagy tárolórendszerképet használ az üzembe helyezéshez, majd később eltávolítja a modellt vagy a tárolórendszerképet, az ezekre az eszközökre támaszkodó üzembe helyezések sikertelenek lehetnek az újraimálás során. Ha eltávolítja a modellt vagy a tárolórendszerképet, mindenképpen hozza létre vagy frissítse a függő üzemelő példányokat egy másik modellel vagy tárolórendszerképpel.

  • A környezet által hivatkozott tárolóregisztrációs adatbázis csak akkor lehet privát, ha a végponti identitás rendelkezik hozzáféréssel a Microsoft Entra-hitelesítés és az Azure szerepköralapú hozzáférés-vezérlés (RBAC) használatával. Ugyanezen okból a Tárolóregisztrációs adatbázistól eltérő privát Docker-regisztrációs adatbázisok nem támogatottak.

  • A Microsoft rendszeresen frissíti az alaprendszerképeket az ismert biztonsági rések miatt. A javított rendszerkép használatához újra üzembe kell helyeznie a végpontot. Ha saját rendszerképet ad meg, ön a felelős a frissítéséért. További információ: Képjavítás.

Virtuálisgép-kvóta kiosztása üzembe helyezéshez

Felügyelt online végpontok esetén az Azure Machine Learning a számítási erőforrások 20%-át lefoglalja bizonyos virtuálisgép-termékváltozatok frissítéséhez. Ha adott számú példányt kér a virtuálisgép-termékváltozatokhoz egy üzembe helyezés során, a hiba elkerülése érdekében rendelkeznie kell egy rendelkezésre álló kvótával ceil(1.2 * number of instances requested for deployment) * number of cores for the VM SKU . Ha például egy Standard_DS3_v2 virtuális gép 10 példányát kéri le (amely négy maggal rendelkezik), akkor 48 magra (12 instances * 4 cores) vonatkozó kvótával kell rendelkeznie. Ez a többletkvóta a rendszer által kezdeményezett műveletekre, például az operációs rendszer frissítésére és a virtuális gépek helyreállítására van fenntartva, és csak akkor merül fel költség, ha az ilyen műveletek futnak.

Vannak bizonyos virtuálisgép-termékváltozatok, amelyek mentesülnek a többletkvóta-foglalás alól. A teljes lista megtekintéséhez tekintse meg a felügyelt online végpontok termékváltozatainak listáját. A használat megtekintéséhez és a kvótanövelések kéréséhez tekintse meg a használatot és a kvótákat az Azure Portalon. A felügyelt online végpontok futtatásának költségeinek megtekintéséhez tekintse meg a felügyelt online végpont költségeinek megtekintése című témakört.

Megosztott kvótakészlet

Az Azure Machine Learning egy megosztott kvótakészletet biztosít, amelyből a különböző régiók felhasználói a rendelkezésre állástól függően korlátozott ideig férhetnek hozzá a kvótához. Ha a studiót a Llama-2, a Phi, a Nemotron, a Mistral, a Dolly és a Deci-Deci-DeciLM modellek üzembe helyezésére használja a modellkatalógusból egy felügyelt online végpontra, az Azure Machine Learning lehetővé teszi a megosztott kvótakészlet rövid ideig való elérését, hogy elvégezhesse a tesztelést. A megosztott kvótakészletről további információt az Azure Machine Learning megosztott kvótája című témakörben talál.

A Llama-2, a Phi, a Nemotron, a Mistral, a Dolly és a Deci-Deci-DeciLM modelleknek a modellkatalógusból a megosztott kvóta használatával történő üzembe helyezéséhez Nagyvállalati Szerződés előfizetéssel kell rendelkeznie. A megosztott kvótának az online végpontok üzembe helyezéséhez való használatával kapcsolatos további információkért lásd : Alapmodellek üzembe helyezése a studióval.

Az Azure Machine Learningben az erőforrások kvótáival és korlátaival kapcsolatos további információkért lásd: Az Azure Machine Learning-beli erőforrások kvótáinak és korlátainak kezelése és növelése.

Üzembe helyezés kódolók és nem kódolók számára

Az Azure Machine Learning támogatja a modell online végpontokra való üzembe helyezését a kódolók és a nem kódolók számára azáltal, hogy lehetőséget biztosít a kód nélküli üzembe helyezésre, az alacsony kódszámú üzembe helyezésre és a Saját tároló (BYOC) üzembe helyezésére.

  • A kód nélküli üzembe helyezés beépített következtetést biztosít olyan gyakori keretrendszerekhez, mint a scikit-learn, a TensorFlow, a PyTorch és az Open Neural Network Exchange (ONNX) az MLflow és a Triton használatával.
  • Az alacsony kódszámú üzembe helyezés lehetővé teszi minimális kód megadását a gépi tanulási modellel együtt az üzembe helyezéshez.
  • A BYOC üzembe helyezése lehetővé teszi, hogy gyakorlatilag bármilyen tárolót hozzon létre az online végpont futtatásához. Az MLOps-folyamatok kezeléséhez használhatja az Azure Machine Learning platform összes funkcióját, például az automatikus skálázást, a GitOpst, a hibakeresést és a biztonságos bevezetést.

Az alábbi táblázat az online üzembe helyezési lehetőségek főbb szempontjait emeli ki:

Kód nélküli Alacsony kód BYOC
Összefoglalás Beépített következtetést használ olyan népszerű keretrendszerekhez, mint a scikit-learn, a TensorFlow, a PyTorch és az ONNX, az MLflow és a Triton használatával. További információ: MLflow-modellek üzembe helyezése online végpontokon. Biztonságos, nyilvánosan közzétett válogatott képeket használ a népszerű keretrendszerekhez, és kéthetente frissítéseket használ a biztonsági rések kezelésére. Pontozószkriptet és/vagy Python-függőségeket biztosít. További információ: Azure Machine Learning Curated Environments. Az egyéni rendszerképekhez az Azure Machine Learning támogatásával biztosíthatja a teljes vermet. További információ: Modell üzembe helyezése egy online végponton egyéni tároló használatával.
Egyéni alaprendszerkép Nincs. A válogatott környezetek biztosítják az alaprendszerképet az egyszerű üzembe helyezéshez. A válogatott vagy a testreszabott rendszerképet is használhatja. Hozzon létre egy akadálymentes tárolólemezkép-helyet, például docker.io, tárolóregisztrációs adatbázist vagy Microsoft Eszközjegyzék, vagy egy Docker-fájlt, amelyet a tároló tárolóregisztrációs adatbázisával hozhat létre vagy küldhet le.
Egyéni függőségek Nincs. A válogatott környezetek függőségeket biztosítanak az egyszerű üzembe helyezéshez. Hozza létre azt az Azure Machine Learning-környezetet, amelyben a modell fut, vagy egy Docker-rendszerképet Conda-függőségekkel, vagy egy dockerfile-t. Az egyéni függőségek szerepelnek a tárolólemezképben.
Egyéni kód Nincs. A pontozási szkript automatikusan létre van hozva az egyszerű üzembe helyezés érdekében. Hozza el a pontozási szkriptet. A pontozási szkript szerepel a tárolórendszerképben.

Feljegyzés

Az AutoML-futtatások automatikusan létrehoznak egy pontozószkriptet és függőségeket a felhasználók számára. Kód nélküli üzembe helyezés esetén bármilyen AutoML-modellt üzembe helyezhet anélkül, hogy más kódot hoz létre. Alacsony kódszámú üzembe helyezés esetén az automatikusan létrehozott szkripteket az üzleti igényei szerint módosíthatja. Az AutoML-modellekkel való üzembe helyezésről az AutoML-modellek online végponton való üzembe helyezéséről olvashat.

Online végpont hibakeresése

Ha lehetséges, tesztelje helyileg a végpontot a kód és a konfiguráció ellenőrzéséhez és hibakereséséhez, mielőtt üzembe helyezené az Azure-ban. Az Azure CLI és a Python SDK támogatja a helyi végpontokat és üzembe helyezéseket, míg az Azure Machine Learning Studio és az ARM-sablonok nem támogatják a helyi végpontokat vagy üzembe helyezéseket.

Az Azure Machine Learning a következő módszereket kínálja az online végpontok helyi és tárolónaplók használatával történő hibakereséséhez:

Helyi hibakeresés az Azure Machine Learning következtetési HTTP-kiszolgálójával

A pontozószkript helyi hibakereséséhez használja az Azure Machine Learning következtetési HTTP-kiszolgálóját. A HTTP-kiszolgáló egy Python-csomag, amely HTTP-végpontként teszi elérhetővé a pontozási függvényt, és egyetlen csomagba csomagolja a Flask-kiszolgáló kódját és függőségeit.

Az Azure Machine Learning tartalmaz egy HTTP-kiszolgálót az előre összeállított Docker-rendszerképekben a modell üzembe helyezéséhez használt következtetéshez . Ha egyedül használja a csomagot, helyileg üzembe helyezheti a modellt éles környezetben, és a bejegyzéspontozási szkriptet is egyszerűen érvényesítheti egy helyi fejlesztési környezetben. Ha probléma van a pontozási szkripttel, a kiszolgáló hibát ad vissza, és azt a helyet, ahol a hiba történt. A Visual Studio Code használatával hibakeresést is végezhet az Azure Machine Learning következtetési HTTP-kiszolgálójával.

Tipp.

Az Azure Machine Learning-következtetés HTTP-kiszolgálói Python-csomagjával helyileg, Docker Engine nélkül is hibakeresést végezhet a pontozószkriptben. A következtetési kiszolgálóval végzett hibakeresés segít a pontozási szkript hibakeresésében a helyi végpontokon való üzembe helyezés előtt, így anélkül végezhet hibakeresést, hogy az üzembe helyezési tároló konfigurációi befolyásolják.

A HTTP-kiszolgálóval végzett hibakeresésről további információt az Azure Machine Learning következtetési HTTP-kiszolgálóval végzett hibakeresési pontozási szkriptben talál.

Helyi hibakeresés helyi végponttal

A helyi hibakereséshez egy helyi Docker-környezetben üzembe helyezett modellre van szükség. Ezt a helyi üzembe helyezést használhatja tesztelésre és hibakeresésre a felhőben való üzembe helyezés előtt.

A helyi üzembe helyezéshez telepítenie és futtatnia kell a Docker-motort . Az Azure Machine Learning ezután létrehoz egy helyi Docker-rendszerképet az online rendszerkép utánzásához. Az Azure Machine Learning helyileg létrehozza és futtatja az üzembe helyezéseket, és gyorsítótárazza a rendszerképet a gyors iterációkhoz.

Tipp.

Ha a Docker Engine nem indul el a számítógép indításakor, a Docker Engine hibaelhárítását is elvégezheti. Az ügyféloldali eszközök, például a Docker Desktop segítségével hibakeresést végezhet a tárolóban.

A helyi hibakeresés általában a következő lépéseket foglalja magában:

  • Először ellenőrizze, hogy a helyi üzembe helyezés sikeres volt-e.
  • Ezután hívja meg a helyi végpontot a következtetéshez.
  • Végül tekintse át a művelet kimeneti naplóit invoke .

A helyi végpontok a következő korlátozásokkal rendelkeznek:

  • A forgalmi szabályok, a hitelesítés és a mintavétel beállításai nem támogatottak.

  • Végpontonként csak egy üzembe helyezés támogatása.

  • Helyi modellfájlok és környezet támogatása csak helyi Conda-fájlokkal.

    • A regisztrált modellek teszteléséhez először töltse le őket a parancssori felület vagy az SDK használatával, majd használja path az üzembehelyezési definícióban a szülőmappára való hivatkozáshoz.

    • A regisztrált környezetek teszteléséhez ellenőrizze a környezet környezetét az Azure Machine Learning Studióban, és készítsen elő egy helyi conda-fájlt.

A helyi hibakereséssel kapcsolatos további információkért lásd : Helyi végpont használatával történő helyi üzembe helyezés és hibakeresés.

Helyi hibakeresés helyi végponttal és Visual Studio Code-tal (előzetes verzió)

Fontos

Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.

További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

A helyi hibakereséshez hasonlóan telepítenie és futtatnia kell a Docker-motort , majd üzembe kell helyeznie egy modellt a helyi Docker-környezetben. A helyi üzembe helyezést követően az Azure Machine Learning helyi végpontjai Docker- és Visual Studio Code-fejlesztői tárolókat (fejlesztői tárolókat) használnak egy helyi hibakeresési környezet létrehozásához és konfigurálásához.

A fejlesztői tárolók használatával Visual Studio Code-funkciókat használhat, például egy Docker-tárolón belüli interaktív hibakeresést. Az online végpontok Visual Studio Code-ban való interaktív hibakereséséről további információt a Visual Studio Code helyi online végpontjainak hibakeresése című témakörben talál.

Hibakeresés tárolónaplókkal

Nem férhet hozzá közvetlen hozzáféréshez egy olyan virtuális géphez, amelyen a modell üzembe helyezve van, de a következő tárolókból szerezhet be naplókat, amelyek a virtuális gépen futnak:

  • A következtetési kiszolgáló konzolnaplója a pontozószkriptből score.py kódból származó nyomtatási/naplózási függvények kimenetét tartalmazza.
  • A tároló inicializáló naplói információkat tartalmaznak arról, hogy a kód- és modelladatok sikeresen letöltődnek-e a tárolóba. A tároló a következtetési kiszolgáló tárolójának futtatása előtt fut.

A tárolónaplók hibakereséséről további információt a Tárolónaplók lekérése című témakörben talál.

Forgalomirányítás és tükrözés online üzembe helyezések számára

Egyetlen online végpont több üzembe helyezéssel is rendelkezhet. Mivel a végpont bejövő forgalmi kéréseket fogad, a forgalom százalékos arányát az egyes üzemelő példányokhoz irányíthatja, ahogyan a natív kék/zöld üzembe helyezési stratégiában is. A végpont tükrözheti vagy másolhatja a forgalmat az egyik üzemelő példányból a másikba, más néven forgalomtükrözésre vagy árnyékolásra.

Forgalomirányítás kék/zöld üzembe helyezéshez

A kék/zöld üzembe helyezés egy olyan üzembehelyezési stratégia, amely lehetővé teszi, hogy a teljes üzembe helyezés előtt új zöld üzembe helyezést vezessen be a felhasználók vagy kérések egy kis részhalmazára. A végpont terheléselosztást valósíthat meg az egyes üzemelő példányok forgalmának bizonyos százalékainak lefoglalásához, és az összes üzembe helyezés teljes lefoglalása akár 100%-ot is elérheti.

Tipp.

A kérések megkerülhetik a konfigurált forgalom terheléselosztását a HTTP fejlécének azureml-model-deploymentbeírásával. Állítsa a fejléc értékét annak az üzemelő példánynak a nevére, amelyhez a kérést irányítani szeretné.

Az alábbi képen az Azure Machine Learning Studio beállításai láthatók a kék és a zöld környezet közötti forgalom elosztásához.

Képernyőkép a csúszka felületről az üzemelő példányok közötti forgalomfoglalás beállításához.

Az előző forgalomfoglalás a zöld üzembe helyezés felé vezető forgalom 10%-át, a kék üzembe helyezés felé pedig a forgalom 90%-át irányítja, ahogy az alábbi képen is látható.

A forgalmat két üzembe helyezésre felosztó végpontot ábrázoló ábra.

Forgalomtükrözés online üzemelő példányokra

A végpont tükrözheti vagy másolhatja a forgalmat az egyik üzembe helyezésből a másikba. Használhatja a forgalomtükrözést, más néven árnyéktesztelést, ha éles forgalommal szeretne tesztelni egy új üzembe helyezést anélkül, hogy ez hatással lenne az ügyfelek által a meglévő üzemelő példányokból kapott eredményekre.

Létrehozhat például egy kék/zöld üzemelő példányt, amelyben a forgalom 100%-a kékre van irányítva, 10%-a pedig a zöld üzembe helyezéshez lesz tükrözve. A zöld üzembe helyezés tükrözött forgalmának eredményeit a rendszer nem adja vissza az ügyfeleknek, de a metrikákat és naplókat a rendszer rögzíti.

Egy üzembehelyezési forgalmat tükröző végpontot ábrázoló ábra.

A forgalomtükrözés használatáról további információt az új üzembe helyezések biztonságos bevezetése valós idejű következtetés céljából című témakörben talál.

További online végpontfunkciók

Az alábbi szakaszok az Azure Machine Learning online végpontjainak egyéb képességeit ismertetik.

Hitelesítés és titkosítás

  • Hitelesítés: Kulcs- és Azure Machine Learning-jogkivonatok
  • Felügyelt identitás: Felhasználó és hozzárendelt rendszer
  • Biztonságos szoftvercsatornaréteg (SSL) alapértelmezés szerint a végponthíváshoz

Automatikus skálázás

Az automatikus skálázás automatikusan a megfelelő mennyiségű erőforrást futtatja az alkalmazásra háruló terhelés kezeléséhez. A felügyelt végpontok támogatják az automatikus skálázást az Azure Monitor automatikus skálázási funkciójával való integrációval. Metrikaalapú skálázást konfigurálhat, például 70%-os processzorkihasználtságot >, ütemezésalapú skálázást, például csúcsidőre vonatkozó szabályokat vagy mindkettőt.

Képernyőkép arról, hogy az automatikus skálázás rugalmasan biztosít a minimális és a maximális példány között, a szabályoktól függően.

További információ: Online végpontok automatikus skálázása az Azure Machine Learningben.

Felügyelt hálózatelkülönítés

Ha gépi tanulási modellt helyez üzembe egy felügyelt online végponton, privát végpontok használatával biztonságossá teheti az online végponttal való kommunikációt. A bejövő pontozási kérelmek és a kimenő kommunikáció biztonságát külön konfigurálhatja.

A bejövő kommunikáció az Azure Machine Learning-munkaterület privát végpontját használja, míg a kimenő kommunikáció a munkaterület felügyelt virtuális hálózatához létrehozott privát végpontokat használja. További információ: Hálózatelkülönítés felügyelt online végpontokkal.

Online végpontok és üzemelő példányok monitorozása

Az Azure Machine Learning-végpontok integrálhatók az Azure Monitorral. Az Azure Monitor-integráció lehetővé teszi a diagramok metrikáinak megtekintését, a riasztások konfigurálását, a naplótáblák lekérdezését és az Application Insights használatát a felhasználói tárolók eseményeinek elemzéséhez. További információ: Online végpontok figyelése.

Titkos injektálás online üzemelő példányokban (előzetes verzió)

Az online üzembe helyezés titkos kódinjektálása magában foglalja a titkos kulcsok, például az API-kulcsok titkos tárolókból való lekérését és az üzembe helyezésen belül futó felhasználói tárolóba való injektálását. Ha biztonságos titkos kódhasználatot szeretne biztosítani a hatókörkezelési szkriptet vagy a következtetési vermet futtató következtetési kiszolgáló számára a BYOC-üzemelő példányban, környezeti változókkal férhet hozzá a titkos kódokhoz.

A titkos kulcsokat saját maga is beszúrhatja felügyelt identitások használatával, vagy használhatja a titkos kódok injektálási funkcióját. További információ: Titkos kódinjektálás online végpontokban (előzetes verzió).

Kapcsolódó tartalom