Kiszolgáló nélküli GPU-k használata az Azure Container Appsben (előzetes verzió)

Az Azure Container Apps az alapul szolgáló infrastruktúra kezelése nélkül biztosít hozzáférést az igény szerinti GPU-khoz. Kiszolgáló nélküli funkcióként csak a használatban lévő GPU-kért kell fizetnie. Ha engedélyezve van, az alkalmazáshoz használt GPU-k száma emelkedik, és az alkalmazás terhelési igényeinek megfelelően csökken. A kiszolgáló nélküli GPU-k lehetővé teszik a számítási feladatok zökkenőmentes futtatását automatikus skálázással, optimalizált hidegindítással, másodpercenkénti számlázással, használaton kívüli skálázással nullára skálázva, és csökkentve a működési többletterhelést.

A kiszolgáló nélküli GPU-k csak a használatalapú számítási feladatok profiljaihoz támogatottak. A funkció nem támogatott csak használatalapú környezetekben.

Juttatások

A kiszolgáló nélküli GPU-k felgyorsítják az AI fejlesztését azáltal, hogy lehetővé teszik az alapvető AI-kódra való összpontosítást, és kevésbé az infrastruktúra kezelésére a GPU-k használatakor. Ez a funkció egy középső rétegbeli lehetőséget biztosít az Azure AI-modellkatalógus kiszolgáló nélküli API-k és a felügyelt számítási modellek üzemeltetési modelljei között.

A Container Apps kiszolgáló nélküli GPU-támogatása teljes körű adatszabályozást biztosít, mivel az adatok soha nem hagyják el a tároló határait, miközben továbbra is felügyelt, kiszolgáló nélküli platformot biztosítanak az alkalmazások létrehozásához.

Amikor kiszolgáló nélküli GPU-kat használ a Container Appsben, az alkalmazások a következőt kapják:

• Skálázás nullára GPU-k: Az NVIDIA A100 és az NVIDIA T4 GPU automatikus kiszolgáló nélküli skálázásának támogatása.

• Másodpercenkénti számlázás: Csak a használt GPU-számításért kell fizetnie.

• Beépített adatszabályozás: Az adatok soha nem hagyják el a tároló határát.

• Rugalmas számítási lehetőségek: Választhat az NVIDIA A100 vagy T4 GPU-típusok közül.

• A mi-fejlesztés középső rétege: Saját modell használata felügyelt, kiszolgáló nélküli számítási platformon.

Gyakori forgatókönyvek

A következő forgatókönyvek, bár nem átfogóak, a kiszolgáló nélküli GPU-k gyakori használati eseteit ismertetik.

• Valós idejű és kötegelt következtetés: Egyéni nyílt forráskódú modellek használata gyors indítási időpontokkal, automatikus skálázással és másodpercenkénti számlázási modellel. A kiszolgáló nélküli GPU-k ideálisak dinamikus alkalmazásokhoz. Csak a használt számításért kell fizetnie, és az alkalmazások automatikusan fel- és felskálázhatók az igények kielégítése érdekében.

• Gépi tanulási forgatókönyvek: Jelentősen felgyorsíthatja azokat az alkalmazásokat, amelyek finomhangolt egyéni generatív AI-modelleket, mélytanulást, neurális hálózatokat vagy nagy léptékű adatelemzést implementálnak.

• Nagy teljesítményű számítástechnika (HPC): Az összetett számításokat és szimulációkat, például tudományos számításokat, pénzügyi modellezést vagy időjárás-előrejelzést igénylő alkalmazások gpu-kat használnak a magas számítási igényekhez.

• Renderelés és vizualizáció: A 3D renderelést, képfeldolgozást vagy videoátkódolást igénylő alkalmazások gyakran gpu-kat használnak a renderelési folyamat felgyorsításához és a valós idejű vizualizáció engedélyezéséhez.

• Big Data Analytics: A GPU-k felgyorsíthatják a nagy adathalmazok adatfeldolgozását és elemzését.

Megfontolások

A kiszolgáló nélküli GPU-k használata során tartsa szem előtt a következő elemeket:

• CUDA-verzió: A kiszolgáló nélküli GPU-k támogatják a legújabb CUDA-verziót

• Támogatási korlátozások:

  • Az alkalmazásban egyszerre csak egy tároló használhatja a GPU-t. Ha egy alkalmazásban több tároló is található, az első tároló hozzáférést kap a GPU-hoz.
  • Több alkalmazás is megoszthatja ugyanazt a GPU számítási feladatprofilt, de mindegyikhez saját replika szükséges.
  • A több- és tört GPU-replikák nem támogatottak.
  • Az alkalmazás első tárolója hozzáfér a GPU-hoz.

• IP-címek: A használati GPU-k replikánként egy IP-címet használnak a saját virtuális hálózattal való integráció beállításakor.

Kiszolgáló nélküli GPU-kvóta kérése

A szolgáltatás csak kiszolgáló nélküli GPU-kvóta után érhető el. A GPU-kvótakvótát egy ügyfélszolgálati eseten keresztül küldheti el. A GPU-kvótakvóta-kérelem támogatási esetének megnyitásakor válassza a "Technical" típusú problématípust.

Támogatott régiók

A kiszolgáló nélküli GPU-k előzetes verzióban érhetők el az USA 3. nyugati régiójában, Kelet-Ausztráliában és Svédország középső régiójában.

Kiszolgáló nélküli GPU-k használata

Amikor tárolóalkalmazást hoz létre az Azure Portalon keresztül, beállíthatja a tárolót GPU-erőforrások használatára.

A létrehozási folyamat Tároló lapján adja meg a következő beállításokat:

1. A Tárolóerőforrás-foglalás szakaszban jelölje be a GPU jelölőnégyzetét.

2. A GPU-típus* esetében válassza az NVIDIA A100 vagy az NVIDIA T4 lehetőséget.

Kiszolgáló nélküli GPU számítási feladatprofil kezelése

A kiszolgáló nélküli GPU-k használatalapú GPU-számítási feladatprofilokon futnak. A használati GPU számítási feladatprofilja ugyanúgy kezelhető, mint bármely más számítási feladatprofil. A számítási feladatprofilt a parancssori felület vagy az Azure Portal használatával kezelheti.

A GPU hidegindításának javítása

Javíthatja a GPU-kompatibilis tárolók hidegindítását, ha engedélyezi az összetevők streamelését az Azure Container Registryben.

A képstreamelés engedélyezéséhez kövesse az alábbi lépéseket:

1. Nyissa meg az Azure Container Registryt az Azure Portalon.

2. Keressen adattárakat, és válassza az Adattárak lehetőséget.

3. Válassza ki az adattár nevét.

4. Az Adattár ablakában válassza az Összetevő-streamelés indítása lehetőséget.

5. Válassza ki a streamelni kívánt képcímkét.

6. Az előugró ablakban válassza a Streamelési összetevő létrehozása lehetőséget.

Visszajelzés elküldése

Küldje el a problémát az Azure Container Apps GitHub-adattárba.

Következő lépések