Az AI számítási feladatainak tervezési alapelvei az Azure-ban
Ez a cikk az Azure-beli AI-számítási feladatok alapvető alapelveit ismerteti, és az architektúra AI-aspektusaira összpontosít. Alapvető fontosságú, hogy az Összes Azure Well-Architected Framework-pillért együttesen vegyük figyelembe, beleértve azok kompromisszumoit is. Alkalmazza az egyes pilléreket a számítási feladat funkcionális és nem funkcionális követelményeire.
Megbízhatóság
Amikor MI munkaterheléseket futtat az Azure-ban, számos olyan megbízhatósági követelményt figyelembe kell vennie, amelyeket más típusú munkaterhelések esetében is figyelembe vesz. A modell betanításával, üzemeltetésével és következtetésével kapcsolatos konkrét szempontok azonban különösen fontosak, és a cikk középpontjában állnak. Fontos, hogy ezeket a gyakorlatokat integrálja a felhőalkalmazások szabványos tervezési ajánlott eljárásaival, amelyek az AI-számítási feladatokra is vonatkoznak.
Tekintse át a megbízhatósági tervezési alapelveket, az itt ismertetett fogalmak alapszintű megértéséhez.
| Tervezési elv | Megfontolások |
|---|---|
| Egyetlen hibapont elhárítása. | A kritikus összetevők egyetlen példányára támaszkodva jelentős problémákhoz vezethet. Az ilyen típusú problémák megelőzése érdekében hozzon létre redundanciát az összes kritikus összetevőre. Használjon beépített hibatűréssel és magas rendelkezésre állású funkciókkal rendelkező platformokat, és implementálja a redundanciát több példány vagy csomópont üzembe helyezésével. |
| Végezzen hibamód-elemzést. Használja ki a jól ismert tervezési mintákat. |
Rendszeresen elemezheti a lehetséges hibamódokat a rendszerösszetevőkben, és rugalmasságot építhet ki ezekre a hibákra. Jól ismert tervezési minták használatával elkülönítheti a rendszer egyes részeit, és megelőzheti a kaszkádolt hibákat. A Válaszfal minta például segíthet elkülöníteni a hibákat, és az újrapróbálkozási mechanizmusok és az áramkör-megszakítók képesek kezelni az átmeneti hibákat, például a szabályozási kéréseket. |
| A megbízhatósági célkitűzések kiegyensúlyozása a függő összetevők között. | Győződjön meg arról, hogy a következtetési végpont vagy a modell és az adattár megbízhatósági szempontból igazodik. Az alkalmazásösszetevőknek nem várt körülmények között is rendelkezésre kell állniuk, például az egyidejű felhasználók számának megugrása esetén. Emellett a munkaterhelésnek képesnek kell lennie átváltani a biztonsági rendszerekre meghibásodás esetén. Ha az egyik összetevő meghibásodik, az hatással van a másik megbízhatóságára. Hasonlóképpen, a szolgáltatásréteg API-knak, amelyek kritikus fontosságú éles erőforrások, ugyanazokat a megbízhatósági szabványokat kell betartaniuk, mint a többi nagy kritikusságú számítási feladatfolyamatnak. Ha ezek az API-k magas rendelkezésre állást igényelnek, az üzemeltetési platformnak támogatnia kell a rendelkezésre állási zónákat vagy a többrégiós kialakítást a folyamatos működés és rugalmasság biztosítása érdekében. |
| Tervezés az üzemeltetési megbízhatóság érdekében. | A modellválaszok megbízhatóságának fenntartása a frissítések gyakori és időben történő biztosításával. Döntse el, hogy a legutóbbi vagy kissé régebbi adatokat használja-e, és kiegyensúlyozza a up-to-date információk szükségességét a frissítés gyakoriságának gyakorlatiasságával. A gyakorisági és megbízhatósági követelmények miatt automatizálnia kell az online képzést. Az offline betanítás költség-haszon elemzéssel igazolható. Az offline betanításhoz olcsóbb erőforrásokat használhat. |
| Tervezés megbízható felhasználói élmény érdekében. | Terheléstesztelés használatával kiértékelheti, hogy a számítási feladat hogyan kezeli a stresszt, és a felhasználói felület kialakításával kezelheti a felhasználói elvárásokat a válaszidőkkel kapcsolatban. Olyan felhasználói felületi elemek implementálása, amelyek tájékoztatják a felhasználókat a lehetséges várakozási időkről, és aszinkron felhőtervezési alapelveket alkalmaznak az időszakosság, a késés vagy a hibák kezelése érdekében. |
Biztonság
A modellek gyakran bizalmas éles adatokat használnak a releváns eredmények előállításához. Ezért robusztus biztonsági intézkedéseket kell implementálnia az architektúra minden rétegében. Ezek az intézkedések magukban foglalják a biztonságos alkalmazástervezés implementálását az életciklus korai szakaszában, az inaktív és a tranzit adatok titkosítását, valamint az iparági megfelelőségi szabványoknak való megfelelést. A biztonsági rések azonosításához és csökkentéséhez elengedhetetlen a rendszeres biztonsági értékelés. A speciális fenyegetésészlelési mechanizmusok segítenek a lehetséges fenyegetésekre adott gyors válaszok biztosításában.
biztonsági alapelvek alapvető fontosságúak az adatintegritás, a tervezési integritás és a felhasználói adatvédelem védelméhez az AI-megoldásokban. Számítási feladat tulajdonosaként Ön felel a megbízhatóság kiépítéséért és a bizalmas információk védelméért, hogy biztonságos felhasználói élményt biztosíthasson.
| Tervezési elv | Megfontolások |
|---|---|
| Szerezze meg a felhasználói bizalmat. | Az életciklus minden szakaszában integrálhatja a tartalombiztonságot egyéni kódokkal, eszközökkel és hatékony biztonsági vezérlőkkel. Távolítsa el a szükségtelen személyes és bizalmas adatokat minden adattárolási ponton, beleértve az összesített adattárakat, a keresési indexeket, a gyorsítótárakat és az alkalmazásokat. Ezt a biztonsági szintet az architektúra egészében következetesen fenntartja. Ügyeljen arra, hogy olyan alapos tartalommoderálást implementáljon, amely mindkét irányban vizsgálja az adatokat, és kiszűri a nem megfelelő és sértő tartalmakat. |
| Az inaktív, az átvitel alatt álló és a használatban lévő adatok védelme a számítási feladat bizalmassági követelményeinek megfelelően. | Legalább platformszintű titkosítást használjon a Microsoft által felügyelt vagy ügyfél által felügyelt kulcsokkal az architektúra összes adattárában. Határozza meg, hogy hol van szüksége magasabb szintű titkosításra, és szükség esetén használjon kettős titkosítást. Győződjön meg arról, hogy az összes forgalom HTTPS-t használ a titkosításhoz. Határozza meg a TLS-végpontokat minden ugrásnál. Magát a modellt védeni kell, hogy a támadók ne nyerhessenek ki a betanítás során használt bizalmas információkat. A modellhez a legmagasabb szintű biztonsági intézkedések szükségesek. Fontolja meg a homomorf titkosítás használatát, amely lehetővé teszi a titkosított adatokra való következtetést. |
| A rendszerhez hozzáférő identitások (felhasználó és rendszer) robusztus hozzáférés-kezelésébe fektetett be. | Szerepköralapú hozzáférés-vezérlés (RBAC) és/vagy attribútumalapú hozzáférés-vezérlés (ABAC) implementálása vezérlő- és adatsíkokhoz egyaránt. A megfelelő identitásszegmentálás fenntartása az adatvédelem érdekében. Csak a megtekintésre felhatalmazott felhasználók számára engedélyezze a tartalmakhoz való hozzáférést. |
| Szegmentálás implementálásával megvédheti a tervezés integritását. | Privát hálózatkezelés biztosítása tárolólemezképek, adatok és kódegységek központosított adattáraihoz való hozzáféréshez. Ha az infrastruktúrát más számítási feladatokkal osztja meg, szegmentálást hoz létre, például amikor a következtetési kiszolgálót az Azure Kubernetes Service-ben üzemelteti, elkülönítheti a csomópontkészletet más API-któl és számítási feladatoktól. |
| Végezzen biztonsági tesztelést. | Dolgozzon ki egy részletes teszttervet, amely tartalmazza az etikátlan viselkedés észlelésére szolgáló teszteket, amikor a rendszer változtatásokat vezet be. Integrálja az AI-összetevőket a meglévő biztonsági tesztelésbe. A következtetési végpontot például beépítheti a rutintesztekbe más nyilvános végpontokkal együtt. A lehetséges biztonsági rések hatékony azonosítása és kezelése érdekében érdemes lehet teszteket végezni az élő rendszeren, például behatolási teszteket vagy piros csapatgyakorlatokat. |
| A támadási felület csökkentése szigorú felhasználói hozzáférés és API-kialakítás kényszerítésével. | Hitelesítés megkövetelése az összes következtetési végponthoz, beleértve a rendszerközi hívásokat is. Kerülje a névtelen végpontokat. Előnyben részesítse a korlátozott API-kialakítást az ügyféloldali rugalmasság árán. |
kompromisszumot. A legmagasabb szintű biztonság megvalósítása költség- és pontosságbeli kompromisszumot von maga után, mivel a titkosított adatok elemzése, vizsgálata vagy naplózása korlátozott. A tartalombiztonsági ellenőrzések és a magyarázhatóság elérése szintén kihívást jelenthet a magas biztonságú környezetekben.
Az alábbi tervezési területek részletesen ismertetik az előző alapelveket és szempontokat:
Költségoptimalizálás
A Költségoptimalizálás pillér célja a befektetés maximalizálása, nem feltétlenül a költségek csökkentése. Minden architektúraválasztás közvetlen és közvetett pénzügyi hatásokat is eredményez. Ismerje meg a különböző lehetőségekhez kapcsolódó költségeket, például a buildelési és vásárlási döntéseket, a technológiai beállításokat, a számlázási modelleket, a licencelést, a képzést és az üzemeltetési költségeket. Fontos, hogy maximalizálja a befektetést a kiválasztott szinten, és folyamatosan értékelje újra a számlázási modelleket. Folyamatosan értékelje ki az architektúra, az üzleti igények, a folyamatok és a csapatstruktúra változásaihoz kapcsolódó költségeket.
Tekintse át költségoptimalizálási alapelveket, amelyek a díj- és a használatoptimalizálásra összpontosítanak.
| Tervezési elv | Megfontolások |
|---|---|
| A költségillesztők meghatározása egy átfogó költségmodellezési gyakorlattal. | Vegye figyelembe az adat- és alkalmazásplatform főbb tényezőit: - Adatmennyiség. Becsülje meg az indexelendő és feldolgozandó adatok mennyiségét. A nagyobb kötetek növelhetik a tárolási és feldolgozási költségeket. - Lekérdezések száma. A lekérdezések gyakoriságának és összetettségének előrejelzése. A nagyobb lekérdezési kötetek növelhetik a költségeket, különösen akkor, ha a lekérdezések jelentős számítási erőforrásokat igényelnek. - Átviteli sebesség. Mérje fel a várt átviteli sebességet annak meghatározásához, hogy melyik teljesítményszintre van szüksége. A nagyobb átviteli sebesség iránti igények magasabb költségekhez vezethetnek. - Függőségi költségek. Tisztában kell lennie azzal, hogy a függőségekben rejtett költségek is lehetnek. Ha például az indexelés költségét számítja ki, adja meg a képességkészlet költségét, amely az adatfeldolgozás része, de kívül esik az index hatókörén. |
| Fizessen azért, amit használni szeretne. | Válasszon olyan technológiai megoldást, amely szükségtelen költségek nélkül megfelel az igényeinek. Ha nincs szüksége speciális funkciókra, fontolja meg a kevésbé költséges lehetőségeket és a nyílt forráskódú eszközöket. A használat gyakoriságának tényezője. A rugalmas számítási lehetőségek előnyben részesítése a vezénylési eszközökhöz a kihasználtsági költségek minimalizálása érdekében, mivel mindig. Kerülje a kiszolgáló nélküli számítást a teljes munkaidős műveletekhez, mert az eszkalálhatja a költségeket. Ne fizessen a magasabb szintekért a teljes kapacitás használata nélkül. Annak érdekében, hogy hatékonyan optimalizálja a kiadásokat, győződjön meg arról, hogy a választott szint megfelel az Ön gyakorlati használati szokásainak. A normál feladatokhoz standard díjszabást, a szigorúan megszakítható betanításhoz pedig azonnali díjszabást használhat. A költségek csökkentése érdekében gpu-alapú számítást csak AI számítási feladatokhoz használjon. Alaposan tesztelje és mérje fel a betanítást és a finomhangolást, hogy megtalálja azt a termékváltozatot, amely a legjobban kiegyensúlyozza a teljesítményt és a költségeket. |
| Használja, amit fizet. Minimalizálja a hulladékot. | A kihasználtsági metrikák szoros monitorozása. Az AI-számítási feladatok költségesek lehetnek, és a költségek gyorsan eszkalálódhatnak, ha az erőforrásokat nem zárják le, nem méretezik le vagy szabadítják fel, ha nem használják őket. Optimalizálja a rendszert egyszer írásra , és olvasson sokat , hogy elkerülje az adattárolásra való túlköltekezést. A képzési adatok nem igénylik a produkciós adatbázisok azonnali válaszkészségét. Az Azure OpenAI-szolgáltatás következtetési végpontjainak stressztesztelése költséges lehet, mivel minden hívás díjjal jár. A költségek csökkentése érdekében használja az OpenAI szolgáltatás nem használt PTU-it tesztkörnyezetben, vagy szimulálja inkább a következtetési végpontot. Az olyan feladatok, mint a feltáró adatelemzés (EDA), a modell betanítása és a finomhangolás általában nem teljes munkaidőben futnak. Ezekben a feladatokban inkább olyan platformot válasszon, amelyet le lehet állítani, ha nincs használatban. Az EDA-feladatok például általában interaktívak, ezért a felhasználóknak képesnek kell lenniük virtuális gépek indítására és leállítására a feladatok futtatásakor. Költség felelősségek hozzárendelése az üzemeltetési csapatokhoz. Ezeknek a csapatoknak az erőforrás-kihasználtság aktív figyelésével és kezelésével biztosítaniuk kell, hogy a költségek a várt paramétereken belül maradjanak. |
| Optimalizálja a működési költségeket. | Az online képzés a gyakorisági követelmények miatt költséges lehet. A folyamat automatizálása segít fenntartani a konzisztenciát, és minimalizálni az emberi hibákból származó költségeket. Emellett a kissé régebbi adatok betanítása és a frissítések késleltetése, ha lehetséges, tovább csökkentheti a költségeket anélkül, hogy jelentősen befolyásolná a modell pontosságát. Offline betanítás esetén értékelje ki, hogy használhatók-e olcsóbb erőforrások, például offline hardverek. Általánosságban elmondható, hogy a funkciók zsúfoltságának és tárolási költségeinek csökkentése érdekében törölje az adatokat a szolgáltatástárolókból. |
Működésbeli kiválóság
Az operatív kiválóság elsődleges célja a képességek hatékony biztosítása a fejlesztési életciklus során. Ennek a célnak az elérése olyan megismételhető folyamatok létrehozását foglalja magában, amelyek támogatják a kísérletezés tervezési módszertanát, és eredményeket adnak a modell teljesítményének javítása érdekében. Az operatív kiválóság a modellek pontosságának időbeli fenntartásáról, a kockázatok minimalizálása érdekében hatékony monitorozási gyakorlatok és szabályozás bevezetéséről, valamint a modelleltolódáshoz való alkalmazkodásra szolgáló változáskezelési folyamatok fejlesztéséről is szól.
Bár minden működési kiválósági elv vonatkozik az AI-számítási feladatokra, az automatizálást és a monitorozást kell előnyben részesítenie alapvető működési stratégiáiként.
| Tervezési elv | Megfontolások |
|---|---|
| Folyamatos tanulási és kísérletezési gondolkodásmód kialakítása az alkalmazásfejlesztés, az adatkezelés és az AI-modellek kezelése teljes életciklusa során. | A számítási feladatok műveleteinek olyan iparágilag bevált módszerekre kell épülnie, mint a DevOps, a DataOps, az MLOps és a GenAIOps. A műveletek, az alkalmazásfejlesztés és az adatcsoportok közötti korai együttműködés elengedhetetlen az elfogadható modell teljesítményének kölcsönös megértéséhez. Az operatív csapatok minőségi jelzéseket és végrehajtható riasztásokat biztosítanak. Az alkalmazás- és adatcsoportok segítenek a problémák hatékony diagnosztizálásában és megoldásában. |
| Olyan technológiákat válasszon, amelyek minimalizálják az üzemeltetési terheket. | Platformmegoldások kiválasztásakor a szolgáltatásként nyújtott platformot (PaaS) részesítse előnyben a saját üzemeltetésű beállításokkal szemben a tervezés egyszerűsítése, a munkafolyamatok vezénylése automatizálása és a 2. nap műveleteinek megkönnyítése érdekében. |
| Automatikus monitorozási rendszer létrehozása, amely támogatja a riasztási funkciókat, beleértve a naplózást és az auditálást. | Tekintettel az AI nemdeterminista jellegére, fontos, hogy az életciklus korai szakaszában minőségi méréseket hozzunk létre. Az adattudósokkal együttműködve határozza meg a minőségi metrikákat. Folyamatos elemzések megjelenítése átfogó irányítópultokon. A kísérletek nyomon követése olyan eszközökkel, amelyek olyan részleteket rögzíthetnek, mint a kódverziók, a környezetek, a paraméterek, a futtatások és az eredmények. Olyan végrehajtható riasztások implementálása, amelyek elegendő információt biztosítanak ahhoz, hogy az operátorok gyorsan válaszolhassanak. |
| Automatizálja a modellpusztulás észlelését és mérséklését. | Automatizált tesztek használatával értékelje ki az időbeli eltérést. Győződjön meg arról, hogy a monitorozási rendszer riasztásokat küld, amikor a válaszok eltérnek a várt eredményektől, és ezt rendszeresen elkezdi. Olyan eszközöket használjon, amelyek automatikusan felderíthetik és frissíthetik az új modelleket. Szükség esetén alkalmazkodjon az új használati esetekhez az adatfeldolgozás és a modell betanítási logikája módosításával. |
| Biztonságos üzembe helyezéseket valósít meg. | Az állásidő minimalizálása érdekében válasszon a párhuzamos üzemelő példányok vagy a helyszíni frissítések közül. Az üzembe helyezés előtt végezze el az alapos tesztelést, hogy a modell megfelelően legyen konfigurálva, és megfeleljen a céloknak, a felhasználói elvárásoknak és a minőségi szabványoknak. Az üzembe helyezési stratégiától függetlenül mindig tervezze meg a vészhelyzeti műveleteket. |
| Folyamatosan értékelje ki a felhasználói élményt a gyakorlatban. | Engedélyezze a számítási feladatok felhasználóinak, hogy visszajelzést adjanak a felhasználói élményükről. Hozzájárulás kérése a kapcsolódó naplókban folytatott beszélgetések egy részének vagy egészének megosztásához hibaelhárítás céljából. Fontolja meg, hogy a felhasználói interakciók mekkora része életképes, megfelelő, biztonságos és hasznos az adatok rögzítéséhez és szorgalmas felhasználásához, hogy valós felhasználói interakciókkal értékelje ki a számítási feladat teljesítményét. |
Az alábbi tervezési területek részletesen ismertetik az előző alapelveket és szempontokat:
Teljesítménybeli hatékonyság
Az AI-modellek teljesítményértékelésének célja annak meghatározása, hogy egy modell milyen hatékonyan hajtja végre a kívánt feladatokat. Ennek a célnak a megvalósítása a különböző metrikák, például a pontosság, a pontosság és a méltányosság felmérését foglalja magában. Emellett a modellt támogató platform- és alkalmazásösszetevők teljesítménye is kulcsfontosságú.
A modell teljesítményét az olyan műveletek hatékonysága is befolyásolja, mint a kísérletkövetés és az adatfeldolgozás. A teljesítményhatékonyság alapelveinek alkalmazása segít mérni a teljesítményt egy elfogadható minőségi sávon. Ez az összehasonlítás kulcsfontosságú a romlás vagy a bomlás észleléséhez. A számítási feladatok, köztük az AI-összetevők fenntartásához automatizált folyamatokra van szükség a folyamatos monitorozáshoz és kiértékeléshez.
| Tervezési elv | Megfontolások |
|---|---|
| Teljesítménymutatók létrehozása. | Végezzen szigorú teljesítménytesztelést különböző architekturális területeken, és állítson be elfogadható célokat. Ennek a folyamatban lévő értékelésnek az üzemeltetési folyamatok részét kell képeznie, nem pedig egyszeri tesztelésnek. A teljesítménymérés az előrejelzési teljesítményre vonatkozik. Kezdje egy alapkonfigurációval a modell kezdeti teljesítményének megértéséhez és a teljesítmény folyamatos újraértékeléséhez, hogy megfeleljen az elvárásoknak. |
| Értékelje az erőforrás-igényeket a teljesítménycélok elérése érdekében. | A terhelés jellemzőinek megismerése a megfelelő platform és a megfelelő méretű erőforrások kiválasztásához. Vegye figyelembe ezeket az adatokat a kapacitástervezéshez, hogy nagy léptékben működhessen. Használjon például terheléstesztelést az optimális számítási platform és termékváltozat meghatározásához. A modell betanításához és finomhangolásához gyakran nagy teljesítményű GPU-optimalizált számításra van szükség, de az általános célú termékváltozatok vezénylési eszközökhöz is alkalmasak. Hasonlóképpen válasszon egy adatplatformot, amely hatékonyan kezeli az adatbetöltést, kezeli az egyidejű írásokat, és az egyéni írási teljesítményt romlás nélkül tartja fenn. A különböző következtetési kiszolgálók eltérő teljesítményjellemzőkkel rendelkeznek. Ezek a jellemzők hatással vannak a modell futásidejű teljesítményére. Válasszon ki egy olyan kiszolgálót, amely megfelel az alapkonfigurációk elvárásainak. |
| Gyűjtse össze és elemezze a teljesítménymetrikát, és azonosítsa a szűk keresztmetszeteket. |
Értékelje ki az adatfolyam telemetriáját, és győződjön meg arról, hogy az átviteli sebességre és az olvasási/írási műveletekre vonatkozó teljesítménycélok teljesülnek. A keresési index esetében vegye figyelembe az olyan metrikákat, mint a lekérdezés késése, az átviteli sebesség és az eredmények pontossága. Az adatmennyiség növekedésével a hibaarányok nem növekednek. A szolgáltatáshívásokból adatokat gyűjtő kódösszetevőkből, például a vezénylőből származó telemetriai adatok elemzése. Az adatok elemzése segíthet megérteni a helyi feldolgozással és a hálózati hívásokkal töltött időt, és azonosítani a lehetséges késést más összetevőkben. Az elkötelezettségi metrikák használatával értékelje a felhasználói élményt annak megállapításához, hogy a felhasználók aktívan részt vesznek-e, vagy frusztráltak. A lap megnövekedett ideje bármelyiket jelezheti. A multimodális képességek, például a hang- vagy videoválaszok jelentős késést okozhatnak, ami hosszabb válaszidőt eredményezhet. |
| Folyamatosan javítsa a referenciaérték teljesítményét az éles környezetből származó minőségi mérések használatával. | A teljesítménymetrikák, riasztások és modell újratanítások automatizált gyűjtésének és elemzésének implementálása a modell hatékonyságának fenntartása érdekében. |
Az alábbi tervezési területek részletesen ismertetik az előző alapelveket és szempontokat: