AI-kockázatértékelés az ML-mérnökök számára

Az ml-rendszerek biztonságossá tételének kényszerítő okai ellenére a Microsoft 28 vállalkozásra kiterjedő felmérése megállapította, hogy a legtöbb iparági szakembernek még nem sikerült kifognia a támadó gépi tanulást (ML). A 28 vállalkozás közül huszonöt jelezte, hogy nem rendelkezik a megfelelő eszközökkel az ML-rendszerek biztonságossá tételéhez. Sőt, kifejezetten útmutatást keresnek. Megállapítottuk, hogy a felkészülés hiánya nem korlátozódik a kisebb szervezetekre – a Fortune 500 vállalatoktól a kormányokon át a nonprofit szervezetekig terjednek. Az ügyfelek elismerik az AI-rendszerek védelmének szükségességét, de egyszerűen nem tudják, hogyan.

Ez a dokumentum az AI-rendszerek biztonsági helyzetének felmérésére szolgáló első lépés a szervezetek számára. De ahelyett, hogy egy újabb keretrendszert adnánk hozzá a szervezeteknek, megpróbáltuk úgy biztosítani a tartalmat, hogy az illeszkedjen a meglévő hagyományos biztonsági kockázatértékelési keretrendszerekhez.

A dokumentumnak három célja van:

• Átfogó perspektívát biztosít az AI-rendszerek biztonságához. Éles környezetben megvizsgáltuk az AI-rendszer életciklusának minden elemét: az adatgyűjtéstől az adatfeldolgozáson át a modell üzembe helyezéséig. Az AI ellátási láncát, valamint az AI-rendszerek biztonsági mentésével, helyreállításával és vészhelyzeti tervezésével kapcsolatos vezérlőket és szabályzatokat is figyelembe véve.
• Vázolja fel a kritikus AI-eszközökre vonatkozó fenyegetéseket, és útmutatást a biztonságuk érdekében. A mérnökök és a biztonsági szakemberek közvetlen segítése érdekében az AI rendszerépítési folyamatának minden lépésénél számba vesszük a fenyegetési nyilatkozatot. Következő lépésként irányelveket biztosítunk, amelyek átfedik és megerősítik az AI-rendszerek kontextusában meglévő gyakorlatokat.
• Lehetővé teszi a szervezetek számára, hogy AI-biztonsági kockázatértékeléseket végezzenek. A keretrendszer segítségével információkat gyűjthet a szervezet AI-rendszerei aktuális biztonsági állapotáról, elvégezhet réselemzést, és nyomon követheti a biztonsági helyzet előrehaladását.

A microsoftos érdekelt felekkel együtt fogalmaztuk meg az Azure Security, a Felelős AI-stratégia mérnöki, a Microsoft Security Response Center, az Azure Security és az AI, az Etika és az Effektusok a mérnöki és kutatási területen (Aether) képviselőivel együtt.

Bevezetés

Javasoljuk, hogy használja ezt a dokumentumot a folyamatban lévő információbiztonsági erőfeszítésekhez és üzleti célokhoz igazított migrálási rendszerek biztonságossá tételével kapcsolatos vita megkezdéséhez. A dokumentum az AI-rendszerekre és a hagyományos vezérlőkre összpontosít, mivel az AI-rendszerek hagyományos informatikai infrastruktúrára épülnek.

Az AI-rendszerekhez kapcsolódó alábbi területeket tárgyaljuk.

Rendszergazda istrative vezérlők	Leírás
Gépi tanulási biztonsági szabályzatok	A gépi tanulást, a mesterséges intelligenciát és az információbiztonságot szabályozó dokumentált szabályzatokkal kapcsolatos vezérlők és szabályzatok.

Műszaki vezérlők	Leírás
Adatgyűjtés	A gépi tanuláshoz és a mesterséges intelligenciához használt adatok gyűjtésével, tárolásával és besorolásával kapcsolatos vezérlők és szabályzatok.
Adatfeldolgozás	A gépi tanuláshoz és a mesterséges intelligenciához használt adatok feldolgozásával és fejlesztésével kapcsolatos vezérlők és szabályzatok.
Modell betanítása	A modellek tervezésével, betanításával és érvényesítésével kapcsolatos vezérlők és szabályzatok.
Modell üzembe helyezése	A modellek üzembe helyezésével és a támogató infrastruktúrával kapcsolatos vezérlők és szabályzatok.
Rendszerfigyelés	A gépi tanulási rendszerek folyamatos monitorozásával kapcsolatos vezérlők és szabályzatok.
Incidenskezelés	Az AI-rendszerrel kapcsolatos incidensek kezelésével kapcsolatos vezérlők és szabályzatok.
Üzletmenet-folytonosság és vészhelyreállítás	A szellemi tulajdon elvesztésével kapcsolatos vezérlők és szabályzatok modelllopással, szolgáltatáscsökkenéssel vagy más AI-specifikus biztonsági résekkel.

A vezérlők és szabályzatok meglévő keretrendszerét a népszerű ISO27001:2013 szabványból alakítottuk ki, és megfeleltettük az AI-rendszerek létrehozásának folyamatában – az adatgyűjtési fázistól az AI-rendszerek fenyegetéseire való reagálásig. Előfordulhat, hogy a szervezetek a ISO27001:2013-as verzióból implementáltak néhány vagy az összes meglévő vezérlőt, vagy már megfelelnek számos kockázati keretrendszernek (NIST 800-53, PCI-DSS, FedRamp stb.) a meglévő információbiztonsági erőfeszítések részeként.

Ha nem sikerül megfelelően biztonságossá tenni az AI-rendszereket, az nemcsak az ebben az értékelésben tárgyalt AI-rendszerekre, hanem általában a teljes informatikai és megfelelőségi környezetre is kockázatot jelent.

A dokumentum célja nem az, hogy a meglévő erőfeszítések egyikét sem cserélje le , hanem az AI-rendszerek biztonságossá tételét a meglévő eszközök és keretrendszerek kiépítési pontjáról, és kiterjeszti az AI-létrehozási folyamat minden részére.

Az itt felsorolt útmutató nem ír előle, mivel ehhez több kontextusra lenne szükség, például az alapul szolgáló platformra, a mögöttes adattípusra és az algoritmus kiválasztására. Ha Ön Azure Machine-Tanulás ügyfél, tekintse meg az Enterprise biztonsági és szabályozási cikkét.

Javasolt súlyosság, valószínűség, hatás

Nem minden vezérlő kritikus fontosságú az AI-rendszerek biztonsága szempontjából. Ezért a munka megfelelő rangsorolása érdekében minden kontrollt a szervezetnek olyan súlyossági minősítéssel kell minősítenie, amely releváns az adott ellenőrzés bevezetésének üzleti hatásai szempontjából. A szervezetek dönthetnek úgy, hogy elfogadják a kritikus vezérlők kockázatát, és ehelyett egy kompenzáló vezérlőt implementálnak a kockázat csökkentése érdekében. Végső soron ezek a minősítések segítenek a kockázatalapú döntéshozatalban, nem pedig a tevékenységek előírásában.

Súlyosság

A biztonsági rés súlyossága az AI-modell használati esetétől függ. Szerencsére, ha a használt adatok vagy rendszerek kritikus fontosságúak a gépi tanulás integrálása előtt, az nem változik. Hasonlóképpen, ha a használt modell "le van kapcsolva a polcról" más bemenet nélkül, attól függően, hogy milyen környezetben használja a modellt, a biztonsági rés súlyossága valószínűleg alacsonyabb. Az olyan technikák, mint a különbségi adatvédelem, csökkenthetik a kompromisszum lehetséges hatásait. Ez a környezet azonban nem csökkentené a rendszer, az adatok vagy a modell kritikusságát. Javasoljuk, hogy a modelleket ahelyett, hogy egyetlen védelmi implementációra támaszkodnánk, egy részletes védelmi stratégiával kell védeni.

Javasolt súlyossági szint

Kritikusként javasolt

• Ha az AI-modell be van tanítva bizalmas személyes adatokra, minősített adatokra vagy megfelelőségi követelmények által szabályozott adatokra, például PCI-n, HIPAA-n, GLBA-n stb.
• Ha az AI-modellt üzleti szempontból kritikus alkalmazásokban vagy rendszerekben használják, akkor a biztonsági rés nagy negatív hatással lenne az üzleti műveletekre
• Ha az AI-modellt olyan alkalmazásokban használják, ahol a fizikai sérülés vagy a halál lehetséges kimenetele
• Ha az AI-modellt olyan rendszerben használják, amely támogatja a kritikus infrastruktúrát (például víz, energia, állapot)

Javasolt magas

• Ha az AI-modell be van tanítva bizalmas személyes adatokra, bizalmas adatokra vagy olyan adatokra, amelyeket a szervezet egyébként kritikus fontosságúnak tart,
• Ha ennek az AI-modellnek a biztonsága nagy, de hatókörön belüli hatással lenne az üzleti műveletekre
• Ha az AI-modellt üzleti szempontból kritikus alkalmazásokban vagy rendszerekben használják

Közepesként javasolt

• Ha az AI-modell be van tanítva a bizalmas adattípusokat tartalmazó betanítási adatok egy részhalmazára
• Ha ennek az AI-modellnek a veszélyeztetése hatással lenne az éles környezetben üzembe helyezett modellekre
• Ha az AI-modellt nem kritikus, de üzleti alkalmazásokban használják
• Ha az AI-modellt nem éles környezetben használják, de rendelkezik az éles modellekkel kapcsolatos információkkal

Alacsonyként javasolt

• Ha az AI-modell be van tanítva az éles környezetben nem használt adatokra
• Ha az AI-modellt nem használják éles környezetben, és nem rendelkeznek az éles modellekkel kapcsolatos információkkal

Javasolt információként

• Ha az adatok besorolatlanok egy ellenőrzött forrásból
• Ha az AI-modellt nem használják éles környezetben

Valószínűsége

A valószínűsége két fő összetevő, a modell rendelkezésre állása és a technikák rendelkezésre állása. A támadások valószínűségének csökkentése érdekében a szervezetnek olyan vezérlőket kell implementálnia, amelyek:

1. Távolítsa el a támadási felületet, vagy megnehezítse a támadási felület számbavételét.
2. Győződjön meg arról, hogy a naplózás és a riasztások megfelelően működnek a problémák gyors megoldása érdekében.
3. Győződjön meg arról, hogy az összes támogató rendszer naprakész a biztonsági követelményekkel.

A vezérlők lehetnek például végpontok, hálózati szegmentálás vagy sebességkorlátozás. Különös figyelmet kell fordítani a forgalmi folyamatokra, valamint a hálózati vagy folyamatdiagramokra, például a támadók kompromittáló és külső elérésű végpontjaira, valamint a folyamaton keresztüli visszafelé történő munkavégzésre.

Hatás

A hatás a szervezetre gyakorolt hatásokkal kapcsolatos. Javasoljuk, hogy először ismerkedjen meg az ML-rendszerek támadásának különböző módjaival, és fontolja meg, hogy az éles modellek milyen hatással lehetnek a szervezetre. További információt a Gépi Tanulás hibamódjai című cikkben talál. A megismerés befejezése után egy súlyossági mátrixra lehet leképezni.

Súlyossági mátrix

Az alábbi táblázat egy alapszintű kockázati és biztonságirés-súlyossági mátrix a szervezetek elindításához. Javasoljuk, hogy a biztonsági tervezők, a gépi tanulási mérnökök és az AI vörös csapattagjai összehívásával töltsön fel hasonló kategorizálást.

Támadás típusa	Valószínűsége	Hatás	Kihasználhatóság
Kitermelés	Magas	Alacsony	Magas
Adócsalás	Magas	Közepes	Magas
Következtetés	Közepes	Közepes	Közepes
Inverzió	Közepes	Magas	Közepes
Mérgezés	Alacsony	Magas	Alacsony

"A biztonságos AI tervezése és fejlesztése a BCG mi-termékfejlesztésének sarokköve. Ahogy egyre nyilvánvalóbbá válik az AI-rendszerek védelmének társadalmi szükségessége, az olyan eszközök, mint a Microsoft AI biztonsági kockázatkezelési keretrendszere, alapvető hozzájárulások lehetnek. Már implementáljuk az ebben a keretrendszerben található ajánlott eljárásokat az ügyfeleink számára fejlesztett AI-rendszerekben, és izgatottak vagyunk, hogy a Microsoft kifejlesztette és nyílt forráskód ezt a keretrendszert az egész iparág számára." – Jack Molloy, vezető biztonsági mérnök, Boston Consulting Group

Alapszintű használat

A dokumentum többi része a következő struktúrát követi:

• A kockázatkezelési vezérlők leírást tartalmaznak annak a területnek a leírásáról, amelyre a vezérlő kiterjed.
• Az irányítás célja , és hogy mit kell elérnie.
• Egy fenyegetésre vonatkozó utasítás , amely ismerteti a mérsékelendő kockázatokat.
• Útmutató vezérlők implementálására. Tisztában vagyunk azzal, hogy nem minden útmutatás valósítható meg jogos üzleti okokból. Javasoljuk, hogy dokumentáljon olyan útmutatást, amely nem implementálható.

Az alábbi táblázat egy, az AI-rendszerek kockázatértékeléséből lekért vezérlő, amely a kockázati kategóriák struktúrájának egyes részeinek leírására tartalmaz megjegyzéseket.

Példa vezérlőelem

A cikk olvasása

1. Adatgyűjtés

Elsődleges kategória

A gépi tanuláshoz és a mesterséges intelligenciához használt összes forrásból származó adatok gyűjtésére és tárolására vonatkozó vezérlők és szabályzatok.

Leírja, hogy a kategória mely vezérlői fedik le a magas szintű beállításokat.

2. Adatforrások

Vezérlőkategória

Célkitűzés: A betanított modellekhez használt összegyűjtött adatok integritásának biztosítása.

A vezérlőkkel mérsékelendő kockázatnak kell ismertetnie.

Fenyegetési utasítás: Az adatok olyan nem megbízható forrásokból származnak, amelyek bizalmas személyes adatokat tartalmazhatnak, egyéb nemkívánatos adatok, amelyek befolyásolhatják a modell biztonságát, vagy megfelelőségi kockázatokat jelenthetnek a szervezet számára.

Egy utasítás, amely leírja az ellenőrzés nem implementálásának eredményét.

Vezérlés: Megbízható forrásokból kell adatokat gyűjteni. A megbízható források listáját meg kell őrizni és frissíteni kell. Jóváhagyások nem megbízható adatok gyűjtését eseti alapon kell figyelembe venni.

A vezérlő ajánlott eljárásait leíró konkrét részletesség.

Útmutató:

1. Minden ésszerű erőfeszítést meg kell tenni annak érdekében, hogy az adatok megbízhatók legyenek a modell betanítása előtt. A nem megbízható vagy ismeretlen adatok biztonsági réseket okozhatnak a folyamat későbbi részében.
2. Azokat az adatokat, amelyek bizalmas személyes adatokat tartalmaznak, akár adatelemzési célra, akár más módon használják, meg kell tisztítani vagy tárolni, és megfelelő módon kell hozzáférni.
3. Az adatok kontextusának megfontolás nélküli gyűjtése olyan adathalmazokat eredményezhet, amelyek illegális adatokat tartalmaznak. Az adatgyűjtési erőfeszítéseknek szem előtt kell tartaniuk a szerzői jog által védett anyagokat, az adatszivárgásokat, az adatok véletlen kiszivárgását okozó nem biztonságos végpontokat.

Az útmutató a fenti feltételek teljesítésére vonatkozó javaslatok. Termék- és szállítói agnosztikus módon biztosítjuk számukra, hogy teret biztosítsunk a szervezeteknek a probléma megoldásához, a számukra érthető módon.

Gépi tanulás biztonsági felmérése

Az első lépések előtt

Ennek az értékelésnek az a célja, hogy segítse a szervezeteket az AI-rendszerek által bevezetett üzleti műveletek kockázatainak megismerésében, nyomon követésében és elhárításában. Ezt az értékelést a következő célra kell használni:

1. Információkat gyűjthet a szervezeten belüli AI-biztonság aktuális állapotáról.
2. Végezzen hiányelemzést, és készítsen ütemtervet a javaslatok végrehajtásához.
3. A biztonsági fejlődés nyomon követéséhez végezze el ezt az értékelést évente vagy kétévente.

Ha egy szervezetnek nincs biztonsági programja, nem ez az értékelés a kiindulópont. A szervezetnek rendelkeznie kell egy működő információbiztonsági programmal, mielőtt ajánlásokat vezetne be ebben az értékelésben. További információkért tekintse meg az Azure biztonsági útmutatóját a felhőadaptálási keretrendszer.

Adatgyűjtés

A gépi tanuláshoz és a mesterséges intelligenciához használt összes forrásból származó adatok gyűjtésére és tárolására vonatkozó vezérlők és szabályzatok.

Célkitűzés: Az AI-rendszerekben gyűjtött adatok integritásának biztosítása.

Adatforrások

Vezérlés: Megbízható forrásokból kell adatokat gyűjteni. A megbízható források listáját meg kell őrizni és frissíteni kell. A nem megbízható adatok gyűjtésére vonatkozó felügyeleti jóváhagyásokat eseti alapon kell figyelembe venni. Ha nem megbízható forrást hagytak jóvá, dokumentálni kell.

Fenyegetési utasítás: Az adatok olyan nem megbízható forrásokból származnak, amelyek bizalmas személyes adatokat, más nemkívánatos adatokat tartalmazhatnak, amelyek befolyásolhatják a modell teljesítményét, vagy megfelelőségi kockázatokat jelenthetnek a szervezet számára.

Útmutató:

1. A bemeneti adatokat a felügyeleti jóváhagyással kell ellenőrizni és megbízhatóvá tenni az AI-rendszerben való használat előtt.
2. Az AI-rendszerekhez gyűjtött adatokat használat vagy tárolás előtt felül kell vizsgálni.
3. Szükség esetén az összegyűjtött adatokat meg kell tisztítani a nemkívánatos bejegyzésekről.
4. Az adatok forrását dokumentálni kell, és az adatokkal együtt kell tárolni.
5. A modellek betanításához használt következtetési adatok nem lehetnek implicit módon megbízhatók, és új adatokként kell kezelni őket.
6. Az adatgyűjtési erőfeszítéseket dokumentálni és naplózni kell. Az összegyűjtött adatoknak rendelkezniük kell egy tulajdonosával, aki felelős a dokumentált szabályzatok betartásáért.

Bizalmas adattípusok

Vezérlés: Annak biztosítása, hogy az AI-rendszerek tárolt adatai megfelelően védettek, nyomon követhetők és a bizalmassági és használati esetnek megfelelően legyenek besorolva. Ez a vezérlő tartalmazza a megfelelő adatbesorolási címkéket, a hozzáférési szabályzatokat, a licencinformációkat, a leíró statisztikákat, a forrást és a gyűjtés dátumát.

Veszélyforrásokra vonatkozó utasítás: Az AI-rendszerekben használt adatokat a rendszer a szükséges attribútumok, metaadatok vagy dokumentáció hiánya miatt nem megfelelő módon használja, tárolja vagy éri el.

Útmutató:

1. Olyan adatházirend kialakítása, amely magában foglalja a bizalmas adattípusok védelmét és védelmét, és a szabályzatot az AI-rendszerek használatával vagy létrehozásával foglalkozó összes munkatárssal közli.
2. Olyan betanítási és üzembehelyezési folyamatokat valósít meg, amelyek védik az AI-rendszerekben használt adatok bizalmasságát és integritását.

Adattárolás

Vezérlés: Az adatokat dokumentált besorolási folyamatnak megfelelően kell tárolni. Az adathalmazokat indexelni kell, és olyan eszköznek kell tekinteni, amelyre eszközkezelési és hozzáférés-vezérlési szabályzatok vonatkoznak.

Fenyegetési nyilatkozat: Az adatok tárolása nem biztonságos, és illetéktelen felek vagy rendszerek módosíthatják vagy módosíthatják őket. Az adatok nincsenek megfelelően besorolva, ami bizalmas információk vagy bizalmas személyes adatok felfedéséhez vezet.

Útmutató

1. Győződjön meg arról, hogy a fejlesztési vagy AI-kutatási rendszerek vagy fiókok nem férnek hozzá az éles adatbázisokhoz, és fordítva.
2. Az AI-rendszerekben használt adatokat dokumentált besorolási szabályzat szerint kell besorolni és védeni.
3. Az AI-rendszerekben használt adatokat egy dokumentált eszközkezelési szabályzat követi nyomon.
4. A bizalmas AI-használati esetekhez használt adatok jóváhagyott és felügyelt rendszereken vannak tárolva.
5. Az adatokhoz való hozzáférést naplózni kell, és a hozzáférést kérő felhasználóknak egy hivatalos hozzáférés-vezérlési folyamaton kell keresztülmennie, amely magában foglalja a felügyeleti jóváhagyást is.
6. A gépi tanulási folyamatokban használt adatokat nem szabad az interneten keresztül elérhetővé tenni.
7. Az internetről (vagy más nem megbízható forrásokból) lekért adatoknak a felügyeleti jóváhagyást is tartalmazó szűrési folyamaton kell keresztülmennie.
8. Az adathalmazokat formális változásvezérlési folyamatokkal kell verziószámba venni.

Az adatok elérése

Vezérlés: Az adathalmazokat a használat előtt titkosítási kivonattal kell megfelelően nyomon követni és ellenőrizni.

Fenyegetési utasítás: Az adathalmazok engedély nélkül módosulnak.

Útmutató:

1. Az adathalmazok szerepköralapú hozzáférés-vezérlését kötelező megadni.
2. Rendszeres hozzáférési naplózásokat hajthat végre annak biztosítása érdekében, hogy az adathalmazokhoz hozzáféréssel rendelkező fiókok hozzáférhessenek az adathalmazokhoz. Győződjön meg arról, hogy minden fiók normál határokon belül működik.
3. Ha nem használ központi nyomkövetési platformot, a nyers hozzáférési naplókon keresztüli adatokhoz való hozzáférést a cél érdekében felül kell vizsgálni. Győződjön meg arról, hogy minden fiók normál határokon belül működik.
4. Harmadik féltől származó erőforrás-szolgáltatóknak, alvállalkozóknak vagy más külső feleknek nem szabad túlzott vagy nem megfelelő hozzáféréssel rendelkezniük a vállalat betanított/tesztelt adategységeihez szerződés nélkül.

Adatintegritás

Vezérlés: Az adathalmazokat megbízhatónak kell lenniük, és az AI-rendszer teljes életciklusa során megbízhatónak kell maradniuk.

Fenyegetési utasítás: Az adathalmazok az AI életciklusa során módosulnak, és nem képesek a változások naplózására vagy nyomon követésére.

Útmutató:

1. Az adathalmazokat egyedileg kell azonosítani, hogy a jóváhagyott adathalmazok jogosulatlan módosítása az adathalmaz felülvizsgálatát eredményezné.
2. Az adathalmazokat és azok titkosítási leírását egy központi helyen kell nyomon követni. Az adathalmazhoz való hozzáférést naplózni kell.
3. Az adathalmaz módosításainak tartalmazniuk kell egy frissített titkosítási leírást és felügyeleti jóváhagyást, mielőtt elküldené őket a központi nyomkövetési szolgáltatásnak.

Adatfeldolgozás

A gépi tanuláshoz és a mesterséges intelligenciához használt adatok feldolgozásával kapcsolatos vezérlők és szabályzatok.

Célkitűzés: Az adatok biztonságos feldolgozásának biztosítása a nyers formában egy betanításra kész köztes űrlapra.

Folyamatok feldolgozása

Vezérlés: A feldolgozási folyamatokat megfelelően védeni kell.

Veszélyforrásokra vonatkozó utasítás: A fenyegetéselektorok az adatfeldolgozási folyamatok módosításával jogosulatlan módosításokat végezhetnek a rendszeren.

Útmutató:

1. Nem minden, éles rendszeren áthaladó adat releváns az adatelemzési erőfeszítések szempontjából. Fontos, hogy csak a szükséges adatokat elemezje, és gondoskodjon arról, hogy a biztonságos éles környezetből a fejlesztési beállításokba áthelyezett összes adat megfelelően nyomon legyen követve. Vegye figyelembe, hogy bizonyos adattípusok nem helyezhetők át fejlesztési környezetbe. Előfordulhat, hogy az adatelemzésnek biztonságos köztes környezetben kell történnie.
2. Fontos az adathozzáférés megfelelő naplózása az adatfeldolgozási életciklus során. Külön fiókok nélkül nem lehet megfelelő naplózást biztosítani a hozzáféréshez. Emellett az incidensekre való reagálás lehetősége nem lehetséges anélkül, hogy az üzleti folyamatokat érintené. Egyetlen fiók feltörése az összes adat biztonságos éles környezetből való elhagyását eredményezné.
3. Az adatelemzési folyamatokhoz szigorú megfelelőségi határon kívül eső erőforrásokra lehet szükség.
4. Az adatelemzési folyamatoknak mindig meg kell felelniük a meglévő követelményeknek. Ez a folyamat magában foglalhatja az adatelemzési erőforrások és folyamatok megfelelő környezetbe való áthelyezését.
5. Az adatokat a teljes életciklusán keresztül kell nyomon követni; ez a nyomon követés nagyobb adathalmazok részhalmazait tartalmazza. Meg kell követelni, hogy a modell visszakövethető legyen a betanított adatokra. Ezenkívül az adatok másolatának teljes egészében léteznie kell.

Adathalmaz-apertúra

Vezérlés: Annak biztosítása, hogy a modellépítéshez tartozó adatok részhalmazai (például időbeli, kategorikus szeletek) milyen biztonsági kockázatokat okozhatnak (adatszivárgás, mérgezés/integritás a visszajelzések túlemfázásával stb.).

Fenyegetésmegállapítás: A fenyegetéselosztó az adatok egyes részeit az adatok részhalmazainak rekonstruálásával/helyreállításával tudja helyreállítani.

Útmutató:

1. Az adatok részhalmazai maguk az adathalmazok. Ezeknek az alhalmazoknak ugyanazokat a metaadatokat kell csatolniuk hozzájuk, mint a szülőadatkészlethez, és a bizalmas adattípusok esetében is hasonlóan kell áttekinteni őket.
2. A gépi tanulási eljárásokra (SLA-kra, torzítási metrikákra stb.) vonatkozó szabályzatoktól függően minden adott adatkészletnek (beleértve az alhalmazokat is) meg kell felelnie a metrikákat körülvevő minimálisan dokumentált szabványnak, ha a modellépítésben kell használni őket. A metaadatokat mindig az adathalmazhoz kell csatolni.
3. A meglévő szabályzatokat megsértő adathalmazoknak dokumentált kivételt kell jóváhagynia a felügyelet által. A kivételnek a szükséges metaadatokon kívül dokumentált oka is lehet.
4. A modellkészítéshez használt összes adatot egy központi helyen kell nyomon követni. Az adatoknak bármikor naplózhatóknak kell lenniük. Emellett a nem követett adatokra betanított modelleket le kell vonni az éles környezetből, amíg egy ismert adatkészlettel nem egyeznek meg a szükséges metaadatokkal.
5. Az adathalmazokat megfelelően kell verziószámba venni, hogy az összes metaadat frissüljön, és az adatok felhasználói megértsék a tartalmat és a statisztikai tulajdonságokat. Szükség esetén a bizalmas használati esetek felügyeleti jóváhagyására van szükség.

A modell betanítása

A modellek és algoritmusok betanításával kapcsolatos vezérlők és szabályzatok.

Modellterv

Vezérlés: A modell betanítási kódját egy felelős fél tekinti át.

Fenyegetési utasítás: A modellkód nem megfelelő kódjai vagy biztonsági rései rendelkezésre állási, integritási vagy bizalmassági kockázatot jelentenek.

Útmutató:

1. A modelltervezésnek és a kutatásnak a megfelelő környezetben kell történnie. A modelltervezés és -architektúra nagy hatással lehet a modell hatékonyságára. Az éles környezetek nem a kutatás helye, vagy nem bizonyítható állítások tesztelése a tervezés hatékonyságáról.
2. Az éles rendszerek modellválasztását a vezetőségnek felül kell vizsgálnia és jóvá kell hagynia. Ezt a folyamatot a fejlesztési fázis korai szakaszában kell elvégezni, és minden elérhető mechanizmuson (Excel, DevOps, Git stb.) nyomon kell követni. A kivételeket dokumentálni kell.
3. A modellek gyakran tartományspecifikusak, és megfelelő dokumentációval kell rendelkeznie a modellnek a szervezeten belüli használata során.
4. Győződjön meg arról, hogy a modell metaadatai elérhetők a felhasználók számára, és a modellek nem jóváhagyott felhasználási módjai dokumentálva és kényszerítve vannak. A felhasználó számára elfogadható egy meglévő modell finomhangolása, amíg az új metaadatok megfelelően vannak csatolva és nyomon követve.

A modell betanítása

Vezérlés: A modell kiválasztási kritériuma (metrika- és visszatartási halmazok) a természetes eltolódást és az üzembe helyezéskor várható esetleges adversariális feltételeket utánozza.

Fenyegetésmegjelenés: Az ideális körülmények között betanított modellek valószínűleg törékenyek lesznek a támadói beállításokban való üzembe helyezéskor.

Útmutató

1. A betanítási és érvényesítési csoportoknak tiszteletben kell tartaniuk a természetes időbeli függőségeket. A kártevőosztályozók esetében például az érvényesítési csoportnak csak a betanítási készletben szereplő szoftververziókat kell tartalmaznia.
2. Explicit módon adja hozzá a modell robusztusságát az adathalmazok olyan gyakori sérülésekkel való kiegészítésével, amelyek ésszerűen felderíthetők a vadonban.
3. Explicit módon tanítsd be a legrosszabb esetben adversarial újratanítással.
4. Kísérletek és kapcsolódó meta követése.

A modell kiválasztása

A modell kiválasztása egy modell kiválasztásából áll egy jelöltkészletből, ahol minden jelölt egyedi modellparaméterekkel, betanítási algoritmussal és betanítási hiperparaméterekkel rendelkezik. A nyertes modell kiválasztási kritériuma gyakran egyetlen számszerűsíthető metrika (például minimális veszteség, maximális észlelési sebesség) alapján történik, amelyet egy közös visszatartási adatkészleten mérnek, vagy egy K-fold érvényesítési csoport átlaga alapján.

Vezérlés: A modelltervezési és betanítási algoritmus explicit vagy implicit modellszabályozást is tartalmaz.

Fenyegetési utasítás: A modellek túl alkalmasak egy betanítási és/vagy egyetlen érvényesítési adatkészletre, és sebezhetőbbek a meghibásodási módokkal szemben.

Útmutató:

1. Ahol számítással megvalósítható, a K-szeres keresztérvényesítést kell használni az egyetlen visszatartási készlet túlillesztésének megakadályozására.
2. Ellenőrizze, hogy a kiválasztott modellek jól teljesítenek-e a különböző visszatartott készleteken, és ellenőrizze, hogy nem lettek-e túlképzve.
3. Győződjön meg arról, hogy léteznek folyamatok.

Modell verziószámozása

Vezérlés: A modelleket folyamatosan újratanítjuk, amint az új betanítási adatok betanítási folyamatokba kerülnek.

Veszélyforrás-állítás: Incidens történik, de az érintett modell nem található vizsgálat céljából.

Útmutató:

1. Olyan verziómodellek, amelyek minden betanításakor új verzióhoz vannak rendelve. Az olyan minősítőket, mint a my_model_dev_1.1 vagy a my_model_prod_1.1, a termelést az előgyártási modellekből kell lehatározni. Ez a verziószámozás segít elkülöníteni a problémákat egy éles vagy egy gyártás előtti problémától. Hivatkozzon a meglévő biztonságos SDL-folyamatokra vagy szabályzatokra.

Modell üzembe helyezése

Modellek, algoritmusok és támogató infrastruktúra üzembe helyezésével kapcsolatos vezérlők és szabályzatok.

Biztonsági tesztelés

Vezérlés: Az éles környezetbe helyezett modellek megfelelően védettek.

Fenyegetésmegjelenés: Az AI-rendszerek nem tesztelik megfelelően a biztonsági réseket az üzembe helyezés előtt.

Útmutató:

1. A formális elfogadási tesztelési feltételek nem lettek meghatározva és dokumentálva az új AI-rendszerekhez, frissítésekhez és új verziókhoz.
2. Az új AI-rendszereket, frissítéseket vagy új verziókat formális teszteléssel kell implementálni.
3. Automatizált eszközöket kell használni az információs rendszerek, frissítések vagy új verziók teszteléséhez.
4. A tesztkörnyezetnek szorosan hasonlítania kell a végső éles környezethez.
5. A független biztonsági felülvizsgálatok gyakoriságát, hatókörét és metódusait dokumentálni kell.

Biztonsági és megfelelőségi felülvizsgálat

Vezérlés: Az alapul szolgáló hálózat robusztus kezelése kulcsfontosságú az ML-rendszer és az infrastruktúra biztonságossá tételéhez.

Veszélyforrás-állítás: Az ML-rendszer biztonsága a nem biztonságos hálózathoz való hozzáféréssel.

Útmutató:

1. Az ml-rendszerek átjáróeszközeit úgy kell konfigurálni, hogy szűrjék a tartományok közötti forgalmat, és blokkolják a jogosulatlan hozzáférést.
2. A vonatkozó törvényi, szabályozási és szerződéses követelményeket explicit módon kell meghatározni és dokumentálni, és kezelni kell, az egyedi ellenőrzések és egyéni felelősségek mellett.
3. A biztonságos konfigurációs irányelveket dokumentálni, implementálni vagy felülvizsgálni is kell.
4. Az ML-hálózatok tartományokra való elkülönítésének kritériumának összhangban kell lennie a szervezet hozzáférés-vezérlési szabályzatával vagy hozzáférési követelményeivel.
5. Az olyan mechanizmusokat, mint a biztonságos átjáró, a VPN, az ml-rendszerek útválasztása, kellőképpen kell implementálni ahhoz, hogy lehetővé váljon az engedélyezett vezérlők készlete.
6. A felhasználók és a gépi tanulási mérnököknek alkalmazniuk kell vagy be kell tartaniuk a vezérlők végrehajtására vonatkozó követelményeket a nyilvánosan elérhető rendszerek, belső hálózatok és kritikus fontosságú eszközök megfelelő elkülönítése és használatának korlátozása érdekében.

Rendszerfigyelés

A gépi tanulási rendszerek folyamatos monitorozásával és a támogató infrastruktúrával kapcsolatos ellenőrzések és szabályzatok.

Naplók és naplók áttekintése

Vezérlés: A naplózás és a monitorozás biztonsági okokból létfontosságú az ML-rendszerek számára.

Fenyegetési utasítás: A vizsgálat során az ML-rendszerek naplói nem találhatók.

Útmutató:

1. A naplózásnak és a monitorozásnak következetesen kell történnie az összes AI-rendszerben és azok összetevőiben, beleértve a tárolást, a folyamatokat, az éles kiszolgálókat stb.
2. Az esemény- és biztonsági naplókat rendszeresen felül kell vizsgálni rendellenes viselkedés miatt.
3. A rendszertevékenységekre vonatkozó összesített jelentéseket és riasztásokat a vezetőségnek vagy egy biztonsági képviselőnek kell létrehoznia és áttekintenie.

Incidenskezelés

Szerepkörök és felelősségi körök

Vezérlés: A biztonsági naplókat központi helyen kell gyűjteni.

Fenyegetési nyilatkozat: A vizsgálat során a biztonsági elemzők nem rendelkeznek formalizált forgatókönyvvel.

Útmutató:

1. A szervezeteknek hivatalos eljárást kell követniük az AI rendszerekkel kapcsolatos incidensek jelentéséhez a szolgáltatás elvesztése, a berendezések elvesztése, a létesítmények elvesztése, a rendszer meghibásodása, a rendszer túlterhelése, az emberi hibák, a szabályzatokkal vagy irányelvekkel való meg nem felelés, a fizikai biztonság megsértésének, a rendszer nem ellenőrzött változásainak, a szoftverhibáknak, a hardverhibáknak és a hozzáférés megsértésének összefüggésében.
2. A hivatalos incidenskezelési és eszkalációs eljárásokat úgy kell kialakítani, hogy dokumentálni lehessen az információbiztonsági eseményről szóló jelentés kézhezvételét követően végrehajtott műveleteket.
3. Az incidenskezelési eljárásokat rendszeres időközönként kell tesztelni, követve a válaszmetrikákat.

Üzletmenet-folytonosság tervezése

Tervezés, felülvizsgálat és eredmények

Vezérlés: Győződjön meg arról, hogy az ml-rendszerek szervizelhetők és helyreállíthatók egy incidens után.

Veszélyforrás-nyilatkozat: Az incidensek állandó titoktartási, integritási vagy rendelkezésre állási problémákat okoznak a kritikus ml-rendszerekben.

Útmutató:

1. A kritikus AI-eszközöket azonosítani és leltárba venni kell.
2. A szervezetnek üzletmenet-folytonossági tervet (BCP) vagy vészhelyreállítási (DR) folyamatot kell kidolgoznia az AI-rendszerek elleni támadások esetén.
3. A szervezetnek azonosítania kell a kritikus AI-rendszerek támadásokra való elvesztésével járó kockázatokat.
4. A szervezeteknek olyan üzletmenet-folytonossági teszttel kell rendelkezniük, amely a kritikus AI-rendszerek esetében ismétlődő ütemezés szerint működik.

Hivatkozások

• ISO 27001 A. melléklet vezérlők – Áttekintés (isms.online)
• A PCI Biztonsági Szabványok Tanácsának hivatalos webhelye
• Hibamódok a gépi Tanulás
• Fenyegetésmodellezés AI-/ML-rendszerek és -függőségek
• AI-/ML-kimutatások a biztonsági fejlesztési életciklus hibasávjához
• Vállalati biztonság és irányítás

Ha kérdése, megjegyzése vagy visszajelzése van, lépjen kapcsolatba a szolgáltatásban atml@microsoft.com.

Töltse le a dokumentum PDF-címét a GitHub-adattárból.