A Mozaik AI-átjáró bemutatása
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el.
Ez a cikk a Mozaik AI-átjárót, a Databricks-megoldást ismerteti a támogatott generatív AI-modellekhez való hozzáférés szabályozására és monitorozására, valamint a végpontokat kiszolgáló kapcsolódó modellre.
Mi az a Mozaik AI-átjáró?
A Mozaik AI-átjárót úgy tervezték, hogy leegyszerűsítse a generatív AI-modellek és -ügynökök használatát és felügyeletét egy szervezeten belül. Ez egy központosított szolgáltatás, amely szabályozást, monitorozást és üzemkészséget biztosít a modellek kiszolgálási végpontjaihoz. Emellett lehetővé teszi a mesterséges intelligencia forgalmának futtatását, védelmét és szabályozását, hogy demokratizálja és felgyorsítsa a mesterséges intelligencia alkalmazását az Ön szervezete számára.
Minden adat a Delta-táblákba van naplózva a Unity Catalogkeretében.
Az AI-átjáró adataiból származó elemzések megjelenítéséhez töltse le a példában szereplő AI Gateway-irányítópultot a GitHubról. Ez az irányítópult a használatkövetési és payload naplózási következtetési táblák adatait használja fel.
A JSON-fájl letöltése után importálja az irányítópultot a munkaterületre. Az irányítópultok importálásával kapcsolatos utasításokért lásd : Irányítópultfájl importálása.
támogatott funkciók
Az alábbi táblázat a rendelkezésre álló AI Gateway-funkciókat határozza meg, és azt, hogy melyik végponttípusokat kiszolgáló modell támogatja őket.
| Funkció | Definíció | külső modellvégpont | Foundation Model API-k előre meghatározott teljesítményű végpont | Mozaik AI-ügynökök |
|---|---|---|---|---|
| Engedély- és sebességkorlátozás | Szabályozhatja, hogy ki és mennyi hozzáféréssel rendelkezik. | Támogatott | Támogatott | Nem támogatott |
| Adatcsomag naplózása | A modell API-knak küldött adatok figyelése és naplózása következtetési táblákhasználatával. | Támogatott | Támogatott | Támogatott |
| Használatkövetés | A végpontok és a kapcsolódó költségek működési használatának figyelése rendszertáblákhasználatával. | Támogatott | Támogatott | Nem támogatott |
| AI Biztonsági Korlátok | A kérések és válaszok nem kívánt adatainak és nem biztonságos adatainak megakadályozása. Lásd: AI Védősínek. | Támogatott | Támogatott | Nem támogatott |
| Tartalék megoldások | Az éles üzemkimaradások minimalizálása az üzembe helyezés során és után. | Támogatott | Nem támogatott | Nem támogatott |
| Forgalom felosztása | Terheléselosztás a modellek közötti forgalom között. | Támogatott | Támogatott | Nem támogatott |
A Mosaic AI átjáró költségeket számol fel az engedélyezett funkciók alapján. Az előzetes verzióban ezek a fizetős funkciók közé tartoznak az AI Guardrails, a hasznos adatok naplózása és a használat nyomon követése. Az olyan funkciók, mint a lekérdezési engedélyek, a sebességkorlátozás, a tartalékok és a forgalom felosztása ingyenesek. Az új funkciók díjkötelesek.
Az alábbi táblázat a fizetős AI Gateway funkciókhoz tartozó Databricks egységek (DBU) millió (M) tokenre eső arányát tükrözi. A díjak a Serverless Real-time Inference termékváltozat alatt jelennek meg.
| Funkció | DBU-ráta |
|---|---|
| AI Biztonsági Korlátok | 21 429 DBU/egymillió token |
| Terhelés naplózása | 2,857 DBU millió tokenenként |
| Használatkövetés | 0,571 DBU/M tokenek |
AI Védőkorlátok
Az AI Guardrailek lehetővé teszik a felhasználók számára az adatmegfelelőség konfigurálását és kikényszerítését a végpontszintet kiszolgáló modellen, valamint a mögöttes modellnek küldött kérések káros tartalmának csökkentése érdekében. A rendszer letiltja a hibás kéréseket és válaszokat, és egy alapértelmezett üzenetet ad vissza a felhasználónak. Megtudhatja , hogyan konfigurálhat védőkorlátokat egy végpontot kiszolgáló modellen.
Fontos
Az AI Guardrails moderálási szolgáltatás függ az Alapmodellek API-k zsetononkénti fizetési modelljeitől. Ez a függőség korlátozza az AI Guardrails moderálási szolgáltatás rendelkezésre állását azon régiókra, amelyek támogatják az alapmodell API-kat a tokentalapú fizetést.
Az alábbi táblázat összefoglalja a konfigurálható védőkorlátokat. Lásd korlátozások.
| Védőkorlát | Definíció |
|---|---|
| Biztonsági szűrés | A biztonsági szűrés megakadályozza, hogy a modell ne használjon veszélyes és káros tartalmakat, például erőszakos bűncselekményeket, önkárosítást és gyűlöletbeszédet. Az AI Gateway biztonsági szűrője a Meta Llama 3 használatával készült. A Databricks a Llama Guard 2-8b biztonsági szűrőt használja. A Llama Guard biztonsági szűrőről és a biztonsági szűrőre vonatkozó témakörökről a Meta Llama Guard 2 8B modellkártyáján olvashat bővebben. A Meta Llama 3 licenccel rendelkezik a LLAMA 3 közösségi licenc, Copyright © Meta Platformok, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicencek megfelelőségének biztosításáért. |
| Személyazonosításra alkalmas adatok (PII) észlelése | Az ügyfelek bármilyen bizalmas információt észlelhetnek, például neveket, címeket, hitelkártyaszámokat a felhasználók számára. Ebben a funkcióban az AI Gateway a Presidio használatával észleli a PII következő amerikai kategóriáit: hitelkártyaszámok, e-mail-címek, telefonszámok, bankszámlaszámok és társadalombiztosítási számok. A PII-osztályozó segíthet azonosítani a bizalmas információkat vagy a PII-t strukturált és strukturálatlan adatokban. Mivel azonban automatizált észlelési mechanizmusokat használ, nincs garancia arra, hogy a szolgáltatás minden bizalmas információt megtalál. Következésképpen további rendszereket és védelmet kell alkalmazni. Ezek a besorolási módszerek elsősorban a PII amerikai kategóriáira terjednek ki, például az egyesült államokbeli telefonszámokra és a társadalombiztosítási számokra. |
| Témakörmoderálás | Az engedélyezett témakörök listájának lehetősége. Csevegési kérés esetén ez a védőkorlát jelzi a kérést, ha a témakör nem szerepel az engedélyezett témakörökben. |
| Kulcsszószűrés | Az ügyfelek különböző érvénytelen kulcsszavakat adhatnak meg mind a bemenethez, mind a kimenethez. A kulcsszószűrés egyik lehetséges felhasználási esete, hogy a modell ne beszéljen versenytársakról. Ez a védőkorlát kulcsszó- vagy sztringmegfeleltetést használ annak eldöntéséhez, hogy a kulcsszó szerepel-e a kérés- vagy választartalmakban. |
AI-átjáró használata
Az AI Gateway funkcióit a kiszolgáló felhasználói felületen konfigurálhatja a végpontokat kiszolgáló modellen. Lásd: AI-átjáró konfigurálása a modelleket kiszolgáló végpontokon.
korlátozások
Az előzetes verzióra vonatkozó korlátozások a következők:
- Az AI Gateway csak a következő célokra támogatott:
- Alapmodell API-k előre meghatározott átviteli kapacitású modellkiszolgáló végpontok.
- Olyan modell kiszolgáló végpontok, amelyek külső modelleket szolgálnak ki .
- Modellkiszolgálási végpontok, amelyek a Mozaik AI-ügynököket szolgálják ki.
- Az AI-védőkorlátok használata esetén a kérelem kötegmérete, vagyis a beágyazások kötegmérete, a befejezési köteg mérete vagy a csevegési kérelmek
nparamétere nem haladhatja meg a 16-ot. - Az előirányzott átviteli feladatok esetében csak a ráta korlátozás és az adatcsomag naplózása támogatott az AI Gateway-kompatibilis következtetési táblákat használva.
- Lásd AI-átjáróval kompatibilis következtetéstáblákra vonatkozó korlátozásokat.
- Ha függvényt hív meg, és AI-védőkorlátokat ad meg, a rendszer nem alkalmazza ezeket a védőkorlátokat a függvény kéréseire és köztes válaszaira. A rendszer azonban védőkorlátokat alkalmaz a végső kimeneti válaszra.