Megosztás a következőn keresztül:


A Mozaik AI-átjáró bemutatása

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

Ez a cikk a Mozaik AI-átjárót, a Databricks-megoldást ismerteti a támogatott generatív AI-modellekhez való hozzáférés szabályozására és monitorozására, valamint a végpontokat kiszolgáló kapcsolódó modellre.

Mi az a Mozaik AI-átjáró?

A Mozaik AI-átjárót úgy tervezték, hogy leegyszerűsítse a generatív AI-modellek és -ügynökök használatát és felügyeletét egy szervezeten belül. Ez egy központosított szolgáltatás, amely szabályozást, monitorozást és üzemkészséget biztosít a modellek kiszolgálási végpontjaihoz. Emellett lehetővé teszi a mesterséges intelligencia forgalmának futtatását, védelmét és szabályozását, hogy demokratizálja és felgyorsítsa a mesterséges intelligencia alkalmazását az Ön szervezete számára.

Minden adat a Delta-táblákba van naplózva a Unity Catalogkeretében.

Az AI-átjáró adataiból származó elemzések megjelenítéséhez töltse le a példában szereplő AI Gateway-irányítópultot a GitHubról. Ez az irányítópult a használatkövetési és payload naplózási következtetési táblák adatait használja fel.

A JSON-fájl letöltése után importálja az irányítópultot a munkaterületre. Az irányítópultok importálásával kapcsolatos utasításokért lásd : Irányítópultfájl importálása.

támogatott funkciók

Az alábbi táblázat a rendelkezésre álló AI Gateway-funkciókat határozza meg, és azt, hogy melyik végponttípusokat kiszolgáló modell támogatja őket.

Funkció Definíció külső modellvégpont Foundation Model API-k előre meghatározott teljesítményű végpont Mozaik AI-ügynökök
Engedély- és sebességkorlátozás Szabályozhatja, hogy ki és mennyi hozzáféréssel rendelkezik. Támogatott Támogatott Nem támogatott
Adatcsomag naplózása A modell API-knak küldött adatok figyelése és naplózása következtetési táblákhasználatával. Támogatott Támogatott Támogatott
Használatkövetés A végpontok és a kapcsolódó költségek működési használatának figyelése rendszertáblákhasználatával. Támogatott Támogatott Nem támogatott
AI Biztonsági Korlátok A kérések és válaszok nem kívánt adatainak és nem biztonságos adatainak megakadályozása. Lásd: AI Védősínek. Támogatott Támogatott Nem támogatott
Tartalék megoldások Az éles üzemkimaradások minimalizálása az üzembe helyezés során és után. Támogatott Nem támogatott Nem támogatott
Forgalom felosztása Terheléselosztás a modellek közötti forgalom között. Támogatott Támogatott Nem támogatott

A Mosaic AI átjáró költségeket számol fel az engedélyezett funkciók alapján. Az előzetes verzióban ezek a fizetős funkciók közé tartoznak az AI Guardrails, a hasznos adatok naplózása és a használat nyomon követése. Az olyan funkciók, mint a lekérdezési engedélyek, a sebességkorlátozás, a tartalékok és a forgalom felosztása ingyenesek. Az új funkciók díjkötelesek.

Az alábbi táblázat a fizetős AI Gateway funkciókhoz tartozó Databricks egységek (DBU) millió (M) tokenre eső arányát tükrözi. A díjak a Serverless Real-time Inference termékváltozat alatt jelennek meg.

Funkció DBU-ráta
AI Biztonsági Korlátok 21 429 DBU/egymillió token
Terhelés naplózása 2,857 DBU millió tokenenként
Használatkövetés 0,571 DBU/M tokenek

AI Védőkorlátok

Az AI Guardrailek lehetővé teszik a felhasználók számára az adatmegfelelőség konfigurálását és kikényszerítését a végpontszintet kiszolgáló modellen, valamint a mögöttes modellnek küldött kérések káros tartalmának csökkentése érdekében. A rendszer letiltja a hibás kéréseket és válaszokat, és egy alapértelmezett üzenetet ad vissza a felhasználónak. Megtudhatja , hogyan konfigurálhat védőkorlátokat egy végpontot kiszolgáló modellen.

Fontos

Az AI Guardrails moderálási szolgáltatás függ az Alapmodellek API-k zsetononkénti fizetési modelljeitől. Ez a függőség korlátozza az AI Guardrails moderálási szolgáltatás rendelkezésre állását azon régiókra, amelyek támogatják az alapmodell API-kat a tokentalapú fizetést.

Az alábbi táblázat összefoglalja a konfigurálható védőkorlátokat. Lásd korlátozások.

Védőkorlát Definíció
Biztonsági szűrés A biztonsági szűrés megakadályozza, hogy a modell ne használjon veszélyes és káros tartalmakat, például erőszakos bűncselekményeket, önkárosítást és gyűlöletbeszédet.
Az AI Gateway biztonsági szűrője a Meta Llama 3 használatával készült. A Databricks a Llama Guard 2-8b biztonsági szűrőt használja. A Llama Guard biztonsági szűrőről és a biztonsági szűrőre vonatkozó témakörökről a Meta Llama Guard 2 8B modellkártyáján olvashat bővebben.
A Meta Llama 3 licenccel rendelkezik a LLAMA 3 közösségi licenc, Copyright © Meta Platformok, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicencek megfelelőségének biztosításáért.
Személyazonosításra alkalmas adatok (PII) észlelése Az ügyfelek bármilyen bizalmas információt észlelhetnek, például neveket, címeket, hitelkártyaszámokat a felhasználók számára.
Ebben a funkcióban az AI Gateway a Presidio használatával észleli a PII következő amerikai kategóriáit: hitelkártyaszámok, e-mail-címek, telefonszámok, bankszámlaszámok és társadalombiztosítási számok.
A PII-osztályozó segíthet azonosítani a bizalmas információkat vagy a PII-t strukturált és strukturálatlan adatokban. Mivel azonban automatizált észlelési mechanizmusokat használ, nincs garancia arra, hogy a szolgáltatás minden bizalmas információt megtalál. Következésképpen további rendszereket és védelmet kell alkalmazni.
Ezek a besorolási módszerek elsősorban a PII amerikai kategóriáira terjednek ki, például az egyesült államokbeli telefonszámokra és a társadalombiztosítási számokra.
Témakörmoderálás Az engedélyezett témakörök listájának lehetősége. Csevegési kérés esetén ez a védőkorlát jelzi a kérést, ha a témakör nem szerepel az engedélyezett témakörökben.
Kulcsszószűrés Az ügyfelek különböző érvénytelen kulcsszavakat adhatnak meg mind a bemenethez, mind a kimenethez. A kulcsszószűrés egyik lehetséges felhasználási esete, hogy a modell ne beszéljen versenytársakról.
Ez a védőkorlát kulcsszó- vagy sztringmegfeleltetést használ annak eldöntéséhez, hogy a kulcsszó szerepel-e a kérés- vagy választartalmakban.

AI-átjáró használata

Az AI Gateway funkcióit a kiszolgáló felhasználói felületen konfigurálhatja a végpontokat kiszolgáló modellen. Lásd: AI-átjáró konfigurálása a modelleket kiszolgáló végpontokon.

korlátozások

Az előzetes verzióra vonatkozó korlátozások a következők:

  • Az AI Gateway csak a következő célokra támogatott:
  • Az AI-védőkorlátok használata esetén a kérelem kötegmérete, vagyis a beágyazások kötegmérete, a befejezési köteg mérete vagy a csevegési kérelmek n paramétere nem haladhatja meg a 16-ot.
  • Az előirányzott átviteli feladatok esetében csak a ráta korlátozás és az adatcsomag naplózása támogatott az AI Gateway-kompatibilis következtetési táblákat használva.
  • Lásd AI-átjáróval kompatibilis következtetéstáblákra vonatkozó korlátozásokat.
  • Ha függvényt hív meg, és AI-védőkorlátokat ad meg, a rendszer nem alkalmazza ezeket a védőkorlátokat a függvény kéréseire és köztes válaszaira. A rendszer azonban védőkorlátokat alkalmaz a végső kimeneti válaszra.