Úvod ke službě Mosaic AI Gateway
Důležité
Tato funkce je ve verzi Public Preview.
Tento článek popisuje Mosaic AI Gateway, řešení Databricks pro řízení a monitorování přístupu k podporovaným generativním AI modelům a jejich přidruženým koncovým bodům modelování.
Co je Mosaic AI Gateway?
Služba Mosaic AI Gateway je navržená tak, aby zjednodušila používání a správu modelů a agentů generující umělé inteligence v rámci organizace. Je to centralizovaná služba, která poskytuje správu, monitorování a připravenost pro produkční prostředí koncovým bodům servírování modelů. Umožňuje také spouštět, zabezpečit a řídit provoz umělé inteligence za účelem demokratizace a zrychlení přijetí umělé inteligence pro vaši organizaci.
Všechna data jsou zaznamenána do tabulek Delta v Unity Catalog.
Pokud chcete začít vizualizovat přehledy z dat služby AI Gateway, stáhněte si z GitHubu ukázkový řídicí panel služby AI Gateway. Tento řídicí panel využívá data ze sledování využití a tabulek odvozování datových částí.
Po stažení souboru JSON naimportujte řídicí panel do svého pracovního prostoru. Pokyny k importu řídicích panelů najdete v tématu Import souboru řídicího panelu.
podporované funkce
Následující tabulka definuje dostupné funkce brány AI a model obsluhující typy koncových bodů je podporuje.
| Funkce | Definice | koncový bod externího modelu | Koncový bod zřízeného propustného rozhraní API základního modelu | Mozaikální AI agenti |
|---|---|---|---|---|
| Oprávnění a omezování rychlosti | Řídit, kdo má přístup a kolik přístupu. | Podporováno | Podporováno | Nepodporované |
| Protokolování užitečného zatížení | Monitorování a auditování dat odesílaných do rozhraní API modelu pomocí tabulek odvozování . | Podporováno | Podporováno | Podporováno |
| Sledování využití | Monitorování provozního využití koncových bodů a souvisejících nákladů pomocí systémových tabulek . | Podporováno | Podporováno | Nepodporované |
| Ochranné mechanismy AI | Zabránit nežádoucím datům a nebezpečným datům v požadavcích a odpovědích Viz AI Guardrails. | Podporováno | Podporováno | Nepodporované |
| Záložní možnosti | Minimalizujte produkční výpadky během a po nasazení. | Podporováno | Nepodporované | Nepodporované |
| Rozdělení provozu | Vyrovnávání zatížení provozu napříč modely | Podporováno | Podporováno | Nepodporované |
Za povolenou funkci se účtují poplatky za bránu AI Gateway v systému Mosaic. Mezi placené funkce ve verzi Preview patří AI Guardrails, protokolování datové části a sledování využití. Funkce, jako jsou oprávnění pro dotazy, omezování rychlosti, náhradní mechanismy a rozdělení provozu, jsou zdarma. Za všechny nové funkce se účtují poplatky.
Následující tabulka odráží sazbu jednotek Databricks (DBU) za milion tokenů (M) pro placené funkce brány AI. Poplatky jsou uvedené pod skladovou položkou Serverless Real-time Inference .
| Funkce | Rychlost DBU |
|---|---|
| Omezení AI | 21,429 DBU na M tokenů |
| Protokolování přenášených dat | 2.857 DBU na M tokenů |
| Sledování využití | 0.571 DBU na milion tokenů |
Ochranné Mantinely AI
AI Guardrails umožňují uživatelům konfigurovat a vynucovat dodržování předpisů dat na úrovni modelu obsluhujícího koncové body a omezit škodlivý obsah u všech požadavků odeslaných do základního modelu. Chybné požadavky a odpovědi jsou blokované a uživateli se vrátí výchozí zpráva. Zjistěte , jak nakonfigurovat mantinely na serveru modelu.
Důležité
Služba moderování AI Guardrails je závislá na rozhraních API základních modelů s platbami za tokeny. Tato závislost omezuje dostupnost služby moderování AI Guardrails na oblasti, které podporují rozhraní API pro model Foundation s platbou za token.
Následující tabulka shrnuje konfigurovatelné mantinely. Viz Omezení.
| Zábradlí | Definice |
|---|---|
| Bezpečnostní filtrování | Filtrování bezpečnosti brání vašemu modelu v interakci s nebezpečným a škodlivým obsahem, jako je násilné trestné činy, sebepoškozování a projevy nenávisti. Bezpečnostní filtr AI Gateway je vytvořený pomocí Meta Llama 3. Databricks používá jako bezpečnostní filtr Llama Guard 2-8b. Další informace o bezpečnostním filtru Llama Guard a o tom, jaká témata platí pro bezpečnostní filtr, najdete na kartě modelu Meta Llama Guard 2 8B. Meta Llama 3 je licencovaná v rámci licence LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci jsou odpovědní za zajištění souladu s platnými licencemi modelu. |
| Detekce identifikovatelných osobních údajů (PII) | Zákazníci můžou zjistit jakékoli citlivé informace, jako jsou jména, adresy, čísla platebních karet pro uživatele. Pro tuto funkci používá AI Gateway nástroj Presidio k detekci následujících kategorií osobních údajů ve Spojených státech: čísla platebních karet, e-mailové adresy, telefonní čísla, čísla bankovního účtu a čísla sociálního pojištění. Klasifikátor PII může pomoct identifikovat citlivé informace nebo PII ve strukturovaných a nestrukturovaných datech. Vzhledem k tomu, že používá mechanismy automatizovaného zjišťování, neexistuje žádná záruka, že služba najde všechny citlivé informace. V důsledku toho by měly být použity další systémy a ochrana. Tyto klasifikační metody jsou primárně vymezeny na americké kategorie PII, jako jsou telefonní čísla USA a čísla sociálního pojištění. |
| Moderování témat | Schopnost vypsat seznam povolených témat Vzhledem k žádosti o chat označí toto ochranné opatření žádost, pokud téma žádosti není mezi povolenými. |
| Filtrování klíčových slov | Zákazníci můžou pro vstup i výstup zadat různé sady neplatných klíčových slov. Jedním z možných případů použití pro filtrování klíčových slov je, aby model nemluvil o konkurentech. Tento ochranný prvek používá porovnávání klíčových slov nebo řetězců k určení, zda klíčové slovo existuje v obsahu požadavku nebo odpovědi. |
Použití brány AI
Funkce služby AI Gateway můžete nakonfigurovat v modelu obsluhující koncové body pomocí uživatelského rozhraní obsluhy. Viz Konfigurace brány AI na koncových bodech modelového servisu.
omezení
Následující omezení platí pro verzi Preview:
- AI Gateway se podporuje jenom pro:
- Rozhraní API základního modelu obsluhující koncové body modelu s předem stanovenou propustností.
- Model obsluhující koncové body, které obsluhují externí modely.
- Koncové body modelu, které obsluhují agenty Mosaic AI.
- Pokud se použijí mantinely AI, velikost dávky požadavku, tj. velikost dávky vložení, velikost dávky dokončení nebo parametr
nžádostí o chat, nesmí překročit 16. - U úloh se zřízenou propustností se podporuje pouze omezování rychlosti a protokolování zátěže pomocí inferenčních tabulek s povolenou AI bránou.
- Viz omezení inferenční tabulky s povolenou AI bránou.
- Pokud používáte volání funkce a specifikujete AI mantinely, tyto mantinely se nepoužijí na požadavky a přechodné odpovědi funkce. Na konečnou výstupní odpověď se však použijí mantinely.