Sdílet prostřednictvím


Úvod ke službě Mosaic AI Gateway

Důležité

Tato funkce je ve verzi Public Preview.

Tento článek popisuje Mosaic AI Gateway, řešení Databricks pro řízení a monitorování přístupu k podporovaným generativním AI modelům a jejich přidruženým koncovým bodům modelování.

Co je Mosaic AI Gateway?

Služba Mosaic AI Gateway je navržená tak, aby zjednodušila používání a správu modelů a agentů generující umělé inteligence v rámci organizace. Je to centralizovaná služba, která poskytuje správu, monitorování a připravenost pro produkční prostředí koncovým bodům servírování modelů. Umožňuje také spouštět, zabezpečit a řídit provoz umělé inteligence za účelem demokratizace a zrychlení přijetí umělé inteligence pro vaši organizaci.

Všechna data jsou zaznamenána do tabulek Delta v Unity Catalog.

Pokud chcete začít vizualizovat přehledy z dat služby AI Gateway, stáhněte si z GitHubu ukázkový řídicí panel služby AI Gateway. Tento řídicí panel využívá data ze sledování využití a tabulek odvozování datových částí.

Po stažení souboru JSON naimportujte řídicí panel do svého pracovního prostoru. Pokyny k importu řídicích panelů najdete v tématu Import souboru řídicího panelu.

podporované funkce

Následující tabulka definuje dostupné funkce brány AI a model obsluhující typy koncových bodů je podporuje.

Funkce Definice koncový bod externího modelu Koncový bod zřízeného propustného rozhraní API základního modelu Mozaikální AI agenti
Oprávnění a omezování rychlosti Řídit, kdo má přístup a kolik přístupu. Podporováno Podporováno Nepodporované
Protokolování užitečného zatížení Monitorování a auditování dat odesílaných do rozhraní API modelu pomocí tabulek odvozování . Podporováno Podporováno Podporováno
Sledování využití Monitorování provozního využití koncových bodů a souvisejících nákladů pomocí systémových tabulek . Podporováno Podporováno Nepodporované
Ochranné mechanismy AI Zabránit nežádoucím datům a nebezpečným datům v požadavcích a odpovědích Viz AI Guardrails. Podporováno Podporováno Nepodporované
Záložní možnosti Minimalizujte produkční výpadky během a po nasazení. Podporováno Nepodporované Nepodporované
Rozdělení provozu Vyrovnávání zatížení provozu napříč modely Podporováno Podporováno Nepodporované

Za povolenou funkci se účtují poplatky za bránu AI Gateway v systému Mosaic. Mezi placené funkce ve verzi Preview patří AI Guardrails, protokolování datové části a sledování využití. Funkce, jako jsou oprávnění pro dotazy, omezování rychlosti, náhradní mechanismy a rozdělení provozu, jsou zdarma. Za všechny nové funkce se účtují poplatky.

Následující tabulka odráží sazbu jednotek Databricks (DBU) za milion tokenů (M) pro placené funkce brány AI. Poplatky jsou uvedené pod skladovou položkou Serverless Real-time Inference .

Funkce Rychlost DBU
Omezení AI 21,429 DBU na M tokenů
Protokolování přenášených dat 2.857 DBU na M tokenů
Sledování využití 0.571 DBU na milion tokenů

Ochranné Mantinely AI

AI Guardrails umožňují uživatelům konfigurovat a vynucovat dodržování předpisů dat na úrovni modelu obsluhujícího koncové body a omezit škodlivý obsah u všech požadavků odeslaných do základního modelu. Chybné požadavky a odpovědi jsou blokované a uživateli se vrátí výchozí zpráva. Zjistěte , jak nakonfigurovat mantinely na serveru modelu.

Důležité

Služba moderování AI Guardrails je závislá na rozhraních API základních modelů s platbami za tokeny. Tato závislost omezuje dostupnost služby moderování AI Guardrails na oblasti, které podporují rozhraní API pro model Foundation s platbou za token.

Následující tabulka shrnuje konfigurovatelné mantinely. Viz Omezení.

Zábradlí Definice
Bezpečnostní filtrování Filtrování bezpečnosti brání vašemu modelu v interakci s nebezpečným a škodlivým obsahem, jako je násilné trestné činy, sebepoškozování a projevy nenávisti.
Bezpečnostní filtr AI Gateway je vytvořený pomocí Meta Llama 3. Databricks používá jako bezpečnostní filtr Llama Guard 2-8b. Další informace o bezpečnostním filtru Llama Guard a o tom, jaká témata platí pro bezpečnostní filtr, najdete na kartě modelu Meta Llama Guard 2 8B.
Meta Llama 3 je licencovaná v rámci licence LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci jsou odpovědní za zajištění souladu s platnými licencemi modelu.
Detekce identifikovatelných osobních údajů (PII) Zákazníci můžou zjistit jakékoli citlivé informace, jako jsou jména, adresy, čísla platebních karet pro uživatele.
Pro tuto funkci používá AI Gateway nástroj Presidio k detekci následujících kategorií osobních údajů ve Spojených státech: čísla platebních karet, e-mailové adresy, telefonní čísla, čísla bankovního účtu a čísla sociálního pojištění.
Klasifikátor PII může pomoct identifikovat citlivé informace nebo PII ve strukturovaných a nestrukturovaných datech. Vzhledem k tomu, že používá mechanismy automatizovaného zjišťování, neexistuje žádná záruka, že služba najde všechny citlivé informace. V důsledku toho by měly být použity další systémy a ochrana.
Tyto klasifikační metody jsou primárně vymezeny na americké kategorie PII, jako jsou telefonní čísla USA a čísla sociálního pojištění.
Moderování témat Schopnost vypsat seznam povolených témat Vzhledem k žádosti o chat označí toto ochranné opatření žádost, pokud téma žádosti není mezi povolenými.
Filtrování klíčových slov Zákazníci můžou pro vstup i výstup zadat různé sady neplatných klíčových slov. Jedním z možných případů použití pro filtrování klíčových slov je, aby model nemluvil o konkurentech.
Tento ochranný prvek používá porovnávání klíčových slov nebo řetězců k určení, zda klíčové slovo existuje v obsahu požadavku nebo odpovědi.

Použití brány AI

Funkce služby AI Gateway můžete nakonfigurovat v modelu obsluhující koncové body pomocí uživatelského rozhraní obsluhy. Viz Konfigurace brány AI na koncových bodech modelového servisu.

omezení

Následující omezení platí pro verzi Preview:

  • AI Gateway se podporuje jenom pro:
  • Pokud se použijí mantinely AI, velikost dávky požadavku, tj. velikost dávky vložení, velikost dávky dokončení nebo parametr n žádostí o chat, nesmí překročit 16.
  • U úloh se zřízenou propustností se podporuje pouze omezování rychlosti a protokolování zátěže pomocí inferenčních tabulek s povolenou AI bránou.
  • Viz omezení inferenční tabulky s povolenou AI bránou.
  • Pokud používáte volání funkce a specifikujete AI mantinely, tyto mantinely se nepoužijí na požadavky a přechodné odpovědi funkce. Na konečnou výstupní odpověď se však použijí mantinely.