Inleiding tot Mosaic AI Gateway
Belangrijk
Deze functie is beschikbaar als openbare preview.
In dit artikel wordt Mozaïek AI Gateway beschreven, de Databricks-oplossing voor het beheren en bewaken van toegang tot ondersteunde generatieve AI-modellen en hun bijbehorende model voor eindpunten.
Wat is Mosaic AI Gateway?
Mozaïek AI Gateway is ontworpen om het gebruik en beheer van generatieve AI-modellen en -agents binnen een organisatie te stroomlijnen. Het is een gecentraliseerde service die governance, bewaking en productieklaarheid biedt aan modelbedienings-eindpunten. Hiermee kunt u AI-verkeer uitvoeren, beveiligen en beheren om de AI-adoptie te democratiseren en versnellen voor uw organisatie.
Alle gegevens worden vastgelegd in Delta-tabellen in Unity Catalog.
Als u inzichten van uw AI Gateway-gegevens wilt visualiseren, downloadt u het AI Gateway-voorbeelddashboard van GitHub. Dit dashboard maakt gebruik van de gegevens uit de inferentietabellen voor gebruiksregistratie en payload logging.
Nadat u het JSON-bestand hebt gedownload, importeert u het dashboard in uw werkruimte. Zie Een dashboardbestand importeren voor instructies over het importeren van dashboards.
ondersteunde functies
In de volgende tabel worden de beschikbare AI Gateway-functies gedefinieerd en welk model voor eindpunttypen deze ondersteunt.
| Kenmerk | Definitie | eindpunt van extern model | Foundation Model API's met voorziene doorvoercapaciteit-eindpunt | Mosaic AI-agenten |
|---|---|---|---|---|
| Machtigings- en frequentiebeperking | Bepalen wie toegang heeft en hoeveel toegang. | Ondersteund | Ondersteund | Niet ondersteund |
| Logboekregistratie van nettolading | Controleer en audit gegevens die naar model-API's worden verzonden met behulp van inferentietabellen. | Ondersteund | Ondersteund | Ondersteund |
| Gebruik bijhouden | Bewaak het operationele gebruik op eindpunten en de bijbehorende kosten met behulp van systeemtabellen. | Ondersteund | Ondersteund | Niet ondersteund |
| AI-richtlijnen | Voorkom ongewenste gegevens en onveilige gegevens in aanvragen en antwoorden. Zie AI-richtlijnen. | Ondersteund | Ondersteund | Niet ondersteund |
| Alternatieven | Minimaliseer productiestoringen tijdens en na de implementatie. | Ondersteund | Niet ondersteund | Niet ondersteund |
| Opsplitsen van verkeer | Taakverdeling voor verkeer tussen modellen. | Ondersteund | Ondersteund | Niet ondersteund |
Mozaïek AI Gateway brengt kosten in rekening op basis van ingeschakelde functies. Tijdens de preview omvatten deze betaalde functies onder andere AI-beveiligingsmaatregelen, logboekregistratie van dataverkeer en het bijhouden van gebruik. Functies zoals querytoestemmingen, snelheidslimieten, terugvalopties en het splitsen van verkeer zijn gratis. Er worden kosten in rekening gebracht voor alle nieuwe functies.
In de volgende tabel ziet u het tokentarief voor Databricks-eenheden (DBU's) per miljoen (M) voor de betaalde AI Gateway-functies. Kosten worden vermeld onder de Serverless Real-time Inference SKU.
| Functie | DBU-tarief |
|---|---|
| AI-richtlijnen | 21,429 DBU's per miljoen tokens |
| Logboekregistratie van payload | 2.857 DBUs per M tokens |
| Gebruik bijhouden | 0,571 DBU's per M-tokens |
AI-richtlijnen
Met AI-kaders kunnen gebruikers gegevenscompatibiliteit configureren en afdwingen op eindpuntniveau en schadelijke inhoud verminderen voor aanvragen die naar het onderliggende model worden verzonden. Ongeldige aanvragen en antwoorden worden geblokkeerd en er wordt een standaardbericht geretourneerd aan de gebruiker. Zie hoe u veiligheidsrails configureert op een modelbedieningseindpunt.
Belangrijk
De AI Guardrails-beheerservice heeft een afhankelijkheid van Foundation Model-API's met betalen per token. Deze afhankelijkheid beperkt de beschikbaarheid van de AI Guardrails-beheerservice tot regio's die ondersteuning bieden voor foundationmodel-API's met betalen per token.
De volgende tabel bevat een overzicht van de configureerbare kaders. Zie Beperkingen.
| Veiligheidsrail | Definitie |
|---|---|
| Veiligheidsfilters | Met veiligheidsfilters voorkomt u dat uw model communiceert met onveilige en schadelijke inhoud, zoals gewelddadige misdaad, zelfbeschadiging en haatspraak. Ai Gateway-veiligheidsfilter is gebouwd met Meta Llama 3. Databricks gebruikt Llama Guard 2-8b als veiligheidsfilter. Zie de Meta Llama Guard 2 8B-modelkaart voor meer informatie over het Llama Guard-veiligheidsfilter en welke onderwerpen van toepassing zijn op het veiligheidsfilter. Meta Llama 3 is gelicentieerd onder de LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Alle rechten voorbehouden. Klanten zijn verantwoordelijk voor het garanderen van naleving van toepasselijke modellicenties. |
| Detectie van persoonsgegevens (PII) | Klanten kunnen gevoelige informatie, zoals namen, adressen, creditcardnummers voor gebruikers, detecteren. Voor deze functie gebruikt AI Gateway Presidio om de volgende Amerikaanse categorieën piI te detecteren: creditcardnummers, e-mailadressen, telefoonnummers, bankrekeningnummers en burgerservicenummers. De PII-classificatie kan helpen bij het identificeren van gevoelige informatie of PII in gestructureerde en ongestructureerde gegevens. Omdat het echter gebruikmaakt van geautomatiseerde detectiemechanismen, is er geen garantie dat de service alle gevoelige informatie vindt. Bijgevolg moeten aanvullende systemen en beschermingen worden toegepast. Deze classificatiemethoden zijn voornamelijk gericht op Amerikaanse categorieën piI, zoals amerikaanse telefoonnummers en burgerservicenummers. |
| Onderwerpbeheer | Mogelijkheid om een set toegestane onderwerpen weer te geven. Gezien een chataanvraag markeert deze beveiligingsmaatregel deze als het onderwerp niet tot de toegestane onderwerpen behoort. |
| Trefwoordfiltering | Klanten kunnen verschillende sets ongeldige trefwoorden opgeven voor zowel de invoer als de uitvoer. Een mogelijke use-case voor het filteren van trefwoorden is dat het model niet over concurrenten praat. Deze vangrail maakt gebruik van trefwoord- of tekenreeksvergelijking om te bepalen of het trefwoord bestaat in de inhoud van de aanvraag of het antwoord. |
AI Gateway gebruiken
U kunt AI Gateway-functies op uw model serveer-eindpunten configureren via de bedieningsinterface. Zie AI Gateway configureren op modelserver-eindpunten.
beperkingen voor
Dit zijn beperkingen tijdens de preview:
- AI Gateway wordt alleen ondersteund voor:
- Foundation Model-API's geconfigureerde doorvoer model voor het bedienen van eindpunten.
- Eindpunten voor modelbediening die externe modellen ondersteunen .
- Model voor eindpunten die Mozaïek AI-agentsdienen.
- Wanneer AI-beveiligingsmaatregelen worden toegepast, mag de batchgrootte van verzoeken — of het nu gaat om een embeddings batchgrootte, een completions batchgrootte, of de
n-parameter voor chataanvragen — niet groter zijn dan 16. - Voor workloads met een toegewezen doorvoer worden alleen snelheidslimitering en payload-logging ondersteund via inferentietabellen die zijn uitgerust met AI Gateway-functionaliteit.
- Zie beperkingen voor de inferentietabel met AI Gateway-functionaliteit.
- Als u functie gebruikt die aanroept en AI-kaders opgeeft, worden deze kaders niet toegepast op de aanvragen en tussenliggende antwoorden van de functie. Er worden echter beperkingen toegepast op het uiteindelijke uitgeproduceerde antwoord.