Mosaic AI 網關介紹
重要
這項功能處於公開預覽狀態。
本文說明馬賽克 AI 閘道、Databricks 解決方案，可用來控管和監視支援之產生 AI 模型及其相關聯模型服務端點的存取。
什麼是馬賽克 AI 閘道？
馬賽克 AI 閘道的設計目的是簡化組織內產生 AI 模型和代理程式的使用和管理。 它是一項集中式服務，可將治理、監視和生產整備程度帶入服務端點的模型。 它也可讓您執行、保護及控管 AI 流量，以將組織的 AI 採用民主化並加速採用。
所有數據都會記錄到 Unity 目錄中的 Delta 數據表。
若要開始從 AI 閘道數據可視化深入解析，請從 GitHub 下載 範例 AI 閘道儀錶板 。 此儀錶板會利用使用量追蹤和承載記錄推斷數據表中的數據。
下載 JSON 檔案之後，請將儀錶板匯入工作區。 如需匯入儀錶板的指示，請參閱 匯入儀錶板檔案。
支援的功能
下表說明可用的 AI 閘道功能及支援這些功能的模型服務端點類型。
| 功能 | 定義 | 外部模型端點 | 基礎模型 API 預配置吞吐量端點 | 馬賽克 AI 代理程式 |
|---|---|---|---|---|
| 權限和速率限制 | 控制誰具有存取權以及擁有多少存取權。 | 支持 | 支持 | 不支援 |
| 酬載記錄 | 使用 推斷數據表監視和稽核傳送至模型 API 的數據。 | 支持 | 支持 | 支持 |
| 使用情況追蹤 | 使用 系統數據表監視端點的作業使用量和相關聯的成本。 | 支持 | 支持 | 不支援 |
| AI 護欄 | 防止要求和回應中的垃圾數據和不安全的數據。 請參閱 AI 護欄。 | 支持 | 支持 | 不支援 |
| 後援 | 將部署期間和之後的生產中斷降至最低。 | 支持 | 不支援 | 不支援 |
| 流量切分 | 在模型間進行流量的負載平衡。 | 支持 | 支持 | 不支援 |
馬賽克 AI 閘道會根據啟用的功能產生費用。 在預覽期間，這些付費功能包括 AI Guardrails、負荷記錄和使用量追蹤。 查詢許可權、速率限制、後援和流量分割等功能是免費的。 任何新功能皆須付費。
下表顯示付費 AI Gateway 功能的每百萬（M）個令牌之 Databricks 單位（DBU）費率。 費用列在 SKU 底下 Serverless Real-time Inference 。
| 功能 | DBU 比率 |
|---|---|
| AI 護欄 | 每百萬個令牌 21.429 DBU |
| 酬載記錄 | 每百萬個令牌 2.857 個 DBU |
| 使用狀況追蹤 | 每百萬令牌 0.571 DBU |
AI 護欄
AI Guardrails 可讓使用者在服務端點層級的模型中設定及強制執行數據合規性，並減少傳送至基礎模型之任何要求的有害內容。 不正確的要求和回應會遭到封鎖，並傳回預設訊息給使用者。 請參閱 如何在服務端點的模型上設定護欄。
重要
AI Guardrails 審核服務依賴於基礎模型 API 的按代幣付費模式。 此相依性會將 AI Guardrails 的調節服務的可用性限制為支援按使用計費的基礎模型 API 的區域。
下表摘要說明可設定的護欄。 請參閱 限制。
| 護欄 | 定義 |
|---|---|
| 安全性篩選 | 安全篩選可防止您的模型與不安全和有害的內容互動，例如暴力犯罪、自我傷害和仇恨言論。 AI 閘道安全篩選器是使用 Meta Llama 3 所建置。 Databricks 使用 Llama Guard 2-8b 作為安全篩選器。 若要深入瞭解 Llama Guard 安全篩選器，以及適用於安全篩選器的主題，請參閱 Meta Llama Guard 2 8B 模型卡片。 Meta Llama 3 已根據 LLAMA 3 社群授權，版權 © Meta Platforms, Inc. 保留所有權利。 客戶應負責確保遵循適用的模型授權。 |
| 個人識別資訊 (PII) 偵測 | 客戶可以偵測任何敏感性資訊，例如用戶的名稱、位址、信用卡號碼。 針對這項功能，AI 閘道會使用 Presidio 來偵測下列美國 PII 類別：信用卡號碼、電子郵件地址、電話號碼、銀行帳戶號碼和社保號碼。 PII 分類器可協助識別結構化和非結構化數據中的敏感性資訊或 PII。 不過，由於其使用自動化偵測機制，因此無法保證服務會尋找所有敏感性資訊。 因此，應採用額外的系統和保護。 這些分類方法主要限於美國 PII 類別，例如美國電話號碼和社會保障號碼。 |
| 主題管理 | 列出一組允許的主題的功能。 如果一個聊天請求的主題不在允許範圍內，此護欄會標記該請求。 |
| 關鍵詞篩選 | 客戶可以為輸入和輸出指定不同的無效關鍵詞集合。 關鍵詞篩選的其中一個可能使用案例是模型不會談論競爭對手。 此護欄會使用關鍵詞或字串比對來決定關鍵詞是否存在於要求或響應內容中。 |
使用 AI 閘道
您可以使用 Serving 使用者介面，在模型提供的端點上設定 AI 閘道功能。 請參閱在模型服務端點上設定 AI 閘道。
限制
以下是預覽期間的限制：
- 只有下列專案才支援 AI 閘道：
- 基礎模型 API 的 配置流量 模型服務端點。
- 提供外部模型的模型服務端點。
- 提供 Mosaic AI 代理程式的模型服務端點。
- 使用 AI 護欄時，要求批次大小，也就是內嵌批次大小、完成批次大小或聊天要求的
n參數，不能超過 16。 - 針對預配置的輸送量工作負載，僅支援使用支援 AI 閘道的推斷資料表進行速率限制和承載記錄。
- 請參閱 已啟用 AI 閘道的推斷資料表限制。
- 如果您使用 函式呼叫，並指定 AI 護欄，那麼這些護欄將不會套用到該函式的請求和中間回應。 不過，保護措施會套用至最終的輸出回應。