Введение в шлюз Mosaic AI
Внимание
Эта функция предоставляется в режиме общедоступной предварительной версии.
В этой статье описывается Шлюз ИИ Мозаики, решение Databricks для управления и мониторинга доступа к поддерживаемым моделям создания ИИ и связанным с ними конечным точкам обслуживания моделей.
Что такое шлюз Mosaic AI?
Шлюз ИИ мозаики предназначен для упрощения использования и управления генерируемыми моделями ИИ и агентами в организации. Это централизованная служба, которая обеспечивает управление, мониторинг и готовность моделей к развертыванию на конечных точках обслуживания. Он также позволяет управлять, защищать и контролировать потоки ИИ, чтобы демократизировать доступ и ускорить внедрение ИИ для вашей организации.
Все данные вошли в таблицы Delta в каталоге Unity.
Чтобы начать визуализацию аналитических сведений из данных шлюза ИИ, скачайте пример панели мониторинга шлюза ИИ из GitHub. Эта панель мониторинга использует данные из таблиц для отслеживания использования и журналирования полезной нагрузки.
После скачивания JSON-файла импортируйте панель мониторинга в рабочую область. Инструкции по импорту панелей мониторинга см. в разделе "Импорт файла панели мониторинга".
Поддерживаемые функции
В следующей таблице перечислены доступные функции шлюза ИИ и указаны типы конечных точек для обслуживания моделей, которые их поддерживают.
| Функция | Определение | внешняя модельная конечная точка | Конечные точки зарезервированной пропускной способности для API модели Foundation | агенты Мозаичного ИИ |
|---|---|---|---|---|
| Ограничение разрешений и скорости | Управление доступом и объемом доступа. | Поддерживается | Поддерживается | Не поддерживается |
| Ведение журнала полезной нагрузки | Мониторьте и проверяйте данные, отправляемые в API модели, с помощью таблиц интерпретации . | Поддерживается | Поддерживается | Поддерживается |
| Отслеживание использования | Отслеживайте оперативное использование конечных точек и связанных затрат с помощью системных таблиц . | Поддерживается | Поддерживается | Не поддерживается |
| Контрольные механизмы ИИ | Предотвращение нежелательных данных и небезопасных данных в запросах и ответах. См. AI Guardrails. | Поддерживается | Поддерживается | Не поддерживается |
| Резервные копии | Свести к минимуму производственные сбои во время и после развертывания. | Поддерживается | Не поддерживается | Не поддерживается |
| Разделение трафика | Балансировка нагрузки трафика между моделями. | Поддерживается | Поддерживается | Не поддерживается |
Шлюз мозаичного искусственного интеллекта взимает плату за включенную функцию. В предварительной версии эти платные функции включают AI Guardrails (ограничители ИИ), ведение журнала данных нагрузки и отслеживание использования. Такие функции, как разрешения запросов, ограничение скорости, резервные копии и разделение трафика, бесплатны. Плата за любые новые функции взимается.
В следующей таблице представлены единицы Databricks (DBUs) на миллион (M) токенов для платных функций AI-шлюза. Расходы перечислены под Serverless Real-time Inference SKU.
| Функция | Ставка DBU |
|---|---|
| Рамки безопасного использования ИИ | 21.429 DBUs на миллион токенов |
| Регистрация нагрузки данных | 2.857 DBU на M токенов |
| Отслеживание использования | 0.571 DBUs на M токенов |
Ограничители ИИ
AI Guardrails позволяет пользователям настраивать и применять соответствие данным на уровне конечной точки обслуживания модели и уменьшать вредное содержимое по любым запросам, отправленным базовой модели. Недопустимые запросы и ответы блокируются, а сообщение по умолчанию возвращается пользователю. Узнайте , как настроить ограничения на конечной точке обслуживания модели.
Внимание
Служба модерации AI Guardrails имеет зависимость от моделей API модели Foundation для оплаты за токен. Эта зависимость ограничивает доступность службы модерации AI Guardrails для регионов, которые поддерживают API-интерфейсы модели Foundation с оплатой по количеству токенов.
В следующей таблице перечислены настраиваемые контрольные механизмы. См. ограничения.
| Ограждение | Определение |
|---|---|
| Фильтрация безопасности | Фильтрация безопасности предотвращает взаимодействие модели с небезопасным и вредным контентом, такими как насильственные преступления, самоубийство и речь о ненависти. Фильтр безопасности шлюза ИИ создается с помощью Meta Llama 3. Databricks использует Llama Guard 2-8b в качестве фильтра безопасности. Чтобы узнать больше о фильтре безопасности Llama Guard и о темах, к которым он применяется, см. карточку модели Meta Llama Guard 2 8B. Meta Llama 3 лицензируется на условиях лицензии сообщества LLAMA 3, Meta Platforms, Inc. Все права защищены. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели. |
| Обнаружение персонально идентифицируемой информации (PII) | Клиенты могут обнаруживать конфиденциальную информацию, например имена, адреса, номера кредитных карт для пользователей. Для этой функции шлюз ИИ использует Guidio для обнаружения следующих категорий личных данных США: номера кредитной карты, адреса электронной почты, номера телефонов, банковские номера счетов и номера социального страхования. Классификатор PII может помочь определить конфиденциальную информацию или ЛИЧНЫЕ данные в структурированных и неструктурированных данных. Тем не менее, поскольку он использует механизмы автоматического обнаружения, нет никаких гарантий, что служба найдет всю конфиденциальную информацию. Следовательно, следует использовать дополнительные системы и защиту. Эти методы классификации в основном относятся к категориям персональных данных США, таким как номера телефонов США и номера социального страхования. |
| Модерация раздела | Возможность перечисления набора разрешенных разделов. При поступлении запроса чата этот контроль отмечает его, если его тема не входит в список разрешенных тем. |
| Фильтрация ключевых слов | Клиенты могут указать различные наборы недопустимых ключевых слов для входных и выходных данных. Один из возможных вариантов использования фильтрации ключевых слов — это чтобы модель не упоминала конкурентов. Этот механизм защиты использует поиск по ключевым словам или строкам, чтобы определить, присутствует ли ключевое слово в содержимом запроса или ответа. |
Использование шлюза искусственного интеллекта
Функции шлюза искусственного интеллекта можно настроить на конечных точках обслуживания модели с помощью пользовательского интерфейса обслуживания. См. раздел "Настройка шлюза ИИ" в конечных точках обслуживания моделей.
Ограничения
Ниже приведены ограничения во время предварительной версии:
- Шлюз искусственного интеллекта поддерживается только для следующих вариантов:
- API моделей Foundation, использующие модель обслуживания конечных точек с выделенной пропускной способностью.
- Конечные точки обслуживания моделей, которые служат внешним моделям.
- Конечные точки обслуживания моделей, которые обслуживают агентов ИИ Мозаики.
- Если используются средства защиты ИИ, размер пакета запроса, то есть размер пакета внедрения, размер пакета завершения или параметр
nзапросов чата, не может превышать 16. - Для рабочих нагрузок с выделенной пропускной способностью поддерживаются только ограничение скорости передачи данных и ведение журнала полезной нагрузки с помощью таблиц инференции, работающих с поддержкой AI шлюза.
- См. ограничения для таблицы вывода, поддерживаемой шлюзом ИИ.
- Если вы используете функцию , вызывая и указывая меры защиты ИИ, они не применяются к запросам и промежуточным ответам функции. Однако ограничители применяются к окончательному выходному ответу.