Обзор Windows Copilot Runtime
Это важно
Автономные приложения не поддерживаются.
Windows Copilot Runtime предоставляет различные функции, доступные на основе искусственного интеллекта с помощью APIs, что позволяет использовать возможности искусственного интеллекта без необходимости находить, запускать или оптимизировать собственную модель машинного обучения (ML). Модели, которые обеспечивают работу Windows Copilot Runtime на компьютерах Copilot+, действуют локально и непрерывно в фоновом режиме.
При использовании функций ИИ мы рекомендуем изучить: разработку ответственных приложений и функций искусственного интеллекта в Windows.
Windows Copilot Runtime функции и APIs для приложений Windows
Windows Copilot Runtime включает следующие функции и APIs с поддержкой ИИ (в пакете SDK для приложений Windows) на основе моделей, работающих локально на устройстве Windows.
Phi Silica: APIs Phi Silica будет выпускаться в SDK пакет для Windows-приложений. Аналогично модели GPT большого языка OpenAI ( LLM), которая позволяет ChatGPT, Phi — это небольшая языковая модель (SLM), разработанная Microsoft Research для выполнения задач обработки языка на локальном устройстве. Phi Silica специально разработан для устройств Windows с нейронным процессором (NPU), что позволяет генерировать текст и использовать функции диалога с высокой производительностью, ускоряя работу на аппаратном уровне непосредственно на устройстве.
Text Recognition сOCR: Text RecognitionAPIs (также называемое оптическое распознавание символов или OCR) будет отправлено в Windows App SDK. Эти APIs позволяют распознать текст в изображении и преобразовать различные типы документов (например, сканированные бумажные документы, PDF-файлы или изображения, захваченные цифровой камерой) в редактируемые и доступные для поиска данные на локальном устройстве.
APIs : Улучшенное ИИ-обработкой изображение APIs будет включено в SDK пакета для приложений Windows. Эти APIs выполняют различные действия, такие как интеллектуальное масштабирование изображений и определение объектов в изображениях.
Studio Effects: устройства Windows с совместимыми единицами нейронной обработки (NPUs) интегрируют Studio Effects в встроенные параметры камеры устройства и микрофона. Примените специальные эффекты, которые используют ИИ, включая фоновый размытие, исправление контакта глаз, автоматическое обрамление, исправление книжного света, творческие фильтры или фокус голоса для фильтрации фонового шума.
Recall: Recall позволяет пользователям быстро находить объекты из прошлой активности, такие как документы, изображения, веб-сайты и многое другое. Разработчики могут обогатить пользовательский Recall опыт с приложением, добавив контекстную информацию в векторную базу данных, используя API активности пользователей . Эта интеграция поможет пользователям выбрать место, в котором они остались в приложении, что улучшает взаимодействие с приложениями и простой поток пользователей между Windows и приложением.
Живые переводы субтитров помогают всем пользователям Windows, включая глухих и слабослышащих, лучше понимать аудио, просматривая субтитры речевого контента (даже если аудио содержимое на другом языке, нежели предпочтительный язык системы).
модерация содержимого. Узнайте, как Windows Copilot Runtime модерировать содержимое и как настроить фильтры чувствительности.
Интеграция ИИ в корпоративные приложения с помощью Windows Copilot RuntimeAPIs
Посмотрите демонстрационный сеанс по интеграции ИИ в корпоративные приложения с использованием Windows Copilot RuntimeAPIs с конференции Ignite, прошедшей в ноябре 2024 года.
Дополнительные ресурсы
- Приступая к работе с ИИ в Windows: Windows Copilot Runtime реализует API модерации текста для пометки и фильтрации содержимого, которое может быть вредным. Дополнительные сведения об этой функции и о том, как настроить чувствительность фильтра.
- Разработка ответственных приложений и функций генеративного ИИ на Windows: Руководство по ответственной разработке приложений, включающих генеративный ИИ.
- ИИ в коллекции примеров Windows: коллекция примеров, демонстрирующих различные способы улучшения приложений Windows с помощью ИИ.