Поделиться через

Обзор Windows Copilot Runtime

  • Статья

Это важно

Автономные приложения не поддерживаются.

Windows Copilot Runtime предоставляет различные функции, доступные на основе искусственного интеллекта с помощью APIs, что позволяет использовать возможности искусственного интеллекта без необходимости находить, запускать или оптимизировать собственную модель машинного обучения (ML). Модели, которые обеспечивают работу Windows Copilot Runtime на компьютерах Copilot+, действуют локально и непрерывно в фоновом режиме.

При использовании функций ИИ мы рекомендуем изучить: разработку ответственных приложений и функций искусственного интеллекта в Windows.

Windows Copilot Runtime функции и APIs для приложений Windows

Windows Copilot Runtime включает следующие функции и APIs с поддержкой ИИ (в пакете SDK для приложений Windows) на основе моделей, работающих локально на устройстве Windows.

  • Phi Silica: APIs Phi Silica будет выпускаться в SDK пакет для Windows-приложений. Аналогично модели GPT большого языка OpenAI ( LLM), которая позволяет ChatGPT, Phi — это небольшая языковая модель (SLM), разработанная Microsoft Research для выполнения задач обработки языка на локальном устройстве. Phi Silica специально разработан для устройств Windows с нейронным процессором (NPU), что позволяет генерировать текст и использовать функции диалога с высокой производительностью, ускоряя работу на аппаратном уровне непосредственно на устройстве.

  • Text Recognition сOCR: Text RecognitionAPIs (также называемое оптическое распознавание символов или OCR) будет отправлено в Windows App SDK. Эти APIs позволяют распознать текст в изображении и преобразовать различные типы документов (например, сканированные бумажные документы, PDF-файлы или изображения, захваченные цифровой камерой) в редактируемые и доступные для поиска данные на локальном устройстве.

  • APIs : Улучшенное ИИ-обработкой изображение APIs будет включено в SDK пакета для приложений Windows. Эти APIs выполняют различные действия, такие как интеллектуальное масштабирование изображений и определение объектов в изображениях.

  • Studio Effects: устройства Windows с совместимыми единицами нейронной обработки (NPUs) интегрируют Studio Effects в встроенные параметры камеры устройства и микрофона. Примените специальные эффекты, которые используют ИИ, включая фоновый размытие, исправление контакта глаз, автоматическое обрамление, исправление книжного света, творческие фильтры или фокус голоса для фильтрации фонового шума.

  • Recall: Recall позволяет пользователям быстро находить объекты из прошлой активности, такие как документы, изображения, веб-сайты и многое другое. Разработчики могут обогатить пользовательский Recall опыт с приложением, добавив контекстную информацию в векторную базу данных, используя API активности пользователей . Эта интеграция поможет пользователям выбрать место, в котором они остались в приложении, что улучшает взаимодействие с приложениями и простой поток пользователей между Windows и приложением.

  • Живые переводы субтитров помогают всем пользователям Windows, включая глухих и слабослышащих, лучше понимать аудио, просматривая субтитры речевого контента (даже если аудио содержимое на другом языке, нежели предпочтительный язык системы).

  • модерация содержимого. Узнайте, как Windows Copilot Runtime модерировать содержимое и как настроить фильтры чувствительности.

Интеграция ИИ в корпоративные приложения с помощью Windows Copilot RuntimeAPIs

Посмотрите демонстрационный сеанс по интеграции ИИ в корпоративные приложения с использованием Windows Copilot RuntimeAPIs с конференции Ignite, прошедшей в ноябре 2024 года.

Дополнительные ресурсы