Windows での AI のサンプル ギャラリー
ローカル API と Machine Learning (ML) モデルを使用して Windows アプリを強化するさまざまな方法、DirectML を使用したローカル ハードウェア アクセラレーション、およびクラウドベースの API を使用するさまざまな方法を示すサンプルのコレクション。
AI 機能を利用する場合は、「責任を持って生成的 AI アプリケーションと機能を開発するためのガイドライン 」および「Windowsでの推奨事項」を確認することをお勧めします。
ローカル API と ML モデルを使用して AI を使用して Windows アプリを強化する
これらのサンプルは、ローカル API と Machine Learning モデルを使用して、AI を使用して Windows アプリを強化するのに役立ちます。
AI を利用したオーディオ エディター
GitHub Repo: AI オーディオ エディターのサンプル
説明: AI を利用したオーディオ エディターは、AI を利用してオーディオの切り取りを関連するクエリに一致させる WinUI 3 オーディオ編集アプリの構築を示しています。 たとえば、ソーシャル メディアで宣伝するためにコンテンツの短いオーディオ クリップを作成するポッドキャスト作成者が使用できます。 このサンプルでは、ローカル ML モデルの推論を使用して、文字起こしとセマンティック検索を処理します。
機能: ONNX ランタイムを使用したローカル モデル推論、ささやきモデル、埋め込みモデル
アプリの種類の: C#、WinUI 3
AI を利用した Notes アプリ
GitHub Repo: AI を利用したサンプルノートアプリ
説明: この AI を利用したノート作成アプリケーションでは、OCR テキスト認識、ローカル ML モデルによるオーディオ文字起こし、ローカル埋め込みモデルを使用したセマンティック検索、Phi3 を使用したローカル言語モデルの概要作成、オートコンプリート、テキスト推論のためのローカル言語モデルの使用、実データに対する言語モデルのグラウンディング言語モデルの取得拡張生成 (RAG) などの API の使用を示します。
特徴: ローカル モデルを使用したセマンティック検索、ローカル モデルを使用したオーディオ文字起こし、Phi3を使用したローカル Retreval 拡張生成 (RAG)、Phi3 によるローカル テキストの要約と推論、OCR API を使用した画像からのテキスト抽出
アプリの種類: C#, WinUI 3
PDF と Phi3 を使用した検索拡張生成 (RAG)
GitHub リポジトリ: RAG PDF Analyzer WPF サンプル アプリ
説明: この WPF サンプル アプリでは、PDF ドキュメント内のコンテンツに関する質問に回答するために、ローカル言語モデル (Phi3 など) を使用してエクスペリエンスを構築する方法を示します。 このサンプルでは、応答を生成する前に、モデル独自のトレーニング データの外部でナレッジ ベースを参照して回答を見つけます。 このパターンは、取得拡張生成 (RAG) と呼ばれ、言語モデルを実際の権限のあるデータに固定する方法の例です。
機能: 取得拡張生成 (RAG)、ONNX ランタイム生成 AI、DirectML
Phi3 ジェネレーティブ AI チャット
GitHub Repo: Phi3 Chat WinUI 3 サンプル
説明: この WinUI 3 アプリ サンプルでは、ONNX ランタイム生成 AI ライブラリを使用して、ローカル言語モデル (具体的には Phi3 Small Language Model (SLM) を使用してチャット エクスペリエンスを構築する方法を示します。
機能の: Phi3, ONNX Runtime Generative AI, DirectML
Windows Studio の効果のサンプル
GitHub Repo: Windows Studio Effects サンプル アプリ
説明: このコード サンプルでは、Windows アプリケーションから Camera Studio Effects を制御する方法について説明します。 サポートされているカメラがシステムで使用できるかどうかを確認し (NPU と組み込みのカメラを搭載したデバイスが必要)、Windows Studio Effects に関連付けられている拡張カメラ コントロール (背景ぼかし、視線視線補正、自動フレームなど) を取得して設定します。
アプリの種類: C#、WPF
DirectML を使用したローカル ハードウェア アクセラレーション
Web 上のハードウェアによる安定した拡散の高速化
GitHub Repo: WebNN Stable Diffusion Turbo
説明: このサンプルでは、WebNN と ONNX Runtime Web を使用して、DirectML を使用して GPU 上で安定拡散をローカルで実行する方法を示します。 SD-Turbo は、テキストプロンプトからフォトリアリスティックな画像を1回のネットワーク評価で合成できる高速なテキスト生成モデルです。 デモでは、ニューラル ネットワーク推論ハードウェア アクセラレーション用の専用の低レベル API である WebNN API を利用して、AI PC デバイス上の 2s で画像を生成できます。
機能: ローカル イメージ生成、WebNN、DirectML
アプリの種類: JavaScript 、Web アプリ
ハードウェアアクセラレータセグメント Web上の何でも
GitHub Repo: WebNN Segment Anything
説明: このサンプルでは、OnNX Runtime Web で WebNN を使用して、DirectML を使用して GPU 上で Segment Anything をローカルで実行する方法を示します。 セグメント は、任意のオブジェクトを "切り取る" ことが可能な Meta AI の新しい AI モデルです。 デモでは、アップロードした画像から任意のオブジェクトをセグメント化できます。
機能: ローカル画像のセグメント化、WebNN、DirectML
アプリの種類: JavaScript 、Web アプリ
Web 上のハードウェア アクセラレータ のささやき
GitHub Repo: WebNN ささやきベース
説明: このサンプルでは、ONNX Runtime Web で WebNN を使用して、Gpu または DirectML を使用して NPU で、ささやきモデルの音声テキスト変換機能をローカルで実行する方法を示します。 ささやきベース は、自動音声認識 (ASR) と音声翻訳のための事前トレーニング済みのモデルです。 デモでは、WebNN API と DirectML (特に NPU アクセラレーション) を利用したデバイス上の推論を使用して、音声テキスト変換機能を体験できます。
機能: ローカル音声テキスト変換、WebNN、DirectML
アプリの種類: JavaScript 、Webアプリ
DirectML を使用したハードウェア アクセラレータと事前最適化された ONNX ランタイム言語モデル (Phi3、Llama3 など)
GitHub Repo: Olive リポジトリの DirectML の例を
説明: このサンプルでは、DirectML を使用して GPU 上で事前に最適化された ONNX Runtime (ORT) 言語モデルをローカルで実行する方法を示します。 このサンプルには、環境を設定する方法、ORT Generate API を使用して事前トレーニング済みの最新の言語モデルをダウンロードする方法、Gradio アプリでモデルを実行する方法に関する手順が含まれています。
機能: ハードウェア アクセラレーション、GenAI、ONNX、ONNX Runtime、DirectML
アプリの種類: Python、Gradio
DirectML を使用したハードウェア アクセラレータ PyTorch モデル (Phi3、Llama3 など)
GitHub Repo: DirectML PyTorch サンプル
説明: このサンプルでは、DirectML を使用して GPU 上で PyTorch 言語モデルをローカルで実行する方法を示します。 このサンプルには、環境を設定する方法、事前トレーニング済みの最新の言語モデルをダウンロードする方法、Gradio アプリでモデルを実行する方法に関する手順が含まれています。 このサンプルでは、Llama モデル、Phi3-mini、Phi2、Mistral-7B など、さまざまなオープン ソース言語モデルをサポートしています。
機能: ハードウェア アクセラレーション、PyTorch、DirectML
アプリタイプ: Python、Gradio
クラウド API を使用して AI を使用して Windows アプリを強化する
その他のクラウドベースの API サンプルについては、Azure AI サービスのドキュメントを参照してください。
OpenAI チャットの完成機能を WinUI 3 / Windows App SDK アプリに追加する
チュートリアル: WinUI 3 / Windows App SDK アプリに OpenAI チャット補完を追加
説明: OpenAI チャット入力候補機能を WinUI 3/Windows App SDK デスクトップ アプリに統合します。
機能: OpenAI チャットの完了
アプリの種類の: C#、WinUI 3
WinUI 3/Windows App SDK デスクトップ アプリに DALL-E を追加する
チュートリアル: WinUI 3/ Windows App SDK デスクトップ アプリに DALL-E を追加
説明: OpenAI DALL-E イメージ生成機能を WinUI 3/Windows App SDK デスクトップ アプリに統合します。
機能の: 画像の生成
アプリの種類: C#、WinUI 3
.NET MAUI と ChatGPT を使用してレコメンデーション アプリを作成する
チュートリアル: .NET MAUI と ChatGPT を使用してレコメンデーション アプリを作成する
説明: OpenAI チャット補完機能を .NET MAUI デスクトップ アプリに統合します。
機能の: 画像の生成
.NET MAUI Windows デスクトップ アプリに DALL-E を追加する
チュートリアル: .NET MAUI Windows デスクトップ アプリに DALL-E を追加する
説明: OpenAI DALL-E イメージ生成機能を .NET MAUI デスクトップ アプリに統合します。
機能の: 画像の生成
従来の WinML サンプル
GitHub Repo: GitHub上のWinMLサンプル
説明: WinML は引き続きサポートされていますが、これらのサンプルは最新の AI の使用を反映するように更新されていません。