AI a Windows mintagyűjteményében
Mintagyűjtemény, amely bemutatja, hogyan fejlesztheti Windows-alkalmazásait helyi API-k és Machine Learning-modellek, helyi hardveres gyorsítás a DirectML használatával és felhőalapú API-k használatával.
AI-funkciók használatakor javasoljuk, hogy tekintse meg: Felelős generatív MI alkalmazás és funkció fejlesztése Windows.
Windows-alkalmazások fejlesztése AI-vel helyi API-k és ML-modellek használatával
Ezek a minták segítenek a Windows-alkalmazások AI-vel való fejlesztésében helyi API-k és Machine Learning-modellek használatával.
AI-alapú hangszerkesztő
GitHub-adattár: AI-hangszerkesztő minta
Leírás: Az AI-alapú hangszerkesztő bemutatja egy WinUI 3 hangszerkesztő alkalmazás létrehozását, amely mesterséges intelligenciát használ egy adott lekérdezéshez tartozó hangrészletek egyeztetésére. Ilyen eset lehet például a podcast létrehozója, aki rövid hangklipeket szeretne létrehozni a tartalmakról a közösségi médiában való előléptetéshez. A minta a helyi ML-modell következtetésével kezeli az átírást és a szemantikai keresést.
Funkciók: Helyi modell feldolgozása ONNX-futtatókörnyezettel, Whisper modell, Beágyazási modell
AI-alapú jegyzetalkalmazás
GitHub-adattár: mesterséges intelligenciával működő jegyzetmintaalkalmazás
Leírás: Ez az AI-alapú jegyzetkészítési alkalmazás bemutatja az API-k használatát, beleértve a OCR Szövegfelismerési, a hangátírást a helyi ML-modellen keresztül, a szemantikai keresést egy helyi beágyazási modellen keresztül, a helyi nyelvi modell használatát a Phi3-nal az összegzéshez, az automatikus kiegészítést és a szöveges érvelést, valamint a nyelvi modellek valós adatokra való alapozásához való lekérését.
Funkciók: Szemantikai keresés helyi modellel, Hangátírás helyi modellel, Helyi lekérdezés-kiegészített generálás (RAG) Phi3, Helyi szövegösszefoglalás és érvelés a Phi3-mal, Szövegkinyerés képekből az OCR API segítségével.
Bővített generáció (RAG) lekérése PDF-fájlokkal és Phi3-nal
GitHub-adattár: RAG PDF Analyzer WPF mintaalkalmazás
Leírás: Ez a WPF-mintaalkalmazás bemutatja, hogyan hozhat létre felhasználói élményt egy helyi nyelvi modellel (például Phi3) a PDF-dokumentumok tartalmával kapcsolatos kérdések megválaszolásához. A minta úgy talál válaszokat, hogy a válasz létrehozása előtt hivatkozik egy tudásbázisra a modell saját betanítási adatain kívül. Ez a Visszakeresés-kibővített Generáció (RAG) nevű minta egy példa arra, hogyan lehet egy nyelvi modellt valós, megbízható adatokra alapozni.
funkciók: Retrieval Augmented Generation (RAG), ONNX Runtime Generative AI, DirectML
Phi3 Generáló MI-csevegés
GitHub-repozitórium: Phi3 Chat WinUI 3 minta
Leírás: Ez a WinUI 3 alkalmazásminta bemutatja, hogyan használható az ONNX Runtime Generative AI-kódtár egy helyi nyelvi modellel, különösen a Phi3 kis nyelvi modellel (SLM) való csevegéshez.
Funkciók: Phi3, ONNX Runtime Generative AI, DirectML
Windows Studioeffektusok példa
GitHub Repo: Windows Studio Effects mintaalkalmazás
Leírás: Ebből a kódmintából megtudhatja, hogyan vezérelheti a Camera Studio-effektusokat a Windows-alkalmazásból. Ellenőrizze, hogy elérhető-e támogatott kamera a rendszeren (NPU-val és beépített kamerával rendelkező eszközre van szükség), majd lekéri és beállítja a Windows Studio Effectshez társított kiterjesztett kameravezérlőket, például a háttér elmosódását, a szempillantás korrekcióját és az automatikus keretezést.
Szolgáltatások: Windows Studio-effektusok
Helyi hardvergyorsítás DirectML-lel
Hardveres gyorsított stabil diffúzió a weben
GitHub Repo: WebNN Stable Diffusion Turbo
Leírás: Ez a minta bemutatja, hogyan használható a WebNN és az ONNX Runtime web a Stabil diffúzió helyi futtatására a GPU-n a DirectML-lel. SD-Turbo egy gyors generatív szöveg-kép modell, amely képes fotorealisztikus képeket szintetizálni egy szöveges parancssorból egyetlen hálózati értékelésben. A bemutatóban a WebNN API,a neurális hálózati következtetési hardvergyorsítás dedikált alacsony szintű API-jának használatával 2s-ben hozhat létre képet AI-pc-eszközökön.
Szolgáltatások: Helyi kép létrehozása, WebNN, DirectML
alkalmazástípus: JavaScript-, webalkalmazások
Hardveres gyorsított szegmentálás – Bármi a weben
GitHub-adattár: WebNN-szegmens bármi
Leírás: Ez a minta bemutatja, hogyan használható a WebNN onnx runtime web a Segment Anything helyi futtatására a GPU-n a DirectML-lel. „Segment Anything” egy új AI-modell a Meta AI-tól származó, amely bármilyen objektumot „kivágni” képes. A bemutatóban bármilyen objektumot szegmentelhet a feltöltött képekből.
szolgáltatások: Helyi kép szegmentálása, WebNN, DirectML-
alkalmazástípus: JavaScript-, webalkalmazások
Hardveres gyorsított "Whisper" a weben
GitHub-repo: WebNN Whisper Base
Leírás: Ez a minta bemutatja, hogyan használható a WebNN és az ONNX futtatókörnyezeti web a Whisper-modell beszéd-szöveg képességeinek helyi futtatására a GPU-n vagy az NPU-n a DirectML-lel. Whisper Base egy előre betanított modell az automatikus beszédfelismeréshez (ASR) és a beszédfordításhoz. A bemutató során megtapasztalhatja a beszéd szöveggé alakításának funkcióját az eszközön futó, a WebNN API és a DirectML által működtetett következtetéssel, különösen az NPU gyorsításával.
Szolgáltatások: Helyi beszédfelismerés, WebNN, DirectML-
alkalmazástípus: JavaScript-, webalkalmazások
Hardveres gyorsított és előre optimalizált ONNX futtatókörnyezeti nyelvi modellek (Phi3, Llama3 stb.) DirectML-lel
GitHub-adattár: DirectML-példák az Olive-adattárban
Leírás: Ez a minta bemutatja, hogyan futtathat helyileg előre optimalizált ONNX-futtatókörnyezeti (ORT-) nyelvi modellt a GPU-n a DirectML-lel. A minta útmutatást tartalmaz a környezet beállításához, a legújabb előre betanított nyelvi modellek letöltéséhez az ORT Generate API használatával, valamint a modell Gradio-alkalmazásban való futtatásához.
funkciók: Hardveres gyorsítás, GenAI, ONNX, ONNX-futtatókörnyezeti, DirectML
alkalmazástípus: Python, Gradio
Hardveres gyorsított PyTorch-modellek (Phi3, Llama3 stb.) DirectML-lel
GitHub-adattár: DirectML PyTorch-minták
Leírás: Ez a minta bemutatja, hogyan futtathat helyileg PyTorch-nyelvi modellt a GPU-n a DirectML-lel. A minta útmutatást tartalmaz a környezet beállításához, a legújabb előre betanított nyelvi modellek letöltéséhez és a modell Gradio-alkalmazásban való futtatásához. Ez a minta különböző nyílt forráskódú nyelvi modelleket támogat, például a Láma modelleket, a Phi3-minit, a Phi2-t és a Mistral-7B-t.
szolgáltatások: Hardveres gyorsítás, PyTorch, DirectML
alkalmazástípus: Python, Gradio
Windows-alkalmazások fejlesztése AI-vel felhőalapú API-k használatával
További felhőalapú API-minták találhatók az Azure AI-szolgáltatások dokumentációjában
OpenAI-csevegés befejezéseinek hozzáadása a WinUI 3/Windows App SDK-alkalmazáshoz
oktatóanyag: OpenAI-csevegés befejezésének hozzáadása a WinUI 3/Windows App SDK-alkalmazáshoz
Leírás: Integrálja az OpenAI csevegés befejezésének képességeit egy WinUI 3/Windows App SDK asztali alkalmazásba.
szolgáltatások: OpenAI-csevegés befejezése
DALL-E hozzáadása a WinUI 3/Windows App SDK asztali alkalmazáshoz
oktatóanyag: DALL-E hozzáadása a WinUI 3/Windows App SDK asztali alkalmazáshoz
Leírás: Integrálja az OpenAI DALL-E képgenerálási képességeit egy WinUI 3/Windows App SDK asztali alkalmazásba.
funkciók: Képgenerálás
Javaslati alkalmazás létrehozása a .NET MAUI és a ChatGPT használatával
Oktatóanyag: Ajánlóalkalmazás készítése .NET MAUI és ChatGPT használatával
Leírás: Integrálja az OpenAI csevegésvégzítési képességeit egy asztali .NET MAUI-alkalmazásba.
funkciók: Képgenerálás
alkalmazástípus: C#, .NET MAUI
DALL-E hozzáadása az asztali .NET MAUI-alkalmazáshoz
oktatóanyag: DALL-E hozzáadása a .NET MAUI asztali windowsos alkalmazáshoz
Leírás: Integrálja az OpenAI DALL-E képgenerálási képességeket egy asztali .NET MAUI-alkalmazásba.
funkciók: Képgenerálás
alkalmazástípus: C#, .NET MAUI
Régi WinML minták
GitHub-adattár: WinML-minták a GitHubon
Leírás: A WinML továbbra is támogatott, de ezek a minták nem lettek frissítve a modern AI-használatnak megfelelően.