Kezdje el az AI használatát Windows operációs rendszeren
Az intelligens AI-élmények a Windowson és vele együtt történő fejlesztésének képessége gyorsan fejlődik. Windows Copilot Runtime AI-alapú funkciókat és APIs kínál a Copilot+ rendszerű számítógépeken. Ezek a funkciók aktív fejlesztés alatt állnak, és mindig helyileg futnak a háttérben. További információ a Windows Copilot Runtime.
A Microsoft a Windows Copilot Runtimekívül számos AI-szolgáltatást, támogatást és útmutatást is kínál. Az első lépésekhez és az AI üzleti igényekhez való biztonságos integrálásának megismeréséhez tekintse meg a Windows AI dokumentációjában található útmutatást, többek között az alábbiakat:
- Hogyan használhatja az AI-t a Windows-alkalmazásban?
- Válasszon a felhőalapú és a helyi AI-szolgáltatások
- Használ Q#
- Felhőalapú APIs használata
- Egyéni modell használata a helyi gépen
- Felelős AI-eljárások használata
- Gyakori kérdések
Hogyan használhatja az AI-t a Windows-alkalmazásban?
A Windows-alkalmazások a gépi tanulási (ML) modellek felhasználásával különböző módokon fejleszthetik funkcióikat és javíthatják a felhasználói élményt a mesterséges intelligenciával, többek között a következőket:
- Az alkalmazások Generatív AI-modellek használatával összetett témaköröket ismerhetnek meg az összegzéshez, átíráshoz, jelentéskészítéshez vagy bővítéshez.
- Az alkalmazások olyan modelleket használhatnak, amelyek a szabad formátumú tartalmakat strukturált formátummá alakítják, amelyeket az alkalmazás megérthet.
- Az alkalmazások szemantikai keresési modelleket használhatnak, amelyek lehetővé teszik a felhasználók számára a tartalom jelentés szerinti keresését és a kapcsolódó tartalmak gyors megtalálását.
- Az alkalmazások természetes nyelvi feldolgozási modelleket használhatnak az összetett természetes nyelvi követelmények magyarázatára, valamint a felhasználó kérésének végrehajtásához szükséges műveletek megtervezésére és végrehajtására.
- Az alkalmazások képmanipulációs modellek használatával intelligensen módosíthatják a képeket, törölhetik vagy hozzáadhatnak témákat, felskálázhatják vagy új tartalmakat hozhatnak létre.
- Az alkalmazások prediktív diagnosztikai modelleket használhatnak a problémák azonosításához és előrejelzéséhez, és segíthetnek a felhasználó irányításában vagy a számukra történő megoldásában.
Választás a felhőalapú és a helyi AI-szolgáltatások között
Az AI windowsos alkalmazásba való integrálása két elsődleges módszerrel érhető el: egy helyi vagy egy felhőalapú modellel. Az igényeinek megfelelő lehetőség meghatározásakor több szempontot is figyelembe kell venni.
erőforrás rendelkezésre állás
- helyi eszköz: A modell futtatása a használt eszközön elérhető erőforrásoktól függ, beleértve a processzort, a GPU-t, az NPU-t, a memóriát és a tárolókapacitást. Ez korlátozott lehet, ha az eszköz nem rendelkezik nagy számítási teljesítménnyel vagy elegendő tárhellyel. A kis nyelvi modellek (SLM-ek), például Phi, ideálisabbak helyileg az eszközön való használatra. Copilot+ pc-kWindows Copilot Runtime által futtatott beépített modelleket kínálnak használatra kész AI-funkciókkal.
- Felhő: felhőplatformok, például Azure AI Services, skálázható erőforrásokat kínálnak. Annyi számítási teljesítményt vagy tárterületet használhat, amennyire szüksége van, és csak azért fizethet, amit használ. A nagyméretű nyelvi modellek, például az OpenAI nyelvi modellek, több erőforrást igényelnek, de erősebbek is.
Adatvédelem és Biztonság
- helyi eszköz: Mivel az adatok az eszközön maradnak, a modell helyi futtatása előnyökkel járhat a biztonság és az adatvédelem szempontjából, és az adatbiztonság a felhasználóra hárul.
- Felhő: felhőszolgáltatók robusztus biztonsági intézkedéseket kínálnak, de az adatokat át kell vinni a felhőbe, ami bizonyos esetekben adatvédelmi aggályokat vethet fel az üzleti vagy appszolgáltatás-karbantartó számára.
Akadálymentesség és Együttműködés
- Helyi eszköz: A modell és az adatok csak az eszközön érhetők el, kivéve, ha manuálisan vannak megosztva. Ez megnehezítheti a modelladatokon végzett együttműködést.
- felhő: A modell és az adatok bárhonnan elérhetők internetkapcsolattal. Ez jobb lehet az együttműködési forgatókönyvekhez.
Költség
- helyi eszköz: Az eszköz hardverbe történő kezdeti befektetésén túl nincs további költség.
- Felhő: Míg a felhőplatformok használatalapú fizetéses modellen működnek, a költségek a felhasznált erőforrások és a használat időtartama alapján halmozódhatnak fel.
Karbantartás és frissítés
- helyi eszköz: A felhasználó feladata a rendszer karbantartása és a frissítések telepítése.
- Felhő: karbantartást, rendszerfrissítéseket és új funkciófrissítéseket a felhőszolgáltató kezeli, így csökkentve a felhasználó karbantartási terhelését.
Használja a Windows Copilot Runtime-t
Ha a helyi AI-modell a megfelelő megoldás, Windows Copilot Runtime funkciókkal integrálhatja a Copilot+ pc-k felhasználói számára készült AI-szolgáltatásokat. Néhány ilyen használatra kész AI-funkció, amelybe a Windows-alkalmazásból koppinthat:
- Phi Silica: helyi, használatra kész nyelvi modell.
- Recall: Egy UserActivity API, amely mesterséges intelligenciát használ a korábbi tevékenységben való kereséshez, amelyet Kattintásrafunkció támogat, amely a Phi Silica használatával csatlakoztatja a műveleteket a Recalláltal talált tartalomhoz (szöveghez vagy képekhez).
- AI-képalkotási: képek méretezése és élesítése mesterséges intelligenciával (képfelbontási), valamint a képeken belüli objektumok azonosítása (képszegmentálási).
- Windows Studio Effects: AI-effektusok alkalmazása az eszköz kamerájához vagy a beépített mikrofonhoz.
További információ az Windows Copilot Runtime Oveviewelérhető funkcióiról.
Felhőalapú APIs használata
Ha egy felhőalapú megoldás jobban működik a Windows-alkalmazás forgatókönyvéhez, az alábbi oktatóanyagok némelyike érdekelheti.
Számos APIs érhető el a felhőalapú modellek eléréséhez, amelyek mesterséges intelligencia funkciókkal látják el a Windows-alkalmazást, legyenek azok testre szabottak vagy használatra készek. A felhőalapú modell használata lehetővé teszi, hogy az alkalmazás zökkenőmentes maradjon az erőforrás-igényes feladatok felhőbe való delegálásával. A Microsoft vagy az OpenAI által kínált, mesterséges intelligenciával támogatott felhőalapú APIs hozzáadásához a következő erőforrások segíthetnek:
OpenAI-csevegés befejezésének hozzáadása a WinUI 3/Windows App SDK asztali alkalmazáshoz: Oktatóanyag arról, hogyan integrálhatja a felhőalapú OpenAI ChatGPT-kiegészítési képességeket egy WinUI 3/Windows App SDK asztali alkalmazásba.
DALL-E hozzáadása a WinUI 3/Windows App SDK asztali alkalmazáshoz: Oktatóanyag arról, hogyan integrálható a felhőalapú OpenAI DALL-E rendszerkép-létrehozási képességek egy WinUI 3/Windows App SDK asztali alkalmazásba.
Ajánlóalkalmazás készítése .NET MAUI-val és ChatGPT segítségével: Oktatóanyag arról, hogyan lehet a felhőalapú OpenAI ChatGPT szövegkiegészítési képességeit integrálni egy .NET MAUI alkalmazásba egy mintaalkalmazás létrehozásával.
DALL-E hozzáadása az asztali .NET MAUI-alkalmazáshoz: Oktatóanyag a felhőalapú OpenAI DALL-E képgenerálási képességek .NET MAUI-alkalmazásba való integrálásáról.
Azure OpenAI service: Ha azt szeretné, hogy Windows-alkalmazása hozzáférhessen az OpenAI-modellekhez, például a GPT-4-hez, a GPT-4 Turbo with Visionhez, a GPT-3.5-Turbo-hoz, a DALLE-3-hoz vagy a Beágyazások modellsorozathoz, az Azure hozzáadott biztonsági és vállalati képességeivel, ebben az Azure OpenAI-dokumentációban talál útmutatást.
Azure AI-szolgáltatások: Az Azure a rest APIs és az ügyféloldali kódtár SDK-kkal elérhető AI-szolgáltatások teljes készletét kínálja népszerű fejlesztési nyelveken. További információkért tekintse meg az egyes szolgáltatások dokumentációját. Ezek a felhőalapú szolgáltatások segítenek a fejlesztőknek és szervezeteknek gyorsan intelligens, élvonalbeli, piackész és felelős alkalmazásokat létrehozni a beépített, előre összeállított és testreszabható APIs és modellek használatával. A példaalkalmazások közé tartozik a beszélgetések természetes nyelvi feldolgozása, a keresés, a monitorozás, a fordítás, a beszéd, a látás és a döntéshozatal.
Egyéni modell használata a helyi gépen
Ha lehetőséged van arra, hogy saját modelljeidet privát adataiddal olyan platformokon tanítsd, mint a TensorFlow vagy a PyTorch. Ezt az egyéni modellt integrálhatja a Windows-alkalmazásba, ha helyileg futtatja az eszköz hardverén a Visual Studio Code ONNX Runtime és AI Toolkit használatával.
A AI Toolkit Visual Studio Code egy VS Code-bővítmény, amely lehetővé teszi az AI-modellek helyi letöltését és futtatását, beleértve a jobb teljesítmény és a skálázhatóság érdekében történő hardveres gyorsításhoz való hozzáférést a DirectML segítségével. Az AI Tookit a következőket is segítheti:
- Modellek tesztelése intuitív játszótéren vagy az alkalmazásban REST API-val.
- Az AI-modell finomhangolása helyileg vagy a felhőben (virtuális gépen) új készségek létrehozásához, a válaszok megbízhatóságának javításához, a válasz hangnemének és formátumának beállításához.
- A népszerű kis nyelvi modellek (SLM-ek) finomhangolása, például Phi-3 és Mistral.
- Az AI-funkció üzembe helyezése a felhőben vagy egy eszközön futó alkalmazással.
- Használja ki a hardveres gyorsítást a jobb teljesítmény érdekében a DirectML-t használó AI-funkciókkal. A DirectML egy alacsony szintű API, amely lehetővé teszi, hogy a Windows-eszköz hardvere felgyorsítsa az ml-modellek teljesítményét az eszköz GPU-jának vagy NPU-jának használatával. A DirectML és a ONNX Runtime párosítása általában a legegyértelmesebb módja annak, hogy a fejlesztők a hardveresen gyorsított AI-t nagy léptékben érhessék el a felhasználók számára. További információ: DirectML áttekintése.
Érdemes lehet áttekinteni ezeket a modell finomhangolási fogalmait is, az előre betanított modelleket úgy módosítani, hogy jobban illeszkedjenek az adatokhoz.
Nyílt forráskódú modellek keresése
A nyílt forráskódú gépi tanulási modellek a weben találhatók, néhány a legnépszerűbbek közül:
- Hugging Face: Több mint 10 000 előre betanított ML-modell központja a természetes nyelvi feldolgozáshoz, a Transformers könyvtár által. A szövegbesoroláshoz, a kérdés megválaszoláshoz, az összegzéshez, a fordításhoz, a létrehozáshoz és sok máshoz is találhat modelleket.
- ONNX Model Zoo: Előre betanított, ONNX formátumú ML-modellek gyűjteménye, amely számos tartományt és feladatot, például számítógépes látást, természetes nyelvi feldolgozást, beszédet stb. fed le.
- Qualcomm AI Hub: Olyan platform, amely hozzáférést biztosít a Qualcomm Snapdragon-eszközökhöz optimalizált különböző ML-modellekhez és eszközökhöz. Kép-, video-, hang- és érzékelőfeldolgozási modelleket, valamint keretrendszereket, kódtárakat és SDK-kat találhat az ML-alkalmazások mobileszközökön történő létrehozásához és üzembe helyezéséhez. A Qualcomm AI Hub oktatóanyagokat, útmutatókat és közösségi támogatást is kínál fejlesztőknek és kutatóknak.
- Pytorch Hub: Egy előre betanított modelladattár, amelynek célja a kutatás reprodukálhatóságának elősegítése és az új kutatások engedélyezése. Ez egy egyszerű API és munkafolyamat, amely alapvető építőelemeket biztosít a gépi tanulási kutatások reprodukálhatóságának javításához. A PyTorch Hub egy előre betanított modelladattárból áll, amelyet kifejezetten a kutatás reprodukálhatóságának elősegítésére terveztek.
- TensorFlow Hub: A TensorFlow előre betanított ML-modelljeinek és újrafelhasználható összetevőinek adattára, amely az ML-modellek készítésének és betanításának népszerű keretrendszere. Kép-, szöveg-, video- és hangfeldolgozáshoz, valamint átviteli tanuláshoz és finomhangoláshoz is találhat modelleket.
- Model Zoo: Egy platform, amely a legjobb nyílt forráskódú ML-modelleket válogatja és rangsorolja a különböző keretrendszerekhez és feladatokhoz. Kategóriák, keretrendszerek, licencek és minősítések szerint böngészhet a modellek között, és megtekintheti az egyes modellekhez tartozó bemutatókat, kódot és papírokat.
Egyes modellkódtárak nem testre szabhatók és alkalmazáson keresztül terjeszthetők, de hasznos eszközök a gyakorlati feltáráshoz és a felfedezéshez a fejlesztési életciklus részeként, például:
- Ollama: Az Ollama a használatra kész ML-modellek piactere különböző feladatokhoz, például arcfelismeréshez, hangulatelemzéshez vagy beszédfelismeréshez. A modelleket néhány kattintással böngészheti, tesztelheti és integrálhatja az alkalmazásba.
- LM Studio: Az Lmstudio egy olyan eszköz, amellyel egyéni ml-modelleket hozhat létre saját adataiból egy húzási felület használatával. Különböző ML-algoritmusok közül választhat, előfeldolgozást végezhet és vizualizálhatja az adatokat, valamint betaníthatja és kiértékelheti a modelleket.
Felelős AI-eljárások használata
Amikor AI-funkciókat épít be a Windows-alkalmazásba, erősen javasoljuk, hogy kövesse Felelős generatív AI-alkalmazások és -szolgáltatások fejlesztése a Windows útmutatóját.
Ez az útmutató segít megérteni az irányítási szabályzatokat, a gyakorlatokat és a folyamatokat, azonosítani a kockázatokat, tesztelési módszereket javasolni, biztonsági intézkedéseket, például moderátorokat és szűrőket használni, és konkrét szempontokat javasol egy biztonságos és felelős modell kiválasztásakor.
Windows Copilot Runtime eszközalapú generatív AI-modellek segíthetnek a helyi tartalombiztonsági funkciók, például a káros tartalmak eszközbesorolási motorjai és az alapértelmezett tiltólista kikényszerítésében. A Microsoft előnyben részesíti a fejlesztőket abban, hogy biztonságos, megbízható AI-élményeket építsenek ki a windowsos helyi modellekkel.
További erőforrások
Phi Silica, kicsi, de hatalmas eszköz SLM (Windows Blogs)
AI a Windows mintagyűjteményben: Példák az AI Windows-alkalmazásokba való integrálásának módjaira.
AI Windows-szal való használatával kapcsolatos gyakori kérdések: Gyakori kérdések az AI Windows-környezeti használatával kapcsolatos terminológiáról és fogalmakról, lefedve olyan kérdéseket, mint például "Mi a DirectML?", "Mi az ONNX?", "Mi az ORT?", "Mi az NPU?", "Mi az SLM?", "Mi az a következtetés alapú feldolgozás?", "Mi a finomhangolás?", stb.
ONNX: Nyílt szabvány az ML-modellek különböző keretrendszerek és platformok közötti képviseletére és cseréjére. Ha ONNX formátumban talál egy előre betanított ML-modellt, ONNX Runtime (ORT) használatával betöltheti és futtathatja a modellt a Windows-alkalmazásban. Az ORT lehetővé teszi, hogy hozzáférjen az eszköz hardveresen gyorsított következtetési képességeihez, és optimalizálja az ML-modell teljesítményét. Ha más formátumú, előre betanított ML-modellel rendelkezik, például PyTorch vagy TensorFlow, akkor egy olyan modelloptimalizáló eszköz használatával konvertálhatja ONNX-re, mint Olive. Ha segítségre van szüksége az Olive használatához, tekintse meg a Microsoft Olive segítségével történő SLM finomhangolásról szóló (Journey Series for Generative AI Application Architecture). Az ONNX-modellek létrehozásáról és használatáról a GitHubon ONNX-oktatóanyagok című témakörben olvashat. Az ONNX-modellek Windows-alkalmazásokban való használatát bemutató példákért tekintse meg a windowsos mintagyűjtemény AI-t.
Kezdje el használni az ONNX-modelleket a WinUI-alkalmazásában a ONNX Runtime
WebNN API webalkalmazásokhoz: Web standard a neurális hálózati hardvergyorsítás eléréséhez böngészőkben a WebIDL és a JavaScript APIsalapján. Lehetővé teszi a webfejlesztők számára, hogy hatékonyan hozzanak létre és futtassanak gépi tanulási modelleket az ügyféloldalon anélkül, hogy felhőszolgáltatásokra vagy natív kódtárakra támaszkodnak. WebNN minták a GitHubon. WebNN minták a ONNX Runtime használatával a Windows Mintagyűjteményben az AI számára.
PyTorch: Egy nagyon népszerű nyílt forráskódú mélytanulási keretrendszer, amely Python és C++ felülettel érhető el. Valószínűleg ez lesz a leggyakoribb formátum az ML-modellekhez. Ha PyTorch ML-modelleket szeretne használni a Windows (C# vagy C++) alkalmazásban vagy egy webalkalmazásban, használhatja TorchSharp és LibTorch, amelyek a PyTorch-kódtár .NET- és C++ kötései. A TorchSharp és a LibTorch lehetővé teszi tenzorok létrehozását, betöltését és manipulálását, neurális hálózatok létrehozását és futtatását, valamint modellek mentését és betöltését PyTorch formátumban. Minták esetén TorchSharp példák, TorchScript az üzembe helyezéshez, PyTorch C++ példák. Webalkalmazások esetén tekintse meg Építsen egy webalkalmazást ONNX Runtime. A PyTorch-modellek DirectML-lel való futtatására vonatkozó példákért tekintse meg a AI-t a Windows mintagyűjteményében.
TensorFlow egy másik népszerű nyílt forráskódú szoftvertár a gépi tanuláshoz és a mesterséges intelligenciához, amellyel gépi tanulási modelleket hozhat létre és helyezhet üzembe különböző feladatokhoz.