Windows Studio Effects áttekintése (előzetes verzió)

A Windows Studio Effects a mesterséges intelligenciát használja a kompatibilis neurális feldolgozó egységgel (NPU-kkal) rendelkező Windows-eszközökön, hogy speciális effektusokat alkalmazzon az eszköz kameráján (jelenleg támogatja az előlapi kamerát) vagy a beépített mikrofonon. Az NPU által támogatott AI-effektusok a következők:

• Háttér elmosódás
• Szemkontaktus
• Automatikus keretezés
• Hangfókusz
• Portréfény
• Kreatív szűrők
• Szemkontraszt teleprompter

Windows Studio Effects AI-fejlesztések listája.

Előfeltételek

• Windows 11, 22H2-es vagy újabb verzió (22623.885-ös build)
• Az eszköznek támogatott NPU-val kell rendelkeznie, és a hardver gyártójának választania kell a részvételt azáltal, hogy telepíti a Windows Studio Effect illesztőprogramot a rendszerre.

Hogyan működik a Windows Studio Effects az eszköz hardverével?

A Windows Studio Effects a Microsoft által készített és neurális feldolgozási egységekkel (NPU) rendelkező eszközökre lefordított/optimalizált AI-modelleket használja a nagy megbízhatóságú, akkumulátorbarát AI-hatások érdekében, amelyek csökkentik az eszköz PROCESSZORára és GPU-jára nehezedő terheket, és megbízható Microsoft AI-élményt biztosítanak, amely a teljes Windows-ökoszisztémát skálázza minden kompatibilis eszköz esetében.

A Windows Studio Effects szabványosítja az eszköz kamerájának és mikrofonjának vezérlőfelületeit (kernelstreamelési tulajdonságok és API-k). Ezzel a vezérlőfelülettel bármely alkalmazás:

• Annak felderítése, hogy támogatottak-e a effektusok
• Effektusok szükség szerinti be- és kikapcsolása
• Az elérhető metaadatok elérése

Az effektusok a kamera (vagy mikrofon) hardverszintjén vannak alkalmazva, így ha a Windows Studio Effectsbe van kapcsolva egy effektus, akkor is alapértelmezés szerint be van kapcsolva a kamerát használó bármely alkalmazásnál, még akkor is, ha az alkalmazás nem tud az effektusról.

Tudjon meg többet arról, hogyan működik a windowsos Studio Effects architektúra.

Windows Studio Effects vezérlése a Beállításokban

A Windows Studio Effects a tálcáról nyitható meg (a fenti képen látható módon), de a Beállítások menüből is vezérelhető.

• Nyissa meg Beállítások>Bluetooth &-eszközök>Kamerák, majd válassza ki a Csatlakoztatott kamerák listájából, és nyissa meg a kamera beállításait.
• Láthatja az előlapi kamera kijelző előnézetét, valamint az alatta felsorolt kameraeffektusokat.

A Kamerabeállítások alkalmazás egy új funkció a Windows 11-ben, amely lehetővé teszi az ügyfelek számára, hogy az összes kamerát megtekintsék a rendszerükön, és kiválasztják az előnyben részesített "alapértelmezett" értékeket egy vezérlőkészletből, kameránként, felhasználónként, gépenként.

A Kamerabeállítások alkalmazás képes módosítani az alapvető vezérlőket, például a Fényerőt és a Kontrasztot, de a Windows Studio-effektusokat is, például a Háttér elhomályosítását és a Szemkontaktust.

A Kamerabeállítások alkalmazás a kameragyártók által biztosított kiegészítő alkalmazásokkal is támogatja a bővíthetőséget. Ezek a társalkalmazások lehetővé teszik az eszközgyártók számára, hogy saját egyéni felhasználói felületet kínáljanak a kamerabeállítások módosításához, és/vagy további egyéni kameraeffektusok vezérlőit biztosíthassák (például a kamera gyártója által biztosított "Funny Hat" effektus be- és kikapcsolása).

A Windows Studio Effects támogatást nyújt az integrált előlapi kamerához:

• Háttéreffektusok: Két támogatott modell...
  • Standard Blur - egy egyszerű gauss elmosódás effektus.
  • Portré elmosódás - finom bokeh-szerű elmosódás hatás. Az eszköz képességeitől függően lehet finom vagy mélységalapú elmosódás.
• Eye Contact: Két támogatott modell...
  • Standard – finom korrekció a kameráról a képernyőre letekintő eszközfelhasználók számára. *Nem állítja be a szem bal vagy jobb mozgását.
  • Teleprompter – agresszívabb korrekció olyan ügyfelek számára, akik olvasás közben a képernyőn mindenfelé néznek a teleprompter tartalmát.
• Automatikus keretezés: Észleli a kamera látómezőjében lévő személyt, és kivágás/nagyítás használatával keretben tartja őket.
• Portrévilágítás: Javítsa a videóban szereplő személy megvilágításának minőségét gyengén megvilágított környezetben, és távolítsa el az erős képernyő fényének tükröződését.
• Kreatív szűrők: Videószűrők, hogy szórakoztatóak és látványosak legyenek.

Az integrált mikrofonhoz támogatott Windows Studio Effects a következők:

• Hangfókusz: A háttérzaj kiszűrésére tervezett mikrofoneffektus, amely biztosítja, hogy a hang jól átjönjön a videohívások során.

Windows Studio Effects architektúra

Ha egy kamerát a Windows Studio Effectshasznál, a Windows Studio Effects csomag a kamera végéhez lesz láncolva. Ez transzparens módon történik, így az "igazi" kamerát egy "összetett" kamerára cserélik, amely a kamera funkcióiból és a Windows Studio AI-effektusokból áll. A végfelhasználó továbbra is csak az "igazi" kamerát látja, de a Windows Studio Effects már elérhető a kamera nevében.

A "Valós" kamera tartalmazza a Kernel Streaming (KS) tulajdonságokat, mint például a fényerőt, a kontrasztot és az egyéb, a Microsoft által implementált tulajdonságokat, valamint azokat az ügyféltulajdonságokat, amelyeket az eszközgyártó (OEM) illesztőprogramja implementált.

Mivel a Windows Studio Effects mindig az utolsó elem a láncban, az alkalmazások biztosak lehetnek abban, hogy ha a Windows Studio Effects engedélyezve van egy kamerához, akkor a kamera által megvalósított Háttér elmosódás, Szemkontaktus és Automatikus keretezés KS-tulajdonságokat a Windows Studio Effectsbiztosítja.

Ha a kamera nem a Windows Studio Effectshasználatát, a kamerához hozzáférő alkalmazások csak a "Valódi" kamera KS-tulajdonságait (Fényerő, Kontraszt stb.) látják.

Ha a kamera a Windows Studio Effectshasználatát választja, a kamerához hozzáférő alkalmazások a Windows Studio Effects AI-effektusokat képviselő KS-tulajdonságok mellett a "Valós" kamera KS-tulajdonságait is láthatják, például a Háttér elmosása, a Szemkontaktus stb.

Ha ugyanazon KS-tulajdonság második implementációja alacsonyabb a láncban (például egy OEM- DMFT is megvalósítja a Háttérelmosási effektust), az implementáció kikapcsolva marad, mivel az elmosódott KS tulajdonság alapértelmezett értéke ki van kapcsolva. Ha az Elmosás be van kapcsolva a kamerán, a Windows Studio kezeli ezt a kérést belsőleg, és nem továbbítja más összetevők felé (DMFT-k, AVStream-illesztőprogramok stb.).

Ez a megközelítés lehetővé teszi, hogy az eszközgyártók (például a Dell vagy a Lenovo, valamint az IHV-k, például az Intel, az AMD vagy az NVIDIA) saját kamerafeldolgozási funkciókat implementáljanak a DMFT-iken belül vagy közvetlenül a kamerában, mielőtt a Windows Studio hozzáadná a szabványos Windows AI-élményt.

Alkalmazásintegráció Windows Studio Effects-val

Amikor bármely alkalmazás Windows API-kkal indítja el a kamerastreamet, a Windows a Kernel Streaming (KS) tulajdonság aktuális értékét úgy állítja be, hogy megfeleljen a Windows Studio Effects kamerabeállításokban megadott alapértelmezett értéknek, mielőtt a vezérlőt átadja az alkalmazásnak. A Kamerabeállításokban megadott alapértelmezett érték egyeztetésével a kamera mindig ismert állapotban indul el,.

Ha a Windows Studio Effectsintegrálva van, az alkalmazás a következőt teheti:

• Mindig fogadja el a rendszer alapértelmezett – A felhasználó határozza meg az alapvető beállításokat (azaz. Fényerő) a Kamera beállításai között, és ezt az értéket alkalmazáson belüli vezérlők nélkül alkalmazza.
• Rendszer alapértelmezés szerint indul el, de a felhasználó valós időben módosítja – A felhasználó az alkalmazás (azaz az alkalmazás fényerő csúszkái) használata közben módosíthatja a kamera beállításait a rendszer alapértelmezett beállítása nélkül. A felhasználó dönthet úgy, hogy menti az alkalmazáson belüli kamerabeállítást egy új alapértelmezett beállítás létrehozásához.

Ha az alkalmazás már írt egy értéket egy olyan KS-tulajdonságba, amely a Stream indítása előtt a Beállítások lapról is alapértelmezett értékkészlettel rendelkezik, a Windows kihagyja a felhasználó alapértelmezett értékének alkalmazását a stream indításakor. Ha például a felhasználó alapértelmezett fényerője 60, de az alkalmazás a stream indítása előtt 65-ösre állítja a fényerő aktuális értékét, a kamera 60 helyett 65-ös fényerővel indul.

Függetlenül attól, hogy az alkalmazás milyen élményt kínál, mindig érdemes egy alkalmazáson belüli gombot vagy hivatkozást megadni a Kamerabeállítások alkalmazás elindításához. A Kamerabeállítások a következő hivatkozással érhető el: ms-settings

Egy adott kamera kamerabeállításai ezzel a hivatkozásformátummal indíthatók el: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

Látogasson el a Windows-Camera GitHub-tárházba, hogy megtekintse egy Windows Studio Effects kamerás API-kon keresztül kommunikáló alkalmazás teljes kódmintáját.

Mintakódrészlet egy adott kamera kamerabeállításainak meghívásához

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Ez a Windows 11 22H2-es és újabb verziójában érhető el. A Windows 11 régebbi verzióiban a ms-settings hivatkozás meghívásával a felhasználó a kamerabeállítások gyökéroldalára kerül.

További kamerabeállítások alkalmazása

Miután a kamera adatfolyama ismert állapotra van állítva, az alkalmazás szívesen lekérdezi és alkalmazza a további konfigurációt, és szükség szerint új KS-tulajdonságértékeket ír a kamerára. Ha egy ügyfél olyan alkalmazást használ, amely nem ismeri az adott kameravezérlőket (például Fényerő vagy Háttér elhomályosító), a kamerabeállításokban megadott vezérlők beállításai továbbra is érvényesek lesznek az alkalmazásra. Ha azonban az ügyfél olyan alkalmazást használ, amely ismeri ezeket a vezérlőket, az alkalmazás a kamera használata közben módosíthatja a vezérlők aktuális értékét.

Az alkalmazások nem módosíthatják a vezérlők alapértelmezett értékét. Ez az óvintézkedés biztosítja, hogy az egyik alkalmazás ne változtassa meg a kamerát használó többi alkalmazás viselkedését. Az alapértelmezett értékek csak a Kamerabeállítások alkalmazásból módosíthatók.

A Windows 11 22H2-es verziójában azok az ügyfelek, akik windowsos Studio Effects támogató eszközzel rendelkeznek, közvetlenül a Kamera beállításai oldalról kapcsolhatják be és kikapcsolhatják az effektusokat, valamint a kamera hardverére vonatkozó egyéb gyakori beállításokat.

A Windows hardvergyártói útmutatója

Az eredeti berendezésgyártók (OEM-ek), amelyek a legújabb Windows 11-funkciókkal rendelkező hardvereket terveznek, engedélyezhetik a Windows Studio Effectshasználatát.

Hibaelhárítás

Előfordulhat, hogy a Windows-alkalmazás már rendelkezik olyan alkalmazáson belüli funkciókkal, amelyek átfedésben vannak a Windows Studio Effects által a kamerára alkalmazott AI-effektusokkal (például háttérbeli életlenítés). Ha a Kamerabeállítások alkalmazás nem kezeli a kamera által biztosított effektusok állapotát, az alkalmazáson belüli funkció kieshet a szinkronizálásból, ami felhasználói élményproblémákat okozhat.

Egymást átfedő hatások elkerülése

Fontolja meg egy olyan alkalmazást, amely Háttér elmosása funkciót kínál, amely olyan rendszeren fut, ahol a kamera támogatja a Windows és a Kamerabeállítások alkalmazás által alkalmazott Studio Effects ot is.

Ha az ügyfél bekapcsolta a Háttér elhomályosító ON a Windows Kamerabeállítások alkalmazásban, a kamera által biztosított effektus a kamera indításakor lesz alkalmazva. Ezután az alkalmazáson belüli elmosódás vezérlő vagy mint KI jelenik meg annak ellenére, hogy az elmosódási effektus egyértelműen be van kapcsolva, vagy mint BE dupla elmosással (a kamera elmosódottságával és az alkalmazás elmosódási effektusával), pazarlása az erőforrásoknak.

Ha támogatott eszközön fut, javasoljuk, hogy közvetlenül használja a Windows Studio Effects-t, hogy magas részletességű effektusokat biztosítson kevesebb rendszererőforrással és alacsonyabb akkumulátor-igénnyel. Így amikor egy ügyfél az alkalmazáson belüli vezérlőkkel kommunikál, közvetlenül szinkronizálja magát a kamerát a Windows Studio Effects funkcióival. A szinkronizálás beállításának és az átfedés elkerülésének lépéseit a fenti Alkalmazásintegráció windowsos Studio Effects című szakaszában találja.

Ha az alkalmazás olyan eszközön fut, amely támogatja a Windows Studio Effects, de ön inkább egy másik külső szolgáltatás által alkalmazott effektusokat részesíti előnyben (vagy egyáltalán nem alkalmazza), kapcsolja ki az ütköző Windows Studio Effects.

A Windows Studio Effectskikapcsolása:

1. Ellenőrizze, hogy vannak-e átfedésben lévő KS-tulajdonságok.
2. Ha a tulajdonságok átfedésben vannak, állítsa őket KI értékre a kamera indításakor.

Ha például biztosítani szeretné, hogy a kameraszintű elmosódás funkció legyen, ellenőrizze, hogy a kamera rendelkezik-e a funkcióval KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION, és ha igen, gondoskodjon róla, hogy az KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFFlegyen beállítva.

A Microsoft elkötelezettsége a felelős AI mellett

Annak biztosítása érdekében, hogy a Windows Studio Effects megbízható, biztonságos és felelősen épüljön fel, olyan modelleket használ, amelyeket a fejlesztés során széles körben értékeltek, irányítottak és betanítottak a méltányossági teszteléssel.

Emellett a Kreatív szűrők által használt adatkészlet 3000 kézzel rajzolt portrét tartalmaz különböző korú, nemű és fajú felhasználókról, amelyek mindegyike a felhasználói beállítások tanulmányozása alapján készült stíluskalauzhoz igazodik. A Teleprompter és a Creative szűrők esetében nagy hangsúlyt fektettek a termék funkcióira az egyedi szemtulajdonságokkal rendelkező felhasználók számára.

További erőforrások

• Felelős Generáló AI alkalmazások és funkciók fejlesztése a Windows platformon
• Kamerák kezelése a Windows 11 kamerabeállításaival: Windows Studio Effects támogatás
• Az AI-élményekkel rendelkező eszközök előnyei