Přehled webNN
Webové rozhraní API pro neurální síť (WebNN) je nově vznikající webový standard, který umožňuje webovým aplikacím a architekturám zrychlit hluboké neurální sítě s grafickými procesory, procesory nebo účelově sestavenými akcelerátory AI, jako jsou NPU. Rozhraní WebNN API využívá rozhraní DirectML API ve Windows pro přístup k nativním hardwarovým funkcím a optimalizaci provádění modelů neurální sítě.
S tím, jak se používání AI/ML v aplikacích stává oblíbenějším, poskytuje rozhraní API WebNN následující výhody:
- optimalizace výkonu – Díky použití DirectML pomáhá WebNN umožnit webovým aplikacím a architekturám využívat nejlepší dostupné hardwarové a softwarové optimalizace pro každou platformu a zařízení bez nutnosti složitého a specifického kódu platformy.
- nízká latence – Odvozování v prohlížeči pomáhá umožnit nové případy použití místních zdrojů médií, jako je analýza videa v reálném čase, detekce tváří a rozpoznávání řeči, aniž by bylo nutné odesílat data na vzdálené servery a čekat na odpovědi.
- ochrana osobních údajů – Uživatelská data zůstávají v zařízení a zachovává ochranu osobních údajů uživatelů, protože webové aplikace a architektury nemusí nahrávat citlivé nebo osobní údaje do cloudových služeb ke zpracování.
- - Vysoká dostupnost – po počátečním ukládání prostředků do mezipaměti pro offline případ není třeba spoléhat na síť, protože mohou webové aplikace a frameworky spouštět modely neurálních sítí místně, i když připojení k internetu není dostupné nebo je nespolehlivé.
- nízké náklady na server – Výpočty na klientských zařízeních znamenají, že nejsou potřeba žádné servery, což pomáhá webovým aplikacím snížit provozní a údržbu nákladů na provoz služeb AI/ML v cloudu.
Scénáře AI/ML podporované webNN zahrnují generování umělé inteligence, rozpoznávání osob, detekci tváří, sémantickou segmentaci, detekci kostry, přenos stylu, super rozlišení, titulkování obrázků, strojový překlad a potlačení šumu.
Poznámka
Rozhraní WebNN API se stále vyvíjí s podporou GPU a NPU ve stavu náhledu. Rozhraní WebNN API by se v současné době nemělo používat v produkčním prostředí.
Podpora rámce
WebNN je navržený jako back-endové rozhraní API pro webové architektury. Pro Windows doporučujeme používat ONNX Runtime Web. To poskytuje známé prostředí pro nativní používání DirectML a ONNX Runtime, takže můžete mít konzistentní prostředí pro nasazování AI ve formátu ONNX napříč webovými a nativními aplikacemi.
Požadavky webNN
Informace o prohlížeči můžete zkontrolovat tak, že přejdete na about://version v adresním řádku prohlížeče chromu.
| Hardwarové vybavení | Webové prohlížeče | Verze Windows | Webová verze modulu runtime ONNX | Verze ovladače |
|---|---|---|---|---|
| gpu | WebNN vyžaduje prohlížeč Chromium*. Použijte nejnovější verzi microsoft Edge Beta. | Minimální verze: Windows 11 verze 21H2. | Minimální verze: 1.18 | Nainstalujte nejnovější ovladač hardwaru. |
| NPU | WebNN vyžaduje prohlížeč Chromium*. Použijte nejnovější verzi Microsoft Edge Canary. V následující poznámce se dozvíte, jak zakázat seznam blokovaných gpu. | Minimální verze: Windows 11 verze 21H2. | Minimální verze: 1.18 | Verze ovladače Intel: 32.0.100.2381. Postup aktualizace ovladače najdete v nejčastějších dotazech. |
Poznámka
Prohlížeče založené na chromu můžou v současné době podporovat webNN, ale budou záviset na stavu implementace jednotlivých prohlížečů.
Poznámka
Pro podporu NPU spusťte prohlížeč Edge z příkazového řádku s následujícím příznakem: msedge.exe --disable_webnn_for_npu=0
Podpora modelů
GPU (Preview):
Při spouštění na grafických procesorech v současné době WebNN podporuje následující modely:
- Stable Diffusion Turbo
- Stable Diffusion 1.5
- Whisper-base
- MobileNetv2
- Segmentovat cokoli
- ResNet
- EfficientNet
- SqueezeNet
WebNN také funguje s vlastními modely, pokud je dostatečná podpora operátoru. Zkontrolujte stav operátorů zde.
NPU (Preview):
Na procesorech Intel® Core™ Ultra s Intel® AI Boost NPU podporuje WebNN:
FAQ
Jak vytvořím problém s webNN?
Pokud máte obecné problémy s WebNN, napište prosím problém na webu WebNN Developer Preview na GitHubu
V případě problémů s webem modulu runtime ONNX nebo poskytovatelem spouštění WebNN přejděte na ONNXRuntime na GitHubu.
Jak mohu ladit problémy s WebNN?
WebNN W3C Spec obsahuje informace o šíření chyb, obvykle prostřednictvím výjimek DOM. Protokol na konci about://gpu může obsahovat užitečné informace. Pro další problémy prosím nahlaste problém, jak je uvedeno výše.
Podporuje WebNN jiné operační systémy?
WebNN v současné době nejlépe podporuje operační systém Windows. Probíhá verze jiných operačních systémů.
Jaké back-endy hardwaru jsou aktuálně k dispozici? Podporují se určité modely pouze u konkrétních hardwarových back-endů?
Informace o podpoře operátorů ve službě WebNN najdete v tématu Stav implementace operací WebNN | Web Machine Learning.
Jaké jsou kroky aktualizace ovladače Intel pro podporu NPU (Preview)?
- Vyhledejte aktuální ovladač na webu ovladačů Intel.
- Rozbalte soubor ZIP.
- Stisknutím win+R otevřete dialogové okno Spustit.
- Do textového pole zadejte devmgmt.msc.
- Stiskněte Enter nebo klikněte na OK.
- Ve Správci zařízení otevřete uzel Neurální procesory.
- Klikněte pravým tlačítkem na NPU, jehož ovladač chcete aktualizovat.
- V místní nabídce vyberte Aktualizovat ovladač.
- Vyberte možnost „Procházet můj počítač pro ovladače“.
- Vyberte Možnost Vybrat ze seznamu dostupných ovladačů na mém počítači.
- Stiskněte tlačítko "Máte disk".
- Stiskněte tlačítko Procházet.
- Přejděte na místo, kde jste dekomprimovali výše uvedený soubor ZIP.
- Stiskněte OK.