Sdílet prostřednictvím


Přehled webNN

Webové rozhraní API pro neurální síť (WebNN) je nově vznikající webový standard, který umožňuje webovým aplikacím a architekturám zrychlit hluboké neurální sítě s grafickými procesory, procesory nebo účelově sestavenými akcelerátory AI, jako jsou NPU. Rozhraní WebNN API využívá rozhraní DirectML API ve Windows pro přístup k nativním hardwarovým funkcím a optimalizaci provádění modelů neurální sítě.

S tím, jak se používání AI/ML v aplikacích stává oblíbenějším, poskytuje rozhraní API WebNN následující výhody:

  • optimalizace výkonu – Díky použití DirectML pomáhá WebNN umožnit webovým aplikacím a architekturám využívat nejlepší dostupné hardwarové a softwarové optimalizace pro každou platformu a zařízení bez nutnosti složitého a specifického kódu platformy.
  • nízká latence – Odvozování v prohlížeči pomáhá umožnit nové případy použití místních zdrojů médií, jako je analýza videa v reálném čase, detekce tváří a rozpoznávání řeči, aniž by bylo nutné odesílat data na vzdálené servery a čekat na odpovědi.
  • ochrana osobních údajů – Uživatelská data zůstávají v zařízení a zachovává ochranu osobních údajů uživatelů, protože webové aplikace a architektury nemusí nahrávat citlivé nebo osobní údaje do cloudových služeb ke zpracování.
  • - Vysoká dostupnost – po počátečním ukládání prostředků do mezipaměti pro offline případ není třeba spoléhat na síť, protože mohou webové aplikace a frameworky spouštět modely neurálních sítí místně, i když připojení k internetu není dostupné nebo je nespolehlivé.
  • nízké náklady na server – Výpočty na klientských zařízeních znamenají, že nejsou potřeba žádné servery, což pomáhá webovým aplikacím snížit provozní a údržbu nákladů na provoz služeb AI/ML v cloudu.

Scénáře AI/ML podporované webNN zahrnují generování umělé inteligence, rozpoznávání osob, detekci tváří, sémantickou segmentaci, detekci kostry, přenos stylu, super rozlišení, titulkování obrázků, strojový překlad a potlačení šumu.

Poznámka

Rozhraní WebNN API se stále vyvíjí s podporou GPU a NPU ve stavu náhledu. Rozhraní WebNN API by se v současné době nemělo používat v produkčním prostředí.

Podpora rámce

WebNN je navržený jako back-endové rozhraní API pro webové architektury. Pro Windows doporučujeme používat ONNX Runtime Web. To poskytuje známé prostředí pro nativní používání DirectML a ONNX Runtime, takže můžete mít konzistentní prostředí pro nasazování AI ve formátu ONNX napříč webovými a nativními aplikacemi.

Požadavky webNN

Informace o prohlížeči můžete zkontrolovat tak, že přejdete na about://version v adresním řádku prohlížeče chromu.

Hardwarové vybavení Webové prohlížeče Verze Windows Webová verze modulu runtime ONNX Verze ovladače
gpu WebNN vyžaduje prohlížeč Chromium*. Použijte nejnovější verzi microsoft Edge Beta. Minimální verze: Windows 11 verze 21H2. Minimální verze: 1.18 Nainstalujte nejnovější ovladač hardwaru.
NPU WebNN vyžaduje prohlížeč Chromium*. Použijte nejnovější verzi Microsoft Edge Canary. V následující poznámce se dozvíte, jak zakázat seznam blokovaných gpu. Minimální verze: Windows 11 verze 21H2. Minimální verze: 1.18 Verze ovladače Intel: 32.0.100.2381. Postup aktualizace ovladače najdete v nejčastějších dotazech.

diagram struktury za integrací WebNN do webové aplikace

Poznámka

Prohlížeče založené na chromu můžou v současné době podporovat webNN, ale budou záviset na stavu implementace jednotlivých prohlížečů.

Poznámka

Pro podporu NPU spusťte prohlížeč Edge z příkazového řádku s následujícím příznakem: msedge.exe --disable_webnn_for_npu=0

Podpora modelů

GPU (Preview):

Při spouštění na grafických procesorech v současné době WebNN podporuje následující modely:

WebNN také funguje s vlastními modely, pokud je dostatečná podpora operátoru. Zkontrolujte stav operátorů zde.

NPU (Preview):

Na procesorech Intel® Core™ Ultra s Intel® AI Boost NPU podporuje WebNN:

FAQ

Jak vytvořím problém s webNN?

Pokud máte obecné problémy s WebNN, napište prosím problém na webu WebNN Developer Preview na GitHubu

V případě problémů s webem modulu runtime ONNX nebo poskytovatelem spouštění WebNN přejděte na ONNXRuntime na GitHubu.

Jak mohu ladit problémy s WebNN?

WebNN W3C Spec obsahuje informace o šíření chyb, obvykle prostřednictvím výjimek DOM. Protokol na konci about://gpu může obsahovat užitečné informace. Pro další problémy prosím nahlaste problém, jak je uvedeno výše.

Podporuje WebNN jiné operační systémy?

WebNN v současné době nejlépe podporuje operační systém Windows. Probíhá verze jiných operačních systémů.

Jaké back-endy hardwaru jsou aktuálně k dispozici? Podporují se určité modely pouze u konkrétních hardwarových back-endů?

Informace o podpoře operátorů ve službě WebNN najdete v tématu Stav implementace operací WebNN | Web Machine Learning.

Jaké jsou kroky aktualizace ovladače Intel pro podporu NPU (Preview)?

  1. Vyhledejte aktuální ovladač na webu ovladačů Intel.
  2. Rozbalte soubor ZIP.
  3. Stisknutím win+R otevřete dialogové okno Spustit.
  4. Do textového pole zadejte devmgmt.msc.
  5. Stiskněte Enter nebo klikněte na OK.
  6. Ve Správci zařízení otevřete uzel Neurální procesory.
  7. Klikněte pravým tlačítkem na NPU, jehož ovladač chcete aktualizovat.
  8. V místní nabídce vyberte Aktualizovat ovladač.
  9. Vyberte možnost „Procházet můj počítač pro ovladače“.
  10. Vyberte Možnost Vybrat ze seznamu dostupných ovladačů na mém počítači.
  11. Stiskněte tlačítko "Máte disk".
  12. Stiskněte tlačítko Procházet.
  13. Přejděte na místo, kde jste dekomprimovali výše uvedený soubor ZIP.
  14. Stiskněte OK.