Copilot+ PC Geliştirici Kılavuzu

Copilot+ bilgisayarlar, saniyede 40 trilyondan fazla işlem (TOPS) gerçekleştirebilen, gerçek zamanlı çeviriler ve görüntü oluşturma gibi yapay zeka yoğunluklu işlemler için özel bir bilgisayar yongası olan yüksek performanslı Bir Sinir İşlem Birimi (NPU) ile desteklenen yeni bir Windows 11 donanımı sınıfıdır. Copilot+ bilgisayarlar tüm gün pil ömrü ve en gelişmiş yapay zeka özelliklerine ve modellerine erişim sağlar. Daha fazla bilgi için Copilot+ Bilgisayarlara Giriş ve Resmi Microsoft Bloguadresini ziyaret edin.

Aşağıdaki Copilot+ BILGISAYAR Geliştirici Kılavuzu aşağıdakileri kapsar:

• Cihaz Önkoşulları
• Arm tabanlı Snapdragon Elite X+ yongası nedir?
• NPU işlemcili Copilot+ bilgisayarlar tarafından desteklenen benzersiz yapay zeka özellikleri
• Copilot+ bilgisayarda NPU'ya erişme
• bir Copilot+ bilgisayarda NPU'ya program aracılığıyla erişmek için ONNX Çalışma Zamanı'nı kullanma
• Cihaz NPU'da yerel olarak çalışan yapay zeka modellerinin performansını ölçme

Önkoşullar

Bu kılavuz, Copilot+ bilgisayarlar'a özgüdür.

Yeni Windows AI özelliklerinin çoğu, aşağıdakiler dahil ancak bunlarla sınırlı olmamak üzere 40'ın üzerinde TOPS çalıştırma özelliğine sahip bir NPU gerektirir:

• Microsoft Surface Laptop Copilot+ PC
• Microsoft Surface Pro Copilot + PC
• HP OmniBook X 14
• Dell Latitude 7455, XPS 13 ve Inspiron 14
• Acer Swift 14 AI
• Lenovo Yoga Slim 7x ve ThinkPad T14s
• Samsung Galaxy Book4 Edge
• ASUS Vivobook S 15 ve ProArt PZ13
• amd Ryzen AI 300 serisi veIntel Core Ultra 200V serisidahil olmak üzere yeni AMD ve Intel silicon ileCopilot+ bilgisayarlar.

Arm tabanlı Snapdragon Elite X yongası nedir?

Qualcomm tarafından oluşturulan yeni Snapdragon X Elite Arm tabanlı yonga, sektör lideri Sinir İşleme Birimi (NPU) aracılığıyla yapay zeka tümleştirmesini vurgular. Bu NPU, cpu veya GPU'dan daha verimli bir şekilde yapay zeka görevlerinde enerji kullanarak cihaz pil ömrünün daha uzun olmasına neden olan, saniyede trilyonlarca işlem gerçekleştirerek büyük miktarda veriyi paralel olarak işleyebiliyor. NPU, CPU ve GPU ile uyumlu şekilde çalışır. Windows 11, hızlı ve verimli performans sunmak için işleme görevlerini en uygun yere atar. NPU, yongadan buluta gelişmiş koruma için Kurumsal sınıf güvenlikle cihaz içi yapay zeka akıllı deneyimlerine olanak tanır.

• Qualcomm Snapdragon X Elitehakkında daha fazla bilgi edinin.
• Arm üzerindeWindows'u kullanma ve geliştirme hakkında daha fazla bilgi edinin.

NPU'ya sahip Copilot+ bilgisayarlar tarafından desteklenen benzersiz yapay zeka özellikleri

Copilot+ bilgisayarlar, Windows 11'in modern sürümleriyle birlikte gelen benzersiz yapay zeka deneyimleri sunar. Cihaz NPU'sunda çalışacak şekilde tasarlanan bu yapay zeka özellikleri, Windows'un en son sürümlerinde gönderilir ve Windows Copilot RuntimeAPI'ler aracılığıyla kullanılabilir. NPU üzerinde çalıştırılmak üzere (model tahmini) için optimize edilmiş modelleri destekleyen Windows Çalışma Zamanı Copilot API'leri hakkında daha fazla bilgi edinin. Bu API'ler, Windows Uygulama SDK'sının gelecek bir sürümünde gönderilir.

Copilot+ bilgisayarda NPU'ya erişme

Sinir İşlem Birimi (NPU) yeni bir donanım kaynağıdır. Bir bilgisayardaki diğer donanım kaynakları gibi NPU'nun da sunduğu avantajlardan yararlanmak için özel olarak programlanmış yazılımlara ihtiyacı vardır. NPU'lar, yapay zeka modellerini oluşturan derin öğrenme matematik işlemlerini yürütmek için özel olarak tasarlanmıştır.

Yukarıda bahsedilen Windows 11 Copilot+ AI özellikleri, NPU'nun avantajlarından yararlanmak için özel olarak tasarlanmıştır. Kullanıcılar, NPU'ları hedefleyen yapay zeka modelleri için daha iyi pil ömrü ve daha hızlı çıkarım yürütme süresi elde edecektir. NPU'lar için Windows 11 desteği Arm tabanlı Qualcomm cihazlarının yanı sıra Intel ve AMD cihazlarını da içerecektir (çok yakında).

NPU'ları olan cihazlarda, Görev Yöneticisi artık NPU kaynak kullanımını görüntülemek için kullanılabilir.

ile birlikte NPU performansını görüntüleyen Windows Görev Yöneticisi ekran görüntüsü

Cihaz NPU'sunda çıkarım (yapay zeka görevlerini çalıştırma) için önerilen yol, ONNX Runtimekullanmaktır. ONNX Runtime, NPU'ya ve GPU ve CPU'ya karşı programlamak için esnek ve performanslı bir yığındır ve kendi yapay zeka modellerinizi getirmenizi veya web'de bulunan açık kaynak yapay zeka modellerini kullanmanızı sağlar. Aşağıdaki NPU'ya erişmek için ONNX Çalışma Zamanı'nı kullanma hakkında daha fazla bilgi edinin veya Windows'da yapay zeka kullanmaya başlama hakkında daha fazla bilgi edinin.

bir Copilot+ bilgisayarda NPU'ya program aracılığıyla erişmek için ONNX Çalışma Zamanı'nı kullanma

Microsoft, ONNX Runtimeadlı eksiksiz bir açık kaynak çıkarım ve eğitim çerçevesi sağlar. ONNX Runtime, bir NPU üzerinde yapay zeka modellerini çalıştırmak için önerilen açık kaynak Microsoft çözümüdür. ONNX Çalışma Zamanı esnek olduğundan ve yapay zeka modellerini çalıştırmak için birçok farklı seçeneği desteklediğinden, seçenekler kafa karıştırıcı olabilir. Bu kılavuz, Windows Copilot+ bilgisayarlara özgü seçimleri seçmenize yardımcı olur.

• Qualcomm Snapdragon X: Şu anda geliştiricilerin Qualcomm AI Engine Direct SDK(QNN) kullanan Qualcomm QNN Yürütme Sağlayıcısı (EP)hedeflemesi gerekir. QNN desteği içeren hazır paketler indirilebilir. Bu, şu anda Windows Copilot Çalışma Zamanı tarafından kullanılan yazılım yığınıdır ve Copilot+ PC Qualcomm cihazlarında yaşanan deneyimlerle aynıdır. DirectML ve WebNN desteği, Qualcomm Snapdragon X Elite NPU'lar için Build 2024'te duyuruldu ve yakında kullanıma sunulacak.
• intel ve AMD NPU cihazları : Ek NPU cihazları 2024'te kullanıma sunulacaktır. DirectML, bu cihazları hedeflemek için önerilen yöntemdir.

Desteklenen model biçimleri

Yapay zeka modelleri genellikle FP32 gibi daha büyük veri biçimlerinde eğitilir ve kullanılabilir. Ancak birçok NPU cihazı, artan performans ve güç verimliliği için yalnızca INT8 gibi daha düşük bit biçiminde tamsayı matematiği destekler. Bu nedenle yapay zeka modellerinin NPU üzerinde çalıştırılabilmesi için dönüştürülmesi (veya "niceleştirilmesi") gerekir. Zaten kullanıma hazır biçime dönüştürülmüş birçok model vardır. Ayrıca dönüştürmek veya optimize etmek için kendi modeliniz (BYOM) getirebilirsiniz.

• Qualcomm AI Hub (İşlem): Qualcomm, Snapdragon X Elite ile Copilot+ bilgisayarlarda kullanılmak üzere önceden doğrulanmış yapay zeka modelleri ve bu NPU üzerinde verimli çalışacak şekilde özel olarak iyileştirilmiş kullanılabilir modeller sağlar. Daha fazla bilgi edinin: Qualcomm AI Hub ile model dağıtımlarını hızlandırma | Microsoft Build 2024.
• ONNX Model Hayvanat Bahçesi: Bu açık kaynak depo, ONNX biçiminde önceden eğitilmiş, son modellerden oluşan seçilmiş bir koleksiyon sunar. Bu modellerin Intel ve AMD cihazları da dahil olmak üzere tüm Copilot+ bilgisayarlarda NPU'larla kullanılması önerilir (çok yakında).

Modelinizi kendiniz getirmek isteyenler için, Olivedonanım algılayan model iyileştirme aracını kullanmanızı öneririz. Olive, NPU performans iyileştirme çözümü olarak ONNX Runtime ile çalışmak için model sıkıştırma, iyileştirme ve derleme konusunda yardımcı olabilir. Daha fazla bilgi edinin: Yapay zeka daha kolay hale getirildi: ONNX Çalışma Zamanı ve Olive araç zinciri Q&A'ya yardımcı olur | Build 2023.

Cihaz NPU'da yerel olarak çalışan yapay zeka modellerinin performansını ölçme

Uygulamanızda ve ilişkili yapay zeka modeli çalışma zamanlarında yapay zeka özelliği tümleştirmesinin performansını ölçmek için:

• İzleme kaydetme: Cihaz etkinliğini belirli bir süre boyunca kaydetme, sistem izleme olarak bilinir. Sistem izleme, rapor oluşturmak ve uygulamanızın performansını nasıl geliştirebileceğinizi belirlemenize yardımcı olmak için kullanılabilecek bir "izleme" dosyası oluşturur. Daha fazla bilgi edinin: Bir sistem izlemesi yakalayarak bellek kullanımını analiz edin.

• NPU kullanımını görüntüleme: Hangi işlemlerin NPU'yu ve çağrı yığınlarını kullandığını inceleyin.

• İş ve çağrı yığınlarını CPUüzerinde görüntüleyin: İş öncesi süreçte yapay zeka modellerine veri sağlayan ve iş sonrası süreçte yapay zeka modellerini işleyen sonuçları inceleyin.

• Yükleme ve Çalışma Zamanı: Yapay zeka modelini yükleme ve ONNX Çalışma Zamanı oturumu oluşturma süresini inceleyin.

• Çalışma Zamanı parametreleri: Model çalışma zamanı performansını ve iyileştirmesini etkileyen ONNX Çalışma Zamanı yapılandırması ve Yürütme Sağlayıcısı (EP) parametrelerini inceleyin.

• Bireysel çıkarım süreleri: NPU'dan çıkarım başına süreleri ve alt ayrıntıları izleyin.

• Profiler: Her operatörün toplam çıkarım süresine katkıda bulunma süresini görmek için yapay zeka modeli işlemlerinin profilini oluşturma.

• NPU'ya özgü : Alt HW ölçümleri, bellek bant genişliği ve daha fazlası gibi NPU alt ayrıntılarını inceleyin.

genel bir izlenim sağlayan ekran görüntüsü

Bu ölçümleri gerçekleştirmek için aşağıdaki tanılama ve izleme araçlarını öneririz:

• Görev Yöneticisi: Kullanıcının İşlemler, Performans, Uygulama geçmişi, Başlangıç uygulamaları, Kullanıcılar, Ayrıntılar ve Hizmetler dahil olmak üzere cihazında yüklü Olan Windows İşletim Sisteminin performansını görüntülemesini sağlar. Gerçek zamanlı performans verileri, cihazınızın CPU'su (İşlemci), Belleği, Depolama Diski, Wi-Fi, GPU (Grafik İşlemci)... ve şimdi NPU (Sinir İşlemci) için gösterilecektir. Veriler kullanım yüzdesini, kullanılabilir belleği, paylaşılan belleği, sürücü sürümünü, fiziksel konumu ve daha fazlasını içerir.
• Windows Performans Kaydedicisi (WPR): WPR artık NPU etkinliğini kaydetmek için bir Sinir İşleme profiliyle birlikte geliyor. Bu, NPU ile Microsoft İşlem Sürücüsü Modeli (MCDM) etkileşimlerini kaydeder. Geliştiriciler artık NPU kullanımını, NPU'yu kullanan işlemleri ve iş sunan çağrı yığınlarını görebilir.
• Windows Performans Çözümleyicisi (WPA): WPA, Windows Performans Kaydedicisi (WPR), Xperf veya Değerlendirme Platformu'nda çalıştırılan bir değerlendirme tarafından kaydedilen Windows için Olay İzleme (ETW) olaylarının grafiklerini ve veri tablolarını oluşturur. CPU, Disk, Ağ, ONNX Çalışma Zamanı Olaylarını analiz etmek için uygun erişim noktaları sağlar... ve tek bir zaman çizelgesinde NPU çözümlemesiiçin yeni bir tablo. WPA artık iş öncesi yapay zeka modellerini besleme ve iş sonrası işleme yapay zeka modeli sonuçlarıyla ilgili iş ve çağrı yığınlarını CPU'da görüntüleyebilir. Microsoft Store'dan Windows Performans Çözümleyicisi'ni indirin.
• GPUView: GPUView, günlüğe kaydedilen video ve çekirdek olaylarını bir olay izleme günlüğü (.etl) dosyasından okuyan ve verileri kullanıcıya grafik olarak sunan bir geliştirme aracıdır. Bu araç artık hem GPU hem de NPU işlemlerinin yanı sıra NPU gibi MCDM cihazları için DirectX olaylarını görüntüleme desteği içerir.
• Windows Performance Analyzer'da ONNX Çalışma Zamanı olaylarını : ONNXRuntime 1.17 ile başlayarak (ve 1.18.1'de geliştirilmiştir), çalışma zamanında yayılan olaylarla aşağıdaki kullanım örnekleri kullanılabilir:
  • Yapay zeka modelini yüklemenin ve ONNX Çalışma Zamanı oturumu oluşturmanın ne kadar sürdüğünü görün.
  • Bkz. Model çalışma zamanı performansını ve iyileştirmesini etkileyen ONNX Çalışma Zamanı yapılandırması ve Yürütme Sağlayıcısı (EP) parametreleri.
  • NPU (QNN) üzerinden her bir çıkarım süresi ve alt ayrıntıların izlenmesi.
  • Her operatörün toplam çıkarım süresine katkıda bulunma süresini görmek için Yapay Zeka Modeli işlemlerinin profilini oluşturma.
  • ONNX Çalışma Zamanı Yürütme Sağlayıcısı (EP) hakkında Profil Oluşturmaile ilgili daha fazla bilgi edinin.

Windows Performans Çözümleyicisi (WPA) ile ONNX Çalışma Zamanı olaylarını görüntülemeye yönelik hızlı başlangıç için şu adımları izleyin:

1. ort.wprp ve etw_provider.wprpindirin.

2. Komut satırınızı açın ve şunu girin:

   wpr -start ort.wprp -start etw_provider.wprp -start NeuralProcessing -start CPU
   echo Repro the issue allowing ONNX to run 
   wpr -stop onnx_NPU.etl -compress
   

3. Windows Performans Kaydedicisi (WPR) profillerini CPU, Disk vb. diğer Yerleşik Kayıt Profilleriyle birleştirin.

4. Microsoft Store'dan Windows Performans Çözümleyicisi'ni (WPA) indirin.

5. onnx_NPU.etl dosyasını WPA'da açın. Bu grafikleri açmak için Double-Click:

   • Sinir İşleme -> NPU Kullanımı
   • ONNX etkinlikleri için Genel Etkinlikler

Yukarıda listelenen Microsoft Windows araçlarıyla birlikte kullanmayı göz önünde bulundurmanız gereken ek performans ölçümü araçları şunlardır:

• Qualcomm Snapdragon Profiler (qprof): Sistem performansını görselleştirmenin yanı sıra Qualcomm SoC CPU'ları, GPU'lar, DSP'ler ve diğer IP bloklarında iyileştirme ve uygulama ölçeklendirme geliştirme fırsatlarını belirlemek için tasarlanmış gui ve sistem genelinde performans profili oluşturma aracı. Snapdragon Profiler, alt HW ölçümleri, bellek bant genişliği ve daha fazlası gibi NPU alt ayrıntılarını görüntülemeye olanak tanır.

Ek Kaynaklar

• Windows Copilot Çalışma Zamanına Genel Bakış
• Windows uygulama performansına ve temel bilgilerine genel bakış
• Arm üzerinde Windows'a genel bakış
• Sinir işleme birimleri (NPU) hakkında her şey