Självstudie: Generera avbildningar med serverlösa GPU:er i Azure Container Apps (förhandsversion)
I den här artikeln får du lära dig hur du skapar en containerapp som använder serverlösa GPU:er för att driva ett AI-program.
Med serverlösa GPU:er har du direkt åtkomst till GPU-beräkningsresurser utan att behöva utföra manuell infrastrukturkonfiguration som att installera drivrutiner. Allt du behöver göra är att distribuera AI-modellens avbildning.
I den här självstudien:
- Skapa en ny containerapp och miljö
- Konfigurera miljön så att den använder serverlösa GPU:er
- Distribuera din app till Azure Container Apps
- Använd det nya serverlösa GPU-aktiveringsprogrammet
- Aktivera artefaktströmning för att minska GPU-kallstart
Förutsättningar
| Resurs | beskrivning |
|---|---|
| Azure-konto | Du behöver ett Azure-konto med en aktiv prenumeration. Om du inte har någon sådan nu kan du skapa en kostnadsfritt. |
| Azure Container Registry-instans | Du behöver en befintlig Azure Container Registry-instans eller behörigheter för att skapa en. |
| Åtkomst till serverlösa GPU:er | Åtkomst till GPU:er är endast tillgängligt när du har begär GPU-kvoter. Du kan skicka din GPU-kvotbegäran via ett kundsupportärende. |
Skapa din containerapp
Gå till Azure Portal och sök efter och välj Container Apps.
Välj Skapa och välj sedan ContainerApp.
I fönstret Grundläggande anger du följande värden i varje avsnitt.
Under Projektinformation anger du följande värden:
Inställning Värde Prenumeration Välj din Azure-prenumerationen. Resursgrupp Välj Skapa ny och ange my-gpu-demo-group. Namn på containerapp Ange my-gpu-demo-app. Distributionskälla Välj Containeravbildning. Under Container Apps-miljön anger du följande värden:
Inställning Värde Region Välj USA, västra 3.
Fler regioner som stöds finns i Använda serverlösa GPU:er i Azure.Container Apps-miljö Välj Skapa ny. I fönstret Skapa containerappar anger du följande värden:
Inställning Värde Miljönamn Ange my-gpu-demo-env. Välj Skapa.
Välj Nästa: Container >.
I fönstret Container anger du följande värden:
Inställning Värde Name Ange my-gpu-demo-container. Bildkälla Välj Docker Hub eller andra register. Bildtyp Välj offentlig. Registerinloggningsserver Ange mcr.microsoft.com. Bild och tagg Ange k8se/gpu-quickstart:latest. Arbetsbelastningsprofil Välj det alternativ som börjar med Förbrukning – upp till 4... GPU Markera kryssrutan. GPU-typ Välj alternativet T4 och välj länken för att lägga till profilen i din miljö. Välj Nästa: Inkommande >.
I fönstret Ingress anger du följande värden:
Inställning Värde Ingress Markera kryssrutan Aktiverad. Inkommande trafik Välj knappen Acceptera trafik var du än befinner dig. Målport Ange 80. Välj Granska + skapa.
Välj Skapa.
Vänta en stund tills distributionen har slutförts och välj sedan Gå till resurs.
Den här processen kan ta upp till fem minuter att slutföra.
Använda din GPU-app
I fönstret Översikt väljer du länken Program-URL för att öppna webbappens klientdel i webbläsaren och använder GPU-programmet.
Kommentar
- Följ stegen för att förbättra kallstarten för dina serverlösa GPU:er för att få bästa möjliga prestanda för dina GPU-appar.
- När det finns flera containrar i ditt program får den första containern åtkomst till GPU:n.
Övervaka din GPU
När du har genererat en avbildning använder du följande steg för att visa resultatet av GPU-bearbetningen:
Öppna containerappen i Azure Portal.
I avsnittet Övervakning väljer du Konsol.
Välj repliken.
Välj containern.
Välj *Återanslut.
I kommandofönstret Välj start väljer du /bin/bash och väljer Anslut.
När gränssnittet har konfigurerats anger du kommandot nvidia-smi för att granska status och utdata för din GPU.
Rensa resurser
De resurser som skapas i den här självstudien påverkar din Azure-faktura.
Om du inte ska använda dessa tjänster på lång sikt använder du stegen för att ta bort allt som skapats i den här självstudien.
I Azure Portal söker du efter och väljer Resursgrupper.
Välj my-gpu-demo-group.
Välj Ta bort resursgrupp.
I bekräftelserutan anger du my-gpu-demo-group.
Välj Ta bort.