Rövid útmutató: Képek használata AI-csevegésekben

Ez a cikk az Azure AI Foundry használatának első lépéseit ismerteti a csevegővégzítési modell üzembe helyezéséhez és teszteléséhez képértelmezéssel.

Előfeltételek

• Azure-előfizetés. Hozzon létre egyet ingyen.
• Miután megkapta az Azure-előfizetését, hozzon létre egy Azure OpenAI-erőforrást . Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.
• Egy Azure AI Foundry-központ az Azure OpenAI-erőforrással, amely kapcsolatként van hozzáadva.

A média előkészítése

A rövid útmutató elvégzéséhez képre van szüksége. Ezt a mintaképet vagy bármely más elérhető képet használhatja.

Ugrás az Azure AI Foundryre

1. Keresse meg az Azure AI Foundryt , és jelentkezzen be az Azure OpenAI-erőforráshoz társított hitelesítő adatokkal. A bejelentkezési munkafolyamat során vagy után válassza ki a megfelelő könyvtárat, Azure-előfizetést és Azure OpenAI-erőforrást.
2. Válassza ki azt a központot, amelyben dolgozni szeretne.
3. A bal oldali navigációs menüben válassza a Modellek + végpontok lehetőséget, majd a + Modell üzembe helyezése lehetőséget.
4. Válasszon képre alkalmas üzembe helyezést a következő modellnév kiválasztásával: gpt-4o vagy gpt-4o-mini. A megjelenő ablakban válassza ki a nevet és az üzembe helyezés típusát. Győződjön meg arról, hogy az Azure OpenAI-erőforrás csatlakoztatva van. A modellek üzembe helyezéséről a modellek üzembe helyezésének ismertetőjében talál további információt.
5. Válassza az Üzembe helyezés lehetőséget.
6. Ezután válassza ki az új modellt, és válassza a Megnyitás a játszótéren lehetőséget. A csevegési játszótéren a létrehozott üzembe helyezést ki kell választani az Üzembe helyezés legördülő listában.

Játszótér

Ebben a csevegésben arra utasítja az asszisztenst, hogy segítsen megérteni a beírt képeket.

Az asszisztensek beállításával, a csevegési munkamenetekkel, a beállításokkal és a panelekkel kapcsolatos általános segítségért tekintse meg a csevegési rövid útmutatót.

Csevegés indítása képek elemzéséhez

Ebben a csevegésben arra utasítja az asszisztenst, hogy segítsen megérteni a beírt képeket.

1. Első lépésként győződjön meg arról, hogy a rendszerkép-kompatibilis üzembe helyezés ki van választva az Üzembe helyezés legördülő listában.

2. A Beállítás panel környezetszövegmezőjében adja meg ezt a kérdést az asszisztens irányításához: "You're an AI assistant that helps people find information." Vagy testre szabhatja a kérést a képhez vagy a forgatókönyvhöz.

   Feljegyzés

   Javasoljuk, hogy frissítse a rendszerüzenetet úgy, hogy az a feladathoz legyen rendelve, hogy elkerülje a modell nem megfelelő válaszait.

3. A módosítások mentéséhez válassza a Módosítások alkalmazása lehetőséget.

4. A csevegési munkamenet paneljén válassza a melléklet gombot, majd a Kép feltöltése lehetőséget. Válassza ki a képet.

5. Adja hozzá a következő üzenetet a csevegési mezőbe: Describe this imagemajd a küldés ikont választva küldje el.

6. A küldés ikont egy stop gomb váltja fel. Ha kiválasztja, az asszisztens leállítja a kérés feldolgozását. Ebben a rövid útmutatóban hagyja, hogy az asszisztens befejezze a választ.

7. Az asszisztens a kép leírásával válaszol.

8. Tegyen fel egy követési kérdést a kép elemzésével kapcsolatban. Beírhat, "What should I highlight about this image to my insurance company?".

9. Az itt láthatóhoz hasonló releváns választ kell kapnia:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Kód megtekintése és exportálása

A csevegési munkamenet bármely pontján engedélyezheti a nyers JSON-kapcsoló megjelenítését a csevegőablak tetején, hogy a beszélgetés JSON-ként legyen formázva. A rövid útmutató csevegési munkamenetének elején a következőképpen néz ki:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Az erőforrások eltávolítása

Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.

• Azure Portal
• Azure CLI

Ez a cikk az Azure OpenAI REST API-k használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.

Előfeltételek

• Azure-előfizetés. Hozzon létre egyet ingyen.
• Python 3.8 vagy újabb verzió.
• A következő Python-kódtárak: requests, json.
• Egy Azure OpenAI-szolgáltatáserőforrás egy GPT-4 Turbo és Vision-modell üzembe helyezésével. Tekintse meg a GPT-4 és a GPT-4 Turbo Preview modell rendelkezésre állását az elérhető régiókban. Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.

Kulcs és végpont lekérése

Az Azure OpenAI API-k sikeres meghívásához az alábbi információkra van szüksége az Azure OpenAI-erőforrásról:

Nyissa meg az erőforrást az Azure Portalon. A navigációs panelen válassza a Kulcsok és végpont lehetőséget az Erőforrás-kezelés területen. Másolja ki a végpont értékét és a hozzáférési kulcs értékét. Használhatja a KEY 1 vagy a KEY 2 értéket. A két kulcs lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okozzon.

Új Python-alkalmazás létrehozása

Hozzon létre egy quickstart.py nevű új Python-fájlt. Nyissa meg az új fájlt az előnyben részesített szerkesztőben vagy IDE-ben.

1. Cserélje le a quickstart.py tartalmát a következő kódra.

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. Hajtsa végre a következő módosításokat:

   1. Adja meg a végpont URL-címét és kulcsát a megfelelő mezőkben.
   2. Adja meg a GPT-4 Turbo és a Vision üzembe helyezési nevét a megfelelő mezőben.
   3. Módosítsa a "image" mező értékét a kép URL-címére.

      Tipp.

      URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.

3. Futtassa az alkalmazást a python következő paranccsal:

   python quickstart.py
   

Az erőforrások eltávolítása

Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.

• Azure Portal
• Azure CLI

Ez a cikk az Azure OpenAI Python SDK használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.

Kódtár forráskódcsomagja | (PyPi) |

Előfeltételek

• Azure-előfizetés. Hozzon létre egyet ingyen.
• Python 3.8 vagy újabb verzió.
• A következő Python-kódtárak: os
• Egy Azure OpenAI-szolgáltatáserőforrás egy GPT-4 Turbo és Vision-modell üzembe helyezésével. Tekintse meg a GPT-4 és a GPT-4 Turbo Preview modell rendelkezésre állását az elérhető régiókban. Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.

Beállítás

Telepítse az OpenAI Python ügyfélkódtárat a következőkkel:

pip install openai

Kulcs és végpont lekérése

Az Azure OpenAI-ra való sikeres híváshoz egy végpontra és egy kulcsra van szükség.

Nyissa meg az erőforrást az Azure Portalon. A Kulcsok > végpont szakasz az Erőforrás-kezelés szakaszban található. Másolja ki a végpontot és a hozzáférési kulcsot, mivel mindkettőre szüksége lesz az API-hívások hitelesítéséhez. A következők bármelyikét használhatja: KEY1 vagy KEY2. A két kulcs mindig lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okoz.

Környezeti változók

Állandó környezeti változók létrehozása és hozzárendelése a kulcshoz és a végponthoz.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Új Python-alkalmazás létrehozása

Hozzon létre egy quickstart.py nevű új Python-fájlt. Nyissa meg az új fájlt az előnyben részesített szerkesztőben vagy IDE-ben.

1. Cserélje le a quickstart.py tartalmát a következő kódra.

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. Hajtsa végre a következő módosításokat:

   1. Adja meg a GPT-4 Turbo és a Vision üzembe helyezés nevét a megfelelő mezőben.
   2. Módosítsa a "url" mező értékét a kép URL-címére.

      Tipp.

      URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.

3. Futtassa az alkalmazást a python következő paranccsal:

   python quickstart.py
   

Az erőforrások eltávolítása

Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.

• Azure Portal
• Azure CLI

Ez a cikk az OpenAI JavaScript SDK használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.

Ezt az SDK-t az OpenAI biztosítja az Azure által biztosított Azure-specifikus típusokkal.

Referenciadokumentáció Kódtár forráskódcsomagja | (npm)Minták | |

Előfeltételek

• Azure-előfizetés – Ingyenes létrehozás
• A Node.js LTS-verziói
• A helyi fejlesztési környezetben a jelszó nélküli hitelesítéshez használt Azure CLI az Azure CLI-vel való bejelentkezéssel hozza létre a szükséges környezetet.
• Egy támogatott régióban létrehozott Azure OpenAI-erőforrás (lásd a régió rendelkezésre állását). További információ: Erőforrás létrehozása és modell üzembe helyezése az Azure OpenAI használatával.

A Microsoft Entra ID előfeltételei

A Microsoft Entra-azonosítóval javasolt kulcs nélküli hitelesítéshez a következőket kell elvégeznie:

• Telepítse a Kulcs nélküli hitelesítéshez használt Azure CLI-t a Microsoft Entra-azonosítóval.
• Rendelje hozzá a szerepkört Cognitive Services User a felhasználói fiókjához. Szerepköröket az Azure Portalon rendelhet hozzá a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen.

Erőforrásadatok lekérése

Az alkalmazás Azure OpenAI-erőforrással való hitelesítéséhez le kell kérnie a következő adatokat:

Csomópontalkalmazás létrehozása

Egy konzolablakban (pl. cmd, PowerShell vagy Bash) hozzon létre egy új mappát az alkalmazásnak, majd navigáljon oda. Ezután futtassa a npm init parancsot egy csomópontalkalmazás létrehozásához egy package.json fájllal.

npm init

Telepítse az ügyfélkódtárat

Telepítse az ügyfélkódtárakat a következőkkel:

npm install openai @azure/identity

Az alkalmazás package.json fájlja frissül a függőségekkel.

Új JavaScript-alkalmazás létrehozása képkérésekhez

Válasszon ki egy képet az azure-samples/cognitive-services-sample-data-files fájlból , és állítsa be egy kép URL-címét a környezeti változókban.

Az erőforrások eltávolítása

Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.

• Azure Portal
• Azure CLI

Ez a cikk az OpenAI JavaScript SDK használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.

Ezt az SDK-t az OpenAI biztosítja az Azure által biztosított Azure-specifikus típusokkal.

Referenciadokumentáció Kódtár forráskódcsomagja | (npm)Minták | |

Előfeltételek

• Azure-előfizetés – Ingyenes létrehozás
• A Node.js LTS-verziói
• TypeScript
• A helyi fejlesztési környezetben a jelszó nélküli hitelesítéshez használt Azure CLI az Azure CLI-vel való bejelentkezéssel hozza létre a szükséges környezetet.
• Egy támogatott régióban létrehozott Azure OpenAI-erőforrás (lásd a régió rendelkezésre állását). További információ: Erőforrás létrehozása és modell üzembe helyezése az Azure OpenAI használatával.

A Microsoft Entra ID előfeltételei

A Microsoft Entra-azonosítóval javasolt kulcs nélküli hitelesítéshez a következőket kell elvégeznie:

• Telepítse a Kulcs nélküli hitelesítéshez használt Azure CLI-t a Microsoft Entra-azonosítóval.
• Rendelje hozzá a szerepkört Cognitive Services User a felhasználói fiókjához. Szerepköröket az Azure Portalon rendelhet hozzá a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen.

Erőforrásadatok lekérése

Az alkalmazás Azure OpenAI-erőforrással való hitelesítéséhez le kell kérnie a következő adatokat:

Csomópontalkalmazás létrehozása

Egy konzolablakban (pl. cmd, PowerShell vagy Bash) hozzon létre egy új mappát az alkalmazásnak, majd navigáljon oda. Ezután futtassa a npm init parancsot egy csomópontalkalmazás létrehozásához egy package.json fájllal.

npm init

Telepítse az ügyfélkódtárat

Telepítse az ügyfélkódtárakat a következőkkel:

npm install openai @azure/identity

Az alkalmazás package.json fájlja frissül a függőségekkel.

Új JavaScript-alkalmazás létrehozása képkérésekhez

Válasszon ki egy képet az azure-samples/cognitive-services-sample-data-files fájlból , és állítsa be egy kép URL-címét a környezeti változókban.

Az erőforrások eltávolítása

Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.

• Azure Portal
• Azure CLI

Ez a cikk az Azure OpenAI .NET SDK használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.

Előfeltételek

• Azure-előfizetés. Ingyenesen létrehozhat egyet.
• A .NET 8.0 SDK
• Egy Azure OpenAI-szolgáltatáserőforrás egy GPT-4 Turbo és Vision-modell üzembe helyezésével. Tekintse meg a GPT-4 és a GPT-4 Turbo Preview modell rendelkezésre állását az elérhető régiókban. Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.

Beállítás

Kulcs és végpont lekérése

Az Azure OpenAI-ra való sikeres híváshoz egy végpontra és egy kulcsra van szükség.

Nyissa meg az erőforrást az Azure Portalon. A végpont és a kulcsok az Erőforrás-kezelés szakaszban találhatók. Másolja ki a végpontot és a hozzáférési kulcsot úgy, ahogyan az az API-hívások hitelesítéséhez szükséges. A következők bármelyikét használhatja: KEY1 vagy KEY2. A két kulcs mindig lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okoz.

A .NET-alkalmazás létrehozása

1. Hozzon létre egy .NET-alkalmazást a dotnet new következő paranccsal:

   dotnet new console -n OpenAISpeech
   

2. Váltson az új alkalmazás könyvtárára:

   cd OpenAISpeech
   

Telepítse az ügyfélkódtárat

Telepítse az Azure.OpenAI ügyfélkódtárat:

dotnet add package Azure.AI.OpenAI

Jelszó nélküli hitelesítés használata ajánlott

A jelszó nélküli hitelesítés biztonságosabb, mint a kulcsalapú alternatívák, és az Azure-szolgáltatásokhoz való csatlakozás ajánlott módszere. Ha jelszó nélküli hitelesítést használ, a következőket kell elvégeznie:

1. Vegye fel a Azure.Identity csomagot.

   dotnet add package Azure.Identity
   

2. Rendelje hozzá a szerepkört Cognitive Services User a felhasználói fiókjához. Ez az OpenAI-erőforrás Azure Portalon, a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen végezhető el.

3. Jelentkezzen be az Azure-ba a Visual Studióval vagy az Azure CLI-vel.az login

Az alkalmazáskód frissítése

1. Cserélje le az alábbi kód tartalmát program.cs , és frissítse a helyőrző értékeket a sajátjára.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity;
   using OpenAI.Chat; // Required for Passwordless auth
   
   var endpoint = new Uri("YOUR_AZURE_OPENAI_ENDPOINT");
   var credentials = new AzureKeyCredential("YOUR_AZURE_OPENAI_KEY");
   // var credentials = new DefaultAzureCredential(); // Use this line for Passwordless auth
   var deploymentName = "gpt-4"; // Default name, update with your own if needed
   
   var openAIClient = new AzureOpenAIClient(endpoint, credentials);
   var chatClient = openAIClient.GetChatClient(deploymentName);
   
   var imageUri = "YOUR_IMAGE_URL";
   
   List<ChatMessage> messages = [
       new UserChatMessage(
           ChatMessageContentPart.CreateTextMessageContentPart("Please describe the following image:"),
           ChatMessageContentPart.CreateImageMessageContentPart(new Uri(imageUri), "image/png"))
   ];
   
   ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(messages);
   
   Console.WriteLine($"[ASSISTANT]:");
   Console.WriteLine($"{chatCompletion.Content[0].Text}");
   

1. Futtassa az alkalmazást a dotnet run Visual Studio tetején található paranccsal vagy futtatási gombbal:

   dotnet run
   

Az alkalmazás létrehoz egy hangfájlt a változóhoz speechFilePath megadott helyen. A létrehozott hang meghallgatásához játssza le a fájlt az eszközön.

Az erőforrások eltávolítása

Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.

• Azure Portal
• Azure CLI