Rövid útmutató: Képek használata AI-csevegésekben
A GPT-4 Turbo használatának első lépései képeken az Azure OpenAI szolgáltatással.
Feljegyzés
Modellválasztás
A legújabb látásképességű modellek és gpt-4o
gpt-4o mini
. Ezek a modellek nyilvános előzetes verzióban érhetők el. A legújabb elérhető GA-modell a gpt-4
verzió turbo-2024-04-09
.
Fontos
További használati díjak vonatkozhatnak a vision funkcióval rendelkező csevegés-befejezési modellek használatakor.
Ez a cikk az Azure AI Foundry használatának első lépéseit ismerteti a csevegővégzítési modell üzembe helyezéséhez és teszteléséhez képértelmezéssel.
Előfeltételek
- Azure-előfizetés. Hozzon létre egyet ingyen.
- Miután megkapta az Azure-előfizetését, hozzon létre egy Azure OpenAI-erőforrást . Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.
- Egy Azure AI Foundry-központ az Azure OpenAI-erőforrással, amely kapcsolatként van hozzáadva.
A média előkészítése
A rövid útmutató elvégzéséhez képre van szüksége. Ezt a mintaképet vagy bármely más elérhető képet használhatja.
Ugrás az Azure AI Foundryre
- Keresse meg az Azure AI Foundryt , és jelentkezzen be az Azure OpenAI-erőforráshoz társított hitelesítő adatokkal. A bejelentkezési munkafolyamat során vagy után válassza ki a megfelelő könyvtárat, Azure-előfizetést és Azure OpenAI-erőforrást.
- Válassza ki azt a központot, amelyben dolgozni szeretne.
- A bal oldali navigációs menüben válassza a Modellek + végpontok lehetőséget, majd a + Modell üzembe helyezése lehetőséget.
- Válasszon képre alkalmas üzembe helyezést a következő modellnév kiválasztásával: gpt-4o vagy gpt-4o-mini. A megjelenő ablakban válassza ki a nevet és az üzembe helyezés típusát. Győződjön meg arról, hogy az Azure OpenAI-erőforrás csatlakoztatva van. A modellek üzembe helyezéséről a modellek üzembe helyezésének ismertetőjében talál további információt.
- Válassza az Üzembe helyezés lehetőséget.
- Ezután válassza ki az új modellt, és válassza a Megnyitás a játszótéren lehetőséget. A csevegési játszótéren a létrehozott üzembe helyezést ki kell választani az Üzembe helyezés legördülő listában.
Játszótér
Ebben a csevegésben arra utasítja az asszisztenst, hogy segítsen megérteni a beírt képeket.
Az asszisztensek beállításával, a csevegési munkamenetekkel, a beállításokkal és a panelekkel kapcsolatos általános segítségért tekintse meg a csevegési rövid útmutatót.
Csevegés indítása képek elemzéséhez
Ebben a csevegésben arra utasítja az asszisztenst, hogy segítsen megérteni a beírt képeket.
Első lépésként győződjön meg arról, hogy a rendszerkép-kompatibilis üzembe helyezés ki van választva az Üzembe helyezés legördülő listában.
A Beállítás panel környezetszövegmezőjében adja meg ezt a kérdést az asszisztens irányításához:
"You're an AI assistant that helps people find information."
Vagy testre szabhatja a kérést a képhez vagy a forgatókönyvhöz.Feljegyzés
Javasoljuk, hogy frissítse a rendszerüzenetet úgy, hogy az a feladathoz legyen rendelve, hogy elkerülje a modell nem megfelelő válaszait.
A módosítások mentéséhez válassza a Módosítások alkalmazása lehetőséget.
A csevegési munkamenet paneljén válassza a melléklet gombot, majd a Kép feltöltése lehetőséget. Válassza ki a képet.
Adja hozzá a következő üzenetet a csevegési mezőbe:
Describe this image
majd a küldés ikont választva küldje el.A küldés ikont egy stop gomb váltja fel. Ha kiválasztja, az asszisztens leállítja a kérés feldolgozását. Ebben a rövid útmutatóban hagyja, hogy az asszisztens befejezze a választ.
Az asszisztens a kép leírásával válaszol.
Tegyen fel egy követési kérdést a kép elemzésével kapcsolatban. Beírhat,
"What should I highlight about this image to my insurance company?"
.Az itt láthatóhoz hasonló releváns választ kell kapnia:
When reporting the incident to your insurance company, you should highlight the following key points from the image: 1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight. 2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident. 3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective. 4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes. 5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context. 6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well. Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
Kód megtekintése és exportálása
A csevegési munkamenet bármely pontján engedélyezheti a nyers JSON-kapcsoló megjelenítését a csevegőablak tetején, hogy a beszélgetés JSON-ként legyen formázva. A rövid útmutató csevegési munkamenetének elején a következőképpen néz ki:
[
{
"role": "system",
"content": [
"You are an AI assistant that helps people find information."
]
},
]
Az erőforrások eltávolítása
Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.
Ez a cikk az Azure OpenAI REST API-k használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.
Előfeltételek
- Azure-előfizetés. Hozzon létre egyet ingyen.
- Python 3.8 vagy újabb verzió.
- A következő Python-kódtárak:
requests
,json
. - Egy Azure OpenAI-szolgáltatáserőforrás egy GPT-4 Turbo és Vision-modell üzembe helyezésével. Tekintse meg a GPT-4 és a GPT-4 Turbo Preview modell rendelkezésre állását az elérhető régiókban. Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.
Feljegyzés
Jelenleg nem támogatott a GPT-4 Turbo és a Vision modell tartalomszűrése.
Kulcs és végpont lekérése
Az Azure OpenAI API-k sikeres meghívásához az alábbi információkra van szüksége az Azure OpenAI-erőforrásról:
Változó | Név szerint | Érték |
---|---|---|
Végpont | api_base |
A végpont értéke az erőforrás kulcsai és végpontja alatt található az Azure Portalon. A végpontot az Azure AI Foundry portál Üzembe helyezések lapján is megtalálhatja. Példavégpont: https://docs-test-001.openai.azure.com/ . |
Kulcs | api_key |
A kulcsérték az erőforrás kulcsai és végpontja alatt is található az Azure Portalon. Az Azure két kulcsot hoz létre az erőforráshoz. Bármelyik értéket használhatja. |
Nyissa meg az erőforrást az Azure Portalon. A navigációs panelen válassza a Kulcsok és végpont lehetőséget az Erőforrás-kezelés területen. Másolja ki a végpont értékét és a hozzáférési kulcs értékét. Használhatja a KEY 1 vagy a KEY 2 értéket. A két kulcs lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okozzon.
Új Python-alkalmazás létrehozása
Hozzon létre egy quickstart.py nevű új Python-fájlt. Nyissa meg az új fájlt az előnyben részesített szerkesztőben vagy IDE-ben.
Cserélje le a quickstart.py tartalmát a következő kódra.
# Packages required: import requests import json api_base = '<your_azure_openai_endpoint>' deployment_name = '<your_deployment_name>' API_KEY = '<your_azure_openai_key>' base_url = f"{api_base}openai/deployments/{deployment_name}" headers = { "Content-Type": "application/json", "api-key": API_KEY } # Prepare endpoint, headers, and request body endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" data = { "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": [ { "type": "text", "text": "Describe this picture:" }, { "type": "image_url", "image_url": { "url": "<image URL>" } } ] } ], "max_tokens": 2000 } # Make the API call response = requests.post(endpoint, headers=headers, data=json.dumps(data)) print(f"Status Code: {response.status_code}") print(response.text)
Hajtsa végre a következő módosításokat:
- Adja meg a végpont URL-címét és kulcsát a megfelelő mezőkben.
- Adja meg a GPT-4 Turbo és a Vision üzembe helyezési nevét a megfelelő mezőben.
- Módosítsa a
"image"
mező értékét a kép URL-címére.Tipp.
URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.
Futtassa az alkalmazást a
python
következő paranccsal:python quickstart.py
Az erőforrások eltávolítása
Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.
Ez a cikk az Azure OpenAI Python SDK használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.
Kódtár forráskódcsomagja | (PyPi) |
Előfeltételek
- Azure-előfizetés. Hozzon létre egyet ingyen.
- Python 3.8 vagy újabb verzió.
- A következő Python-kódtárak:
os
- Egy Azure OpenAI-szolgáltatáserőforrás egy GPT-4 Turbo és Vision-modell üzembe helyezésével. Tekintse meg a GPT-4 és a GPT-4 Turbo Preview modell rendelkezésre állását az elérhető régiókban. Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.
Beállítás
Telepítse az OpenAI Python ügyfélkódtárat a következőkkel:
pip install openai
Feljegyzés
Ezt a könyvtárat az OpenAI tartja karban. A kódtár legújabb frissítéseinek nyomon követéséhez tekintse meg a kiadási előzményeket.
Kulcs és végpont lekérése
Az Azure OpenAI-ra való sikeres híváshoz egy végpontra és egy kulcsra van szükség.
Változó neve | Érték |
---|---|
ENDPOINT |
A szolgáltatásvégpont a Kulcsok > Végpont szakaszban található, amikor az erőforrást az Azure Portalról vizsgálja. A végpontot az Azure AI Foundry portál Üzembe helyezések lapján is megtalálhatja. Példavégpont: https://docs-test-001.openai.azure.com/ . |
API-KEY |
Ez az érték a Kulcsok és végpont szakaszban található meg, amikor megvizsgálja az erőforrást az Azure Portalon. A következők bármelyikét használhatja: KEY1 vagy KEY2 . |
Nyissa meg az erőforrást az Azure Portalon. A Kulcsok > végpont szakasz az Erőforrás-kezelés szakaszban található. Másolja ki a végpontot és a hozzáférési kulcsot, mivel mindkettőre szüksége lesz az API-hívások hitelesítéséhez. A következők bármelyikét használhatja: KEY1
vagy KEY2
. A két kulcs mindig lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okoz.
Környezeti változók
Állandó környezeti változók létrehozása és hozzárendelése a kulcshoz és a végponthoz.
Fontos
Az Azure-erőforrásokhoz tartozó felügyelt identitásokkal rendelkező Microsoft Entra ID-hitelesítést javasoljuk, hogy ne tárolja a hitelesítő adatokat a felhőben futó alkalmazásokkal.
Óvatosan használja az API-kulcsokat. Ne foglalja bele közvetlenül az API-kulcsot a kódba, és soha ne tegye közzé nyilvánosan. API-kulcsok használata esetén biztonságosan tárolhatja őket az Azure Key Vaultban, rendszeresen elforgathatja a kulcsokat, és szerepköralapú hozzáférés-vezérléssel és hálózati hozzáférés-korlátozásokkal korlátozhatja az Azure Key Vaulthoz való hozzáférést. További információ az API-kulcsok biztonságos használatáról az alkalmazásokban: API-kulcsok az Azure Key Vaulttal.
Az AI-szolgáltatások biztonságáról további információt az Azure AI-szolgáltatásokhoz érkező kérelmek hitelesítése című témakörben talál.
setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE"
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"
Új Python-alkalmazás létrehozása
Hozzon létre egy quickstart.py nevű új Python-fájlt. Nyissa meg az új fájlt az előnyben részesített szerkesztőben vagy IDE-ben.
Cserélje le a quickstart.py tartalmát a következő kódra.
from openai import AzureOpenAI api_base = os.getenv("AZURE_OPENAI_ENDPOINT") api_key= os.getenv("AZURE_OPENAI_API_KEY") deployment_name = '<your_deployment_name>' api_version = '2023-12-01-preview' # this might change in the future client = AzureOpenAI( api_key=api_key, api_version=api_version, base_url=f"{api_base}/openai/deployments/{deployment_name}" ) response = client.chat.completions.create( model=deployment_name, messages=[ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": [ { "type": "text", "text": "Describe this picture:" }, { "type": "image_url", "image_url": { "url": "<image URL>" } } ] } ], max_tokens=2000 ) print(response)
Hajtsa végre a következő módosításokat:
- Adja meg a GPT-4 Turbo és a Vision üzembe helyezés nevét a megfelelő mezőben.
- Módosítsa a
"url"
mező értékét a kép URL-címére.Tipp.
URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.
Futtassa az alkalmazást a
python
következő paranccsal:python quickstart.py
Fontos
Óvatosan használja az API-kulcsokat. Ne foglalja bele közvetlenül az API-kulcsot a kódba, és soha ne tegye közzé nyilvánosan. HA API-kulcsot használ, biztonságosan tárolja az Azure Key Vaultban. További információ az API-kulcsok biztonságos használatáról az alkalmazásokban: API-kulcsok az Azure Key Vaulttal.
Az AI-szolgáltatások biztonságáról további információt az Azure AI-szolgáltatásokhoz érkező kérelmek hitelesítése című témakörben talál.
Az erőforrások eltávolítása
Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.
Ez a cikk az OpenAI JavaScript SDK használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.
Ezt az SDK-t az OpenAI biztosítja az Azure által biztosított Azure-specifikus típusokkal.
Referenciadokumentáció Kódtár forráskódcsomagja | (npm)Minták | |
Előfeltételek
- Azure-előfizetés – Ingyenes létrehozás
- A Node.js LTS-verziói
- A helyi fejlesztési környezetben a jelszó nélküli hitelesítéshez használt Azure CLI az Azure CLI-vel való bejelentkezéssel hozza létre a szükséges környezetet.
- Egy támogatott régióban létrehozott Azure OpenAI-erőforrás (lásd a régió rendelkezésre állását). További információ: Erőforrás létrehozása és modell üzembe helyezése az Azure OpenAI használatával.
Feljegyzés
Ezt a könyvtárat az OpenAI tartja karban. A kódtár legújabb frissítéseinek nyomon követéséhez tekintse meg a kiadási előzményeket.
A Microsoft Entra ID előfeltételei
A Microsoft Entra-azonosítóval javasolt kulcs nélküli hitelesítéshez a következőket kell elvégeznie:
- Telepítse a Kulcs nélküli hitelesítéshez használt Azure CLI-t a Microsoft Entra-azonosítóval.
- Rendelje hozzá a szerepkört
Cognitive Services User
a felhasználói fiókjához. Szerepköröket az Azure Portalon rendelhet hozzá a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen.
Erőforrásadatok lekérése
Az alkalmazás Azure OpenAI-erőforrással való hitelesítéséhez le kell kérnie a következő adatokat:
További információ a kulcs nélküli hitelesítésről és a környezeti változók beállításáról.
Figyelemfelhívás
Ha az ajánlott kulcs nélküli hitelesítést szeretné használni az SDK-val, győződjön meg arról, hogy a AZURE_OPENAI_API_KEY
környezeti változó nincs beállítva.
Csomópontalkalmazás létrehozása
Egy konzolablakban (pl. cmd, PowerShell vagy Bash) hozzon létre egy új mappát az alkalmazásnak, majd navigáljon oda. Ezután futtassa a npm init
parancsot egy csomópontalkalmazás létrehozásához egy package.json fájllal.
npm init
Telepítse az ügyfélkódtárat
Telepítse az ügyfélkódtárakat a következőkkel:
npm install openai @azure/identity
Az alkalmazás package.json fájlja frissül a függőségekkel.
Új JavaScript-alkalmazás létrehozása képkérésekhez
Válasszon ki egy képet az azure-samples/cognitive-services-sample-data-files fájlból , és állítsa be egy kép URL-címét a környezeti változókban.
Cserélje le a quickstart.js tartalmát a következő kódra.
const AzureOpenAI = require('openai').AzureOpenAI; const { DefaultAzureCredential, getBearerTokenProvider } = require('@azure/identity'); // You will need to set these environment variables or edit the following values const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>"; const imageUrl = process.env["IMAGE_URL"] || "<image url>"; // Required Azure OpenAI deployment name and API version const apiVersion = "2024-07-01-preview"; const deploymentName = "gpt-4-with-turbo"; // keyless authentication const credential = new DefaultAzureCredential(); const scope = "https://cognitiveservices.azure.com/.default"; const azureADTokenProvider = getBearerTokenProvider(credential, scope); function getClient(): AzureOpenAI { return new AzureOpenAI({ endpoint, azureADTokenProvider, apiVersion, deployment: deploymentName, }); } function createMessages() { return { messages: [ { role: "system", content: "You are a helpful assistant." }, { role: "user", content: [ { type: "text", text: "Describe this picture:", }, { type: "image_url", image_url: { url: imageUrl, }, }, ], }, ], model: "", max_tokens: 2000, }; } async function printChoices(completion) { for (const choice of completion.choices) { console.log(choice.message); } } export async function main() { console.log("== Get GPT-4 Turbo with vision Sample =="); const client = getClient(); const messages = createMessages(); const completion = await client.chat.completions.create(messages); await printChoices(completion); } main().catch((err) => { console.error("Error occurred:", err); });
Hajtsa végre a következő módosításokat:
- Adja meg a GPT-4 Turbo és a Vision üzembe helyezés nevét a megfelelő mezőben.
- Módosítsa a
"url"
mező értékét a kép URL-címére.Tipp.
URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.
Futtassa az alkalmazást a következő paranccsal:
node quickstart.js
Az erőforrások eltávolítása
Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.
Ez a cikk az OpenAI JavaScript SDK használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.
Ezt az SDK-t az OpenAI biztosítja az Azure által biztosított Azure-specifikus típusokkal.
Referenciadokumentáció Kódtár forráskódcsomagja | (npm)Minták | |
Előfeltételek
- Azure-előfizetés – Ingyenes létrehozás
- A Node.js LTS-verziói
- TypeScript
- A helyi fejlesztési környezetben a jelszó nélküli hitelesítéshez használt Azure CLI az Azure CLI-vel való bejelentkezéssel hozza létre a szükséges környezetet.
- Egy támogatott régióban létrehozott Azure OpenAI-erőforrás (lásd a régió rendelkezésre állását). További információ: Erőforrás létrehozása és modell üzembe helyezése az Azure OpenAI használatával.
Feljegyzés
Ezt a könyvtárat az OpenAI tartja karban. A kódtár legújabb frissítéseinek nyomon követéséhez tekintse meg a kiadási előzményeket.
A Microsoft Entra ID előfeltételei
A Microsoft Entra-azonosítóval javasolt kulcs nélküli hitelesítéshez a következőket kell elvégeznie:
- Telepítse a Kulcs nélküli hitelesítéshez használt Azure CLI-t a Microsoft Entra-azonosítóval.
- Rendelje hozzá a szerepkört
Cognitive Services User
a felhasználói fiókjához. Szerepköröket az Azure Portalon rendelhet hozzá a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen.
Erőforrásadatok lekérése
Az alkalmazás Azure OpenAI-erőforrással való hitelesítéséhez le kell kérnie a következő adatokat:
További információ a kulcs nélküli hitelesítésről és a környezeti változók beállításáról.
Figyelemfelhívás
Ha az ajánlott kulcs nélküli hitelesítést szeretné használni az SDK-val, győződjön meg arról, hogy a AZURE_OPENAI_API_KEY
környezeti változó nincs beállítva.
Csomópontalkalmazás létrehozása
Egy konzolablakban (pl. cmd, PowerShell vagy Bash) hozzon létre egy új mappát az alkalmazásnak, majd navigáljon oda. Ezután futtassa a npm init
parancsot egy csomópontalkalmazás létrehozásához egy package.json fájllal.
npm init
Telepítse az ügyfélkódtárat
Telepítse az ügyfélkódtárakat a következőkkel:
npm install openai @azure/identity
Az alkalmazás package.json fájlja frissül a függőségekkel.
Új JavaScript-alkalmazás létrehozása képkérésekhez
Válasszon ki egy képet az azure-samples/cognitive-services-sample-data-files fájlból , és állítsa be egy kép URL-címét a környezeti változókban.
Hozzon létre egy quickstart.ts , és illessze be a következő kódba.
import { AzureOpenAI } from "openai"; import { DefaultAzureCredential, getBearerTokenProvider } from "@azure/identity"; import type { ChatCompletion, ChatCompletionCreateParamsNonStreaming, } from "openai/resources/index"; // You will need to set these environment variables or edit the following values const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>"; const imageUrl = process.env["IMAGE_URL"] || "<image url>"; // Required Azure OpenAI deployment name and API version const apiVersion = "2024-07-01-preview"; const deploymentName = "gpt-4-with-turbo"; // keyless authentication const credential = new DefaultAzureCredential(); const scope = "https://cognitiveservices.azure.com/.default"; const azureADTokenProvider = getBearerTokenProvider(credential, scope); function getClient(): AzureOpenAI { return new AzureOpenAI({ endpoint, azureADTokenProvider, apiVersion, deployment: deploymentName, }); } function createMessages(): ChatCompletionCreateParamsNonStreaming { return { messages: [ { role: "system", content: "You are a helpful assistant." }, { role: "user", content: [ { type: "text", text: "Describe this picture:", }, { type: "image_url", image_url: { url: imageUrl, }, }, ], }, ], model: "", max_tokens: 2000, }; } async function printChoices(completion: ChatCompletion): Promise<void> { for (const choice of completion.choices) { console.log(choice.message); } } export async function main() { console.log("== Get GPT-4 Turbo with vision Sample =="); const client = getClient(); const messages = createMessages(); const completion = await client.chat.completions.create(messages); await printChoices(completion); } main().catch((err) => { console.error("Error occurred:", err); });
Hajtsa végre a következő módosításokat:
- Adja meg a GPT-4 Turbo és a Vision üzembe helyezés nevét a megfelelő mezőben.
- Módosítsa a
"url"
mező értékét a kép URL-címére.Tipp.
URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.
Hozza létre az alkalmazást a következő paranccsal:
tsc
Futtassa az alkalmazást a következő paranccsal:
node quickstart.js
Az erőforrások eltávolítása
Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.
Ez a cikk az Azure OpenAI .NET SDK használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.
Előfeltételek
- Azure-előfizetés. Ingyenesen létrehozhat egyet.
- A .NET 8.0 SDK
- Egy Azure OpenAI-szolgáltatáserőforrás egy GPT-4 Turbo és Vision-modell üzembe helyezésével. Tekintse meg a GPT-4 és a GPT-4 Turbo Preview modell rendelkezésre állását az elérhető régiókban. Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.
Beállítás
Kulcs és végpont lekérése
Az Azure OpenAI-ra való sikeres híváshoz egy végpontra és egy kulcsra van szükség.
Változó neve | Érték |
---|---|
AZURE_OPENAI_ENDPOINT |
A szolgáltatásvégpont a Kulcsok > Végpont szakaszban található, amikor az erőforrást az Azure Portalról vizsgálja. A végpontot az Azure AI Foundry portál Üzembe helyezések lapján is megtalálhatja. Példavégpont: https://docs-test-001.openai.azure.com/ . |
AZURE_OPENAI_API_KEY |
Ez az érték a Kulcsok és végpont szakaszban található meg, amikor megvizsgálja az erőforrást az Azure Portalon. A következők bármelyikét használhatja: KEY1 vagy KEY2 . |
Nyissa meg az erőforrást az Azure Portalon. A végpont és a kulcsok az Erőforrás-kezelés szakaszban találhatók. Másolja ki a végpontot és a hozzáférési kulcsot úgy, ahogyan az az API-hívások hitelesítéséhez szükséges. A következők bármelyikét használhatja: KEY1
vagy KEY2
. A két kulcs mindig lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okoz.
A .NET-alkalmazás létrehozása
Hozzon létre egy .NET-alkalmazást a
dotnet new
következő paranccsal:dotnet new console -n OpenAISpeech
Váltson az új alkalmazás könyvtárára:
cd OpenAISpeech
Telepítse az ügyfélkódtárat
Telepítse az Azure.OpenAI
ügyfélkódtárat:
dotnet add package Azure.AI.OpenAI
Jelszó nélküli hitelesítés használata ajánlott
A jelszó nélküli hitelesítés biztonságosabb, mint a kulcsalapú alternatívák, és az Azure-szolgáltatásokhoz való csatlakozás ajánlott módszere. Ha jelszó nélküli hitelesítést használ, a következőket kell elvégeznie:
Vegye fel a
Azure.Identity
csomagot.dotnet add package Azure.Identity
Rendelje hozzá a szerepkört
Cognitive Services User
a felhasználói fiókjához. Ez az OpenAI-erőforrás Azure Portalon, a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen végezhető el.Jelentkezzen be az Azure-ba a Visual Studióval vagy az Azure CLI-vel.
az login
Az alkalmazáskód frissítése
Cserélje le az alábbi kód tartalmát
program.cs
, és frissítse a helyőrző értékeket a sajátjára.using Azure; using Azure.AI.OpenAI; using Azure.Identity; using OpenAI.Chat; // Required for Passwordless auth var endpoint = new Uri("YOUR_AZURE_OPENAI_ENDPOINT"); var credentials = new AzureKeyCredential("YOUR_AZURE_OPENAI_KEY"); // var credentials = new DefaultAzureCredential(); // Use this line for Passwordless auth var deploymentName = "gpt-4"; // Default name, update with your own if needed var openAIClient = new AzureOpenAIClient(endpoint, credentials); var chatClient = openAIClient.GetChatClient(deploymentName); var imageUri = "YOUR_IMAGE_URL"; List<ChatMessage> messages = [ new UserChatMessage( ChatMessageContentPart.CreateTextMessageContentPart("Please describe the following image:"), ChatMessageContentPart.CreateImageMessageContentPart(new Uri(imageUri), "image/png")) ]; ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(messages); Console.WriteLine($"[ASSISTANT]:"); Console.WriteLine($"{chatCompletion.Content[0].Text}");
Fontos
Az Azure-erőforrásokhoz tartozó felügyelt identitásokkal rendelkező Microsoft Entra ID-hitelesítést javasoljuk, hogy ne tárolja a hitelesítő adatokat a felhőben futó alkalmazásokkal.
Óvatosan használja az API-kulcsokat. Ne foglalja bele közvetlenül az API-kulcsot a kódba, és soha ne tegye közzé nyilvánosan. API-kulcsok használata esetén biztonságosan tárolhatja őket az Azure Key Vaultban, rendszeresen elforgathatja a kulcsokat, és szerepköralapú hozzáférés-vezérléssel és hálózati hozzáférés-korlátozásokkal korlátozhatja az Azure Key Vaulthoz való hozzáférést. További információ az API-kulcsok biztonságos használatáról az alkalmazásokban: API-kulcsok az Azure Key Vaulttal.
Az AI-szolgáltatások biztonságáról további információt az Azure AI-szolgáltatásokhoz érkező kérelmek hitelesítése című témakörben talál.
Futtassa az alkalmazást a
dotnet run
Visual Studio tetején található paranccsal vagy futtatási gombbal:dotnet run
Az alkalmazás létrehoz egy hangfájlt a változóhoz speechFilePath
megadott helyen. A létrehozott hang meghallgatásához játssza le a fájlt az eszközön.
Az erőforrások eltávolítása
Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.