Rövid útmutató: Szövegfelolvasás az Azure OpenAI Whisper-modellel

Előfeltételek

• Azure-előfizetés – Hozzon létre egyet ingyenesen.

• Egy támogatott régióban és egy támogatott modellel üzembe helyezett Azure OpenAI-erőforrás.

• Győződjön meg arról, hogy legalább a Cognitive Services közreműködői szerepköre van hozzárendelve az Azure OpenAI-erőforráshoz.

• Ha nem rendelkezik saját adatokkal, töltse le a példaadatokat a GitHubról.

Beállítás

Kulcs és végpont lekérése

Az Azure OpenAI-ra való sikeres híváshoz egy végpontra és egy kulcsra van szükség.

Nyissa meg az erőforrást az Azure Portalon. A végpont és a kulcsok az Erőforrás-kezelés szakaszban találhatók. Másolja ki a végpontot és a hozzáférési kulcsot, mivel mindkettőre szüksége lesz az API-hívások hitelesítéséhez. A következők bármelyikét használhatja: KEY1 vagy KEY2. A két kulcs mindig lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okoz.

Környezeti változók

Állandó környezeti változók létrehozása és hozzárendelése a kulcshoz és a végponthoz.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

REST API-kérés és -válasz létrehozása

Bash-rendszerhéjban futtassa a következő parancsot. A Whisper-modell üzembe helyezésekor választott üzembe helyezési nevet kell lecserélnie YourDeploymentName . Az üzembe helyezés neve nem feltétlenül ugyanaz, mint a modell neve. A modell nevének megadása hibaüzenetet eredményez, kivéve, ha az alapul szolgáló modell nevével azonos központi telepítési nevet választott.

curl $AZURE_OPENAI_ENDPOINT/openai/deployments/YourDeploymentName/audio/transcriptions?api-version=2024-02-01 \
 -H "api-key: $AZURE_OPENAI_API_KEY" \
 -H "Content-Type: multipart/form-data" \
 -F file="@./wikipediaOcelot.wav"

Az előző parancs első sora egy példavégponttal a következőképpen jelenik meg:

curl https://aoai-docs.openai.azure.com/openai/deployments/{YourDeploymentName}/audio/transcriptions?api-version=2024-02-01 \

A GitHub Azure AI Speech SDK-adattárából mintafájlokat , például wikipediaOcelot.wav kérhet le.

Hozam

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Előfeltételek

• Azure-előfizetés. Ingyenesen létrehozhat egyet.
• Egy Támogatott régióban üzembe helyezett Whisper-modellel rendelkező Azure OpenAI-erőforrás. További információ: Erőforrás létrehozása és modell üzembe helyezése az Azure OpenAI használatával.
• Python 3.8 vagy újabb
• A következő Python-kódtár: operációs rendszer

Beállítás

Kulcs és végpont lekérése

Az Azure OpenAI-ra való sikeres híváshoz egy végpontra és egy kulcsra van szükség.

Nyissa meg az erőforrást az Azure Portalon. A végpont és a kulcsok az Erőforrás-kezelés szakaszban találhatók. Másolja ki a végpontot és a hozzáférési kulcsot, mivel mindkettőre szüksége lesz az API-hívások hitelesítéséhez. A következők bármelyikét használhatja: KEY1 vagy KEY2. A két kulcs mindig lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okoz.

Környezeti változók

Állandó környezeti változók létrehozása és hozzárendelése a kulcshoz és a végponthoz.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Jelszó nélküli hitelesítés használata ajánlott

A jelszó nélküli hitelesítéshez a következőkre van szükség:

1. Használja a @azure/identity csomagot.
2. Rendelje hozzá a szerepkört Cognitive Services User a felhasználói fiókjához. Ez az Azure Portal Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területén végezhető el.
3. Jelentkezzen be az Azure CLI-vel, például az login.

Python-környezet létrehozása

Telepítse az OpenAI Python ügyfélkódtárat a következőkkel:

pip install openai

pip install openai==0.28.1

A Python-alkalmazás létrehozása

1. Hozzon létre egy új Python-fájlt quickstart.py néven. Ezután nyissa meg a kívánt szerkesztőben vagy IDE-ben.

2. Cserélje le a quickstart.py tartalmát a következő kódra. Módosítsa a kódot az üzembehelyezési név hozzáadásához:

    import os
    from openai import AzureOpenAI
        
    client = AzureOpenAI(
        api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
        api_version="2024-02-01",
        azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )
    
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = client.audio.transcriptions.create(
        file=open(audio_test_file, "rb"),            
        model=deployment_id
    )
    
    print(result)

    import openai
    import time
    import os
    
    openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")
    openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")  # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    openai.api_type = "azure"
    openai.api_version = "2024-02-01"
    
    model_name = "whisper"
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_language="en"
    
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = openai.Audio.transcribe(
                file=open(audio_test_file, "rb"),            
                model=model_name,
                deployment_id=deployment_id
            )
    
    print(result)

Futtassa az alkalmazást a python gyorsútmutató-fájlban található paranccsal:

python quickstart.py

A GitHub Azure AI Speech SDK-adattárából mintafájlokat , például wikipediaOcelot.wav kérhet le.

Hozam

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Előfeltételek

• Azure-előfizetés. Ingyenesen létrehozhat egyet.
• Egy Támogatott régióban üzembe helyezett Whisper-modellel rendelkező Azure OpenAI-erőforrás. További információ: Erőforrás létrehozása és modell üzembe helyezése az Azure OpenAI használatával.
• A .NET 8.0 SDK

Beállítás

Kulcs és végpont lekérése

Az Azure OpenAI-ra való sikeres híváshoz egy végpontra és egy kulcsra van szükség.

Nyissa meg az erőforrást az Azure Portalon. A végpont és a kulcsok az Erőforrás-kezelés szakaszban találhatók. Másolja ki a végpontot és a hozzáférési kulcsot, mivel mindkettőre szüksége lesz az API-hívások hitelesítéséhez. A következők bármelyikét használhatja: KEY1 vagy KEY2. A két kulcs mindig lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okoz.

A .NET-alkalmazás létrehozása

1. Hozzon létre egy .NET-alkalmazást a dotnet new következő paranccsal:

   dotnet new console -n OpenAIWhisper
   

2. Váltson az új alkalmazás könyvtárára:

   cd OpenAIWhisper
   

3. Telepítse az Azure.OpenAI ügyfélkódtárat:

   dotnet add package Azure.AI.OpenAI
   

Jelszó nélküli hitelesítés használata ajánlott

A jelszó nélküli hitelesítés biztonságosabb, mint a kulcsalapú alternatívák, és az Azure-szolgáltatásokhoz való csatlakozás ajánlott módszere. Ha jelszó nélküli hitelesítést használ, a következőket kell elvégeznie:

1. Vegye fel a Azure.Identity csomagot.

   dotnet add package Azure.Identity
   

2. Rendelje hozzá a szerepkört Cognitive Services User a felhasználói fiókjához. Ez az OpenAI-erőforrás Azure Portalon, a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen végezhető el.

3. Jelentkezzen be az Azure-ba a Visual Studióval vagy az Azure CLI-vel.az login

Az alkalmazáskód frissítése

1. Cserélje le az alábbi kód tartalmát program.cs , és frissítse a helyőrző értékeket a sajátjára.

   Feljegyzés

   A GitHub Azure AI Speech SDK-adattárából mintafájlokat , például wikipediaOcelot.wav kérhet le.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity; // Required for Passwordless auth
   
   var endpoint = new Uri("YOUR_OPENAI_ENDPOINT");
   var credentials = new AzureKeyCredential("YOUR_OPENAI_KEY");
   // var credentials = new DefaultAzureCredential(); // Use this line for Passwordless auth
   var deploymentName = "whisper"; // Default deployment name, update with your own if necessary
   var audioFilePath = "YOUR_AUDIO_FILE_PATH";
   
   var openAIClient = new AzureOpenAIClient(endpoint, credentials);
   
   var audioClient = openAIClient.GetAudioClient(deploymentName);
   
   var result = await audioClient.TranscribeAudioAsync(audioFilePath);
   
   Console.WriteLine("Transcribed text:");
   foreach (var item in result.Value.Text)
   {
       Console.Write(item);
   }
   

   Fontos

   Éles környezetben tárolja és érje el a hitelesítő adatait egy biztonságos módszerrel, például az Azure Key Vaulttal. További információ a hitelesítő adatok biztonságáról: Azure AI-szolgáltatások biztonsága.

2. Futtassa az alkalmazást a dotnet run Visual Studio tetején található paranccsal vagy futtatási gombbal:

   dotnet run
   

   Ha a minta hangfájlt használja, a következő szövegnek kell megjelennie a konzolon:

   The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, 
   Mexico, and Central and South America. This medium-sized cat is characterized by solid 
   black spots and streaks on its coat, round ears...
   

Forráskódcsomag (npm) | minták |

Előfeltételek

• Azure-előfizetés – Ingyenes létrehozás
• A Node.js LTS-verziói
• A helyi fejlesztési környezetben a jelszó nélküli hitelesítéshez használt Azure CLI az Azure CLI-vel való bejelentkezéssel hozza létre a szükséges környezetet.
• Egy támogatott régióban létrehozott Azure OpenAI-erőforrás (lásd a régió rendelkezésre állását). További információ: Erőforrás létrehozása és modell üzembe helyezése az Azure OpenAI használatával.

A Microsoft Entra ID előfeltételei

A Microsoft Entra-azonosítóval javasolt kulcs nélküli hitelesítéshez a következőket kell elvégeznie:

• Telepítse a Kulcs nélküli hitelesítéshez használt Azure CLI-t a Microsoft Entra-azonosítóval.
• Rendelje hozzá a szerepkört Cognitive Services User a felhasználói fiókjához. Szerepköröket az Azure Portalon rendelhet hozzá a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen.

Erőforrásadatok lekérése

Az alkalmazás Azure OpenAI-erőforrással való hitelesítéséhez le kell kérnie a következő adatokat:

Csomópontalkalmazás létrehozása

Egy konzolablakban (pl. cmd, PowerShell vagy Bash) hozzon létre egy új mappát az alkalmazásnak, majd navigáljon oda. Ezután futtassa a npm init parancsot egy csomópontalkalmazás létrehozásához egy package.json fájllal.

npm init

Telepítse az ügyfélkódtárat

Telepítse az ügyfélkódtárakat a következőkkel:

npm install openai @azure/identity

Az alkalmazás package.json fájlja frissül a függőségekkel.

Mintaalkalmazás létrehozása

A GitHub Azure AI Speech SDK-adattárából mintafájlokat , például wikipediaOcelot.wav kérhet le.

Hozam

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Forráskódcsomag (npm) | minták |

Előfeltételek

• Azure-előfizetés – Ingyenes létrehozás
• A Node.js LTS-verziói
• TypeScript
• A helyi fejlesztési környezetben a jelszó nélküli hitelesítéshez használt Azure CLI az Azure CLI-vel való bejelentkezéssel hozza létre a szükséges környezetet.
• Egy támogatott régióban létrehozott Azure OpenAI-erőforrás (lásd a régió rendelkezésre állását). További információ: Erőforrás létrehozása és modell üzembe helyezése az Azure OpenAI használatával.

A Microsoft Entra ID előfeltételei

A Microsoft Entra-azonosítóval javasolt kulcs nélküli hitelesítéshez a következőket kell elvégeznie:

• Telepítse a Kulcs nélküli hitelesítéshez használt Azure CLI-t a Microsoft Entra-azonosítóval.
• Rendelje hozzá a szerepkört Cognitive Services User a felhasználói fiókjához. Szerepköröket az Azure Portalon rendelhet hozzá a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen.

Erőforrásadatok lekérése

Az alkalmazás Azure OpenAI-erőforrással való hitelesítéséhez le kell kérnie a következő adatokat:

Csomópontalkalmazás létrehozása

Egy konzolablakban (pl. cmd, PowerShell vagy Bash) hozzon létre egy új mappát az alkalmazásnak, majd navigáljon oda. Ezután futtassa a npm init parancsot egy csomópontalkalmazás létrehozásához egy package.json fájllal.

npm init

Telepítse az ügyfélkódtárat

Telepítse az ügyfélkódtárakat a következőkkel:

npm install openai @azure/identity

Az alkalmazás package.json fájlja frissül a függőségekkel.

Mintaalkalmazás létrehozása

A GitHub Azure AI Speech SDK-adattárából mintafájlokat , például wikipediaOcelot.wav kérhet le.

Hozam

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Előfeltételek

• Azure-előfizetés – Ingyenes létrehozás
• Használhatja a legújabb verziót, a PowerShell 7-et vagy a Windows PowerShell 5.1-et.
• Azure OpenAI-szolgáltatáserőforrás üzembe helyezett modellel. A modellek üzembe helyezéséről a modellek üzembe helyezésének ismertetőjében talál további információt.
• Egy Azure OpenAI-szolgáltatás erőforrása, amely az üzembe helyezett modelleket vagy gpt-4 azokat gpt-35-turbo tartalmazza. A modellek üzembe helyezéséről a modellek üzembe helyezésének ismertetőjében talál további információt.

Beállítás

Kulcs és végpont lekérése

Az Azure OpenAI-ra való sikeres híváshoz egy végpontra és egy kulcsra van szükség.

Nyissa meg az erőforrást az Azure Portalon. A végpont és a kulcsok az Erőforrás-kezelés szakaszban találhatók. Másolja ki a végpontot és a hozzáférési kulcsot, mivel mindkettőre szüksége lesz az API-hívások hitelesítéséhez. A következők bármelyikét használhatja: KEY1 vagy KEY2. A két kulcs mindig lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okoz.

Környezeti változók

Állandó környezeti változók létrehozása és hozzárendelése a kulcshoz és a végponthoz.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

PowerShell-alkalmazás létrehozása

Futtassa az alábbi parancsot. A Whisper-modell üzembe helyezésekor választott üzembe helyezési nevet kell lecserélnie YourDeploymentName . Az üzembe helyezés neve nem feltétlenül ugyanaz, mint a modell neve. A modell nevének megadása hibaüzenetet eredményez, kivéve, ha az alapul szolgáló modell nevével azonos központi telepítési nevet választott.

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YourDeploymentName' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

# Header for authentication
$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$form = @{ file = get-item -path './wikipediaOcelot.wav' }

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/audio/transcriptions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Form $form -Method Post -ContentType 'multipart/form-data'
return $response.text

A GitHub Azure AI Speech SDK-adattárából mintafájlokat , például wikipediaOcelot.wav kérhet le.

Hozam

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs.