Mulai cepat: Ucapan ke teks dengan model Azure OpenAI Whisper

Prasyarat

• Langganan Azure - Buat langganan gratis.

• Sumber daya Azure OpenAI disebarkan di wilayah yang didukung dan dengan model yang didukung.

• Pastikan Anda diberi setidaknya peran Kontributor Cognitive Services untuk sumber daya Azure OpenAI.

• Unduh contoh data dari GitHub jika Anda tidak memiliki data Anda sendiri.

Penyiapan

Mengambil kunci dan titik akhir

Agar berhasil melakukan panggilan terhadap Azure OpenAI, Anda memerlukan titik akhir dan kunci.

Buka sumber daya Anda di portal Azure. Titik Akhir dan Kunci dapat ditemukan di bagian Manajemen Sumber Daya. Salin titik akhir dan kunci akses Anda karena keduanya diperlukan untuk mengautentikasi panggilan API Anda. Anda dapat menggunakan KEY1 atau KEY2. Selalu miliki dua kunci untuk memungkinkan Anda memutar dan meregenerasi kunci dengan aman tanpa menyebabkan gangguan layanan.

Variabel lingkungan

Buat dan tetapkan variabel lingkungan persisten untuk kunci dan titik akhir Anda.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Membuat permintaan dan respons REST API

Di shell bash, jalankan perintah berikut. Anda perlu mengganti YourDeploymentName dengan nama penyebaran yang Anda pilih saat menyebarkan model Whisper. Nama penyebaran tidak selalu sama dengan nama model. Memasukkan nama model menghasilkan kesalahan kecuali Anda memilih nama penyebaran yang identik dengan nama model yang mendasar.

curl $AZURE_OPENAI_ENDPOINT/openai/deployments/YourDeploymentName/audio/transcriptions?api-version=2024-02-01 \
 -H "api-key: $AZURE_OPENAI_API_KEY" \
 -H "Content-Type: multipart/form-data" \
 -F file="@./wikipediaOcelot.wav"

Baris pertama perintah sebelumnya dengan contoh titik akhir akan muncul sebagai berikut:

curl https://aoai-docs.openai.azure.com/openai/deployments/{YourDeploymentName}/audio/transcriptions?api-version=2024-02-01 \

Anda bisa mendapatkan sampel file audio, seperti wikipediaOcelot.wav, dari repositori Azure AI Speech SDK di GitHub.

Output

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Prasyarat

• Langganan Azure. Anda dapat membuatnya secara gratis.
• Sumber daya Azure OpenAI dengan model Whisper yang disebarkan di wilayah yang didukung. Untuk informasi selengkapnya, lihat Membuat sumber daya dan menyebarkan model dengan Azure OpenAI.
• Python 3.8 atau yang lebih baru
• Pustaka Python berikut: os

Penyiapan

Mengambil kunci dan titik akhir

Agar berhasil melakukan panggilan terhadap Azure OpenAI, Anda memerlukan titik akhir dan kunci.

Buka sumber daya Anda di portal Azure. Titik Akhir dan Kunci dapat ditemukan di bagian Manajemen Sumber Daya. Salin titik akhir dan kunci akses Anda karena keduanya diperlukan untuk mengautentikasi panggilan API Anda. Anda dapat menggunakan KEY1 atau KEY2. Selalu miliki dua kunci untuk memungkinkan Anda memutar dan meregenerasi kunci dengan aman tanpa menyebabkan gangguan layanan.

Variabel lingkungan

Buat dan tetapkan variabel lingkungan persisten untuk kunci dan titik akhir Anda.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Autentikasi tanpa kata sandi disarankan

Untuk autentikasi tanpa kata sandi, Anda perlu:

1. @azure/identity Gunakan paket.
2. Tetapkan peran ke Cognitive Services User akun pengguna Anda. Ini dapat dilakukan di portal Azure di bawah Kontrol akses (IAM)>Tambahkan penetapan peran.
3. Masuk dengan Azure CLI seperti az login.

Membuat lingkungan Python

Instal pustaka klien OpenAI Python dengan:

pip install openai

pip install openai==0.28.1

Membuat aplikasi Python

1. Buat file Python baru yang disebut quickstart.py. Lalu buka file di editor atau IDE pilihan Anda.

2. Ganti konten quickstart.py dengan kode berikut. Ubah kode untuk menambahkan nama penyebaran Anda:

    import os
    from openai import AzureOpenAI
        
    client = AzureOpenAI(
        api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
        api_version="2024-02-01",
        azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )
    
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = client.audio.transcriptions.create(
        file=open(audio_test_file, "rb"),            
        model=deployment_id
    )
    
    print(result)

    import openai
    import time
    import os
    
    openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")
    openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")  # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    openai.api_type = "azure"
    openai.api_version = "2024-02-01"
    
    model_name = "whisper"
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_language="en"
    
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = openai.Audio.transcribe(
                file=open(audio_test_file, "rb"),            
                model=model_name,
                deployment_id=deployment_id
            )
    
    print(result)

Jalankan aplikasi menggunakan python perintah pada file mulai cepat Anda:

python quickstart.py

Anda bisa mendapatkan sampel file audio, seperti wikipediaOcelot.wav, dari repositori Azure AI Speech SDK di GitHub.

Output

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Prasyarat

• Langganan Azure. Anda dapat membuatnya secara gratis.
• Sumber daya Azure OpenAI dengan model Whisper yang disebarkan di wilayah yang didukung. Untuk informasi selengkapnya, lihat Membuat sumber daya dan menyebarkan model dengan Azure OpenAI.
• The .NET 8.0 SDK

Penyiapan

Mengambil kunci dan titik akhir

Agar berhasil melakukan panggilan terhadap Azure OpenAI, Anda memerlukan titik akhir dan kunci.

Buka sumber daya Anda di portal Azure. Titik Akhir dan Kunci dapat ditemukan di bagian Manajemen Sumber Daya. Salin titik akhir dan kunci akses Anda karena keduanya diperlukan untuk mengautentikasi panggilan API Anda. Anda dapat menggunakan KEY1 atau KEY2. Selalu miliki dua kunci untuk memungkinkan Anda memutar dan meregenerasi kunci dengan aman tanpa menyebabkan gangguan layanan.

Membuat aplikasi .NET

1. Buat aplikasi .NET menggunakan dotnet new perintah :

   dotnet new console -n OpenAIWhisper
   

2. Ubah ke direktori aplikasi baru:

   cd OpenAIWhisper
   

3. Azure.OpenAI Instal pustaka klien:

   dotnet add package Azure.AI.OpenAI
   

Autentikasi tanpa kata sandi disarankan

Autentikasi tanpa kata sandi lebih aman daripada alternatif berbasis kunci dan merupakan pendekatan yang direkomendasikan untuk menyambungkan ke layanan Azure. Jika Anda memilih untuk menggunakan autentikasi Tanpa Kata Sandi, Anda harus menyelesaikan hal berikut:

1. Tambahkan paket Azure.Identity.

   dotnet add package Azure.Identity
   

2. Tetapkan peran ke Cognitive Services User akun pengguna Anda. Ini dapat dilakukan di portal Azure pada sumber daya OpenAI Anda di bawah Kontrol akses (IAM)>Tambahkan penetapan peran.

3. Masuk ke Azure menggunakan Visual Studio atau Azure CLI melalui az login.

Memperbarui kode aplikasi

1. Ganti konten program.cs dengan kode berikut dan perbarui nilai tempat penampung dengan nilai Anda sendiri.

   Catatan

   Anda bisa mendapatkan sampel file audio, seperti wikipediaOcelot.wav, dari repositori Azure AI Speech SDK di GitHub.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity; // Required for Passwordless auth
   
   var endpoint = new Uri("YOUR_OPENAI_ENDPOINT");
   var credentials = new AzureKeyCredential("YOUR_OPENAI_KEY");
   // var credentials = new DefaultAzureCredential(); // Use this line for Passwordless auth
   var deploymentName = "whisper"; // Default deployment name, update with your own if necessary
   var audioFilePath = "YOUR_AUDIO_FILE_PATH";
   
   var openAIClient = new AzureOpenAIClient(endpoint, credentials);
   
   var audioClient = openAIClient.GetAudioClient(deploymentName);
   
   var result = await audioClient.TranscribeAudioAsync(audioFilePath);
   
   Console.WriteLine("Transcribed text:");
   foreach (var item in result.Value.Text)
   {
       Console.Write(item);
   }
   

   Penting

   Untuk produksi, simpan, dan akses kredensial Anda menggunakan metode aman, seperti Azure Key Vault. Untuk informasi selengkapnya tentang keamanan kredensial, lihat Keamanan layanan Azure AI.

2. Jalankan aplikasi menggunakan dotnet run perintah atau tombol jalankan di bagian atas Visual Studio:

   dotnet run
   

   Jika Anda menggunakan file audio sampel, Anda akan melihat teks berikut yang dicetak di konsol:

   The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, 
   Mexico, and Central and South America. This medium-sized cat is characterized by solid 
   black spots and streaks on its coat, round ears...
   

Paket kode sumber | (npm) | Sampel

Prasyarat

• Langganan Azure - buat langganan gratis
• Versi LTS dari Node.js
• Azure CLI yang digunakan untuk autentikasi tanpa kata sandi di lingkungan pengembangan lokal, buat konteks yang diperlukan dengan masuk dengan Azure CLI.
• Sumber daya Azure OpenAI yang dibuat di wilayah yang didukung (lihat Ketersediaan wilayah). Untuk informasi selengkapnya, lihat Membuat sumber daya dan menyebarkan model dengan Azure OpenAI.

Prasyarat ID Microsoft Entra

Untuk autentikasi tanpa kunci yang direkomendasikan dengan ID Microsoft Entra, Anda perlu:

• Instal Azure CLI yang digunakan untuk autentikasi tanpa kunci dengan ID Microsoft Entra.
• Tetapkan peran ke Cognitive Services User akun pengguna Anda. Anda dapat menetapkan peran dalam portal Azure di bawah Kontrol akses (IAM)>Menambahkan penetapan peran.

Mengambil informasi sumber daya

Anda perlu mengambil informasi berikut untuk mengautentikasi aplikasi Anda dengan sumber daya Azure OpenAI Anda:

Membuat aplikasi Node

Di jendela konsol (seperti cmd, PowerShell, atau Bash), buat direktori baru untuk aplikasi Anda, dan buka direktori tersebut. Kemudian jalankan npm init perintah untuk membuat aplikasi simpul dengan file package.json .

npm init

Memasang pustaka klien

Instal pustaka klien dengan:

npm install openai @azure/identity

File package.json aplikasi Anda akan diperbarui dengan dependensi.

Membuat aplikasi sampel

Anda bisa mendapatkan sampel file audio, seperti wikipediaOcelot.wav, dari repositori Azure AI Speech SDK di GitHub.

Output

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Paket kode sumber | (npm) | Sampel

Prasyarat

• Langganan Azure - buat langganan gratis
• Versi LTS dari Node.js
• TypeScript
• Azure CLI yang digunakan untuk autentikasi tanpa kata sandi di lingkungan pengembangan lokal, buat konteks yang diperlukan dengan masuk dengan Azure CLI.
• Sumber daya Azure OpenAI yang dibuat di wilayah yang didukung (lihat Ketersediaan wilayah). Untuk informasi selengkapnya, lihat Membuat sumber daya dan menyebarkan model dengan Azure OpenAI.

Prasyarat ID Microsoft Entra

Untuk autentikasi tanpa kunci yang direkomendasikan dengan ID Microsoft Entra, Anda perlu:

• Instal Azure CLI yang digunakan untuk autentikasi tanpa kunci dengan ID Microsoft Entra.
• Tetapkan peran ke Cognitive Services User akun pengguna Anda. Anda dapat menetapkan peran dalam portal Azure di bawah Kontrol akses (IAM)>Menambahkan penetapan peran.

Mengambil informasi sumber daya

Anda perlu mengambil informasi berikut untuk mengautentikasi aplikasi Anda dengan sumber daya Azure OpenAI Anda:

Membuat aplikasi Node

Di jendela konsol (seperti cmd, PowerShell, atau Bash), buat direktori baru untuk aplikasi Anda, dan buka direktori tersebut. Kemudian jalankan npm init perintah untuk membuat aplikasi simpul dengan file package.json .

npm init

Memasang pustaka klien

Instal pustaka klien dengan:

npm install openai @azure/identity

File package.json aplikasi Anda akan diperbarui dengan dependensi.

Membuat aplikasi sampel

Anda bisa mendapatkan sampel file audio, seperti wikipediaOcelot.wav, dari repositori Azure AI Speech SDK di GitHub.

Output

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Prasyarat

• Langganan Azure - buat langganan gratis
• Anda dapat menggunakan versi terbaru, PowerShell 7, atau Windows PowerShell 5.1.
• Sumber daya Azure OpenAI Service dengan model yang sudah disebarkan. Untuk informasi selengkapnya tentang penyebaran model, lihat panduan penyebaran sumber daya.
• Sumber daya Azure OpenAI Service dengan gpt-35-turbo model atau yang disebarkan gpt-4 . Untuk informasi selengkapnya tentang penyebaran model, lihat panduan penyebaran sumber daya.

Penyiapan

Mengambil kunci dan titik akhir

Agar berhasil melakukan panggilan terhadap Azure OpenAI, Anda memerlukan titik akhir dan kunci.

Buka sumber daya Anda di portal Azure. Titik Akhir dan Kunci dapat ditemukan di bagian Manajemen Sumber Daya. Salin titik akhir dan kunci akses Anda karena keduanya diperlukan untuk mengautentikasi panggilan API Anda. Anda dapat menggunakan KEY1 atau KEY2. Selalu miliki dua kunci untuk memungkinkan Anda memutar dan meregenerasi kunci dengan aman tanpa menyebabkan gangguan layanan.

Variabel lingkungan

Buat dan tetapkan variabel lingkungan persisten untuk kunci dan titik akhir Anda.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Membuat aplikasi PowerShell

Jalankan perintah berikut. Anda perlu mengganti YourDeploymentName dengan nama penyebaran yang Anda pilih saat menyebarkan model Whisper. Nama penyebaran tidak selalu sama dengan nama model. Memasukkan nama model menghasilkan kesalahan kecuali Anda memilih nama penyebaran yang identik dengan nama model yang mendasar.

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YourDeploymentName' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

# Header for authentication
$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$form = @{ file = get-item -path './wikipediaOcelot.wav' }

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/audio/transcriptions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Form $form -Method Post -ContentType 'multipart/form-data'
return $response.text

Anda bisa mendapatkan sampel file audio, seperti wikipediaOcelot.wav, dari repositori Azure AI Speech SDK di GitHub.

Output

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs.