Mulai cepat: Menggunakan gambar di obrolan AI Anda

Gunakan artikel ini untuk mulai menggunakan Azure AI Foundry untuk menyebarkan dan menguji model penyelesaian obrolan dengan pemahaman gambar.

Prasyarat

• Langganan Azure. Buat akun gratis.
• Setelah Anda memiliki langganan Azure, buat sumber daya Azure OpenAI . Untuk informasi selengkapnya tentang pembuatan sumber daya, lihat panduan penyebaran sumber daya.
• Hub Azure AI Foundry dengan sumber daya Azure OpenAI Anda ditambahkan sebagai koneksi.

Menyiapkan media Anda

Anda memerlukan gambar untuk menyelesaikan mulai cepat ini. Anda dapat menggunakan gambar sampel ini atau gambar lain yang telah Anda sediakan.

Buka Azure AI Foundry

1. Telusuri ke Azure AI Foundry dan masuk dengan kredensial yang terkait dengan sumber daya Azure OpenAI Anda. Selama atau setelah alur kerja masuk, pilih direktori, langganan Azure, dan sumber daya Azure OpenAI yang sesuai.
2. Pilih hub yang ingin Anda kerjakan.
3. Di menu navigasi kiri, pilih Model + titik akhir dan pilih + Sebarkan model.
4. Pilih penyebaran berkemampuan gambar dengan memilih nama model: gpt-4o atau gpt-4o-mini. Di jendela yang muncul, pilih nama dan jenis penyebaran. Pastikan sumber daya Azure OpenAI Anda tersambung. Untuk informasi selengkapnya tentang penyebaran model, lihat panduan penyebaran sumber daya.
5. Pilih Sebarkan.
6. Selanjutnya, pilih model baru Anda dan pilih Buka di playground. Di taman bermain obrolan, penyebaran yang Anda buat harus dipilih di menu dropdown Penyebaran .

Playground

Dalam sesi obrolan ini, Anda menginstruksikan asisten untuk membantu Anda dalam memahami gambar yang Anda masukkan.

Untuk bantuan umum terkait penyiapan asisten, sesi obrolan, pengaturan, dan panel, lihat mulai cepat Obrolan.

Memulai sesi obrolan untuk menganalisis gambar

Dalam sesi obrolan ini, Anda menginstruksikan asisten untuk membantu memahami gambar yang Anda masukkan.

1. Untuk memulai, pastikan penyebaran berkemampuan gambar Anda dipilih di menu dropdown Penyebaran .

2. Dalam kotak teks konteks pada panel Penyiapan , berikan perintah ini untuk memandu asisten: "You're an AI assistant that helps people find information." Atau, Anda dapat menyesuaikan perintah dengan gambar atau skenario Anda.

   Catatan

   Sebaiknya perbarui Pesan Sistem agar spesifik untuk tugas untuk menghindari respons yang tidak membantu dari model.

3. Pilih Terapkan perubahan untuk menyimpan perubahan Anda.

4. Di panel sesi obrolan, pilih tombol lampiran lalu Unggah gambar. Pilih gambar Anda.

5. Tambahkan perintah berikut di bidang obrolan: Describe this image, lalu pilih ikon kirim untuk mengirimkannya.

6. Ikon kirim digantikan oleh tombol berhenti. Jika Anda memilihnya, asisten berhenti memproses permintaan Anda. Untuk mulai cepat ini, biarkan asisten menyelesaikan balasannya.

7. Asisten membalas dengan deskripsi gambar.

8. Ajukan pertanyaan tindak lanjut terkait analisis gambar Anda. Anda bisa masuk, "What should I highlight about this image to my insurance company?".

9. Anda akan menerima respons yang relevan mirip dengan apa yang ditunjukkan di sini:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Menampilkan dan mengekspor kode

Kapan saja dalam sesi obrolan, Anda dapat mengaktifkan tombol Tampilkan JSON mentah di bagian atas jendela obrolan untuk melihat percakapan yang diformat sebagai JSON. Seperti apa tampilannya di awal sesi obrolan mulai cepat:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Membersihkan sumber daya

Jika Anda ingin membersihkan dan menghapus sumber daya Azure OpenAI, Anda dapat menghapus sumber daya atau grup sumber daya. Menghapus grup sumber daya juga menghapus sumber daya apa pun yang terkait dengannya.

• Portal Azure
• Azure CLI

Gunakan artikel ini untuk mulai menggunakan REST API Azure OpenAI untuk menyebarkan dan menggunakan GPT-4 Turbo dengan model Visi.

Prasyarat

• Langganan Azure. Buat akun gratis.
• Python 3.8 atau versi yang lebih baru.
• Pustaka Python berikut: requests, json.
• Sumber daya Azure OpenAI Service dengan GPT-4 Turbo dengan model Vision disebarkan. Lihat ketersediaan model Pratinjau GPT-4 dan GPT-4 Turbo untuk wilayah yang tersedia. Untuk informasi selengkapnya tentang pembuatan sumber daya, lihat panduan penyebaran sumber daya.

Mengambil kunci dan titik akhir

Agar berhasil memanggil API Azure OpenAI, Anda memerlukan informasi berikut tentang sumber daya Azure OpenAI Anda:

Buka sumber daya Anda di portal Azure. Pada panel navigasi, pilih Kunci dan Titik Akhir di bawah Manajemen Sumber Daya. Salin nilai Titik akhir dan nilai kunci akses. Anda dapat menggunakan nilai KEY 1 atau KEY 2 . Memiliki dua kunci memungkinkan Anda memutar dan meregenerasi kunci dengan aman tanpa menyebabkan gangguan layanan.

Membuat aplikasi Python baru

Buat file Python baru bernama quickstart.py. Buka file baru di editor atau IDE pilihan Anda.

1. Ganti konten quickstart.py dengan kode berikut.

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. Lakukan perubahan berikut:

   1. Masukkan URL dan kunci titik akhir Anda di bidang yang sesuai.
   2. Masukkan GPT-4 Turbo Anda dengan nama penyebaran Visi di bidang yang sesuai.
   3. Ubah nilai "image" bidang menjadi URL gambar Anda.

      Tip

      Anda juga dapat menggunakan data gambar dasar 64 yang dikodekan alih-alih URL. Untuk informasi selengkapnya, lihat panduan cara penggunaan GPT-4 Turbo with Vision.

3. Jalankan aplikasi dengan python perintah:

   python quickstart.py
   

Membersihkan sumber daya

Jika Anda ingin membersihkan dan menghapus sumber daya Azure OpenAI, Anda dapat menghapus sumber daya atau grup sumber daya. Menghapus grup sumber daya juga menghapus sumber daya apa pun yang terkait dengannya.

• Portal Azure
• Azure CLI

Gunakan artikel ini untuk mulai menggunakan Azure OpenAI Python SDK untuk menyebarkan dan menggunakan GPT-4 Turbo dengan model Visi.

Kode sumber pustaka | Paket (PyPi) |

Prasyarat

• Langganan Azure. Buat akun gratis.
• Python 3.8 atau versi yang lebih baru.
• Pustaka Python berikut: os
• Sumber daya Azure OpenAI Service dengan GPT-4 Turbo dengan model Vision disebarkan. Lihat ketersediaan model Pratinjau GPT-4 dan GPT-4 Turbo untuk wilayah yang tersedia. Untuk informasi selengkapnya tentang pembuatan sumber daya, lihat panduan penyebaran sumber daya.

Penyiapan

Instal pustaka klien OpenAI Python dengan:

pip install openai

Mengambil kunci dan titik akhir

Agar berhasil melakukan panggilan terhadap Azure OpenAI, Anda memerlukan titik akhir dan kunci.

Buka sumber daya Anda di portal Azure. Bagian Kunci & Titik Akhir dapat ditemukan di bagian Manajemen Sumber Daya. Salin titik akhir dan kunci akses Anda karena keduanya diperlukan untuk mengautentikasi panggilan API Anda. Anda dapat menggunakan KEY1 atau KEY2. Selalu miliki dua kunci untuk memungkinkan Anda memutar dan meregenerasi kunci dengan aman tanpa menyebabkan gangguan layanan.

Variabel lingkungan

Buat dan tetapkan variabel lingkungan persisten untuk kunci dan titik akhir Anda.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Membuat aplikasi Python baru

Buat file Python baru bernama quickstart.py. Buka file baru di editor atau IDE pilihan Anda.

1. Ganti konten quickstart.py dengan kode berikut.

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. Lakukan perubahan berikut:

   1. Masukkan nama GPT-4 Turbo Anda dengan penyebaran Visi di bidang yang sesuai.
   2. Ubah nilai "url" bidang menjadi URL gambar Anda.

      Tip

      Anda juga dapat menggunakan data gambar dasar 64 yang dikodekan alih-alih URL. Untuk informasi selengkapnya, lihat panduan cara penggunaan GPT-4 Turbo with Vision.

3. Jalankan aplikasi dengan python perintah:

   python quickstart.py
   

Membersihkan sumber daya

Jika Anda ingin membersihkan dan menghapus sumber daya Azure OpenAI, Anda dapat menghapus sumber daya atau grup sumber daya. Menghapus grup sumber daya juga menghapus sumber daya apa pun yang terkait dengannya.

• Portal Azure
• Azure CLI

Gunakan artikel ini untuk mulai menggunakan OpenAI JavaScript SDK untuk menyebarkan dan menggunakan GPT-4 Turbo dengan model Visi.

SDK ini disediakan oleh OpenAI dengan jenis spesifik Azure yang disediakan oleh Azure.

Dokumentasi referensi | Kode sumber pustaka | Paket (npm) | Sampel

Prasyarat

• Langganan Azure - buat langganan gratis
• Versi LTS dari Node.js
• Azure CLI yang digunakan untuk autentikasi tanpa kata sandi di lingkungan pengembangan lokal, buat konteks yang diperlukan dengan masuk dengan Azure CLI.
• Sumber daya Azure OpenAI yang dibuat di wilayah yang didukung (lihat Ketersediaan wilayah). Untuk informasi selengkapnya, lihat Membuat sumber daya dan menyebarkan model dengan Azure OpenAI.

Prasyarat ID Microsoft Entra

Untuk autentikasi tanpa kunci yang direkomendasikan dengan ID Microsoft Entra, Anda perlu:

• Instal Azure CLI yang digunakan untuk autentikasi tanpa kunci dengan ID Microsoft Entra.
• Tetapkan peran ke Cognitive Services User akun pengguna Anda. Anda dapat menetapkan peran dalam portal Azure di bawah Kontrol akses (IAM)>Menambahkan penetapan peran.

Mengambil informasi sumber daya

Anda perlu mengambil informasi berikut untuk mengautentikasi aplikasi Anda dengan sumber daya Azure OpenAI Anda:

Membuat aplikasi Node

Di jendela konsol (seperti cmd, PowerShell, atau Bash), buat direktori baru untuk aplikasi Anda, dan buka direktori tersebut. Kemudian jalankan npm init perintah untuk membuat aplikasi simpul dengan file package.json .

npm init

Memasang pustaka klien

Instal pustaka klien dengan:

npm install openai @azure/identity

File package.json aplikasi Anda akan diperbarui dengan dependensi.

Membuat aplikasi JavaScript baru untuk perintah gambar

Pilih gambar dari azure-samples/cognitive-services-sample-data-files dan atur URL untuk gambar dalam variabel lingkungan.

Membersihkan sumber daya

Jika Anda ingin membersihkan dan menghapus sumber daya Azure OpenAI, Anda dapat menghapus sumber daya atau grup sumber daya. Menghapus grup sumber daya juga menghapus sumber daya apa pun yang terkait dengannya.

• Portal Azure
• Azure CLI

Gunakan artikel ini untuk mulai menggunakan OpenAI JavaScript SDK untuk menyebarkan dan menggunakan GPT-4 Turbo dengan model Visi.

SDK ini disediakan oleh OpenAI dengan jenis spesifik Azure yang disediakan oleh Azure.

Dokumentasi referensi | Kode sumber pustaka | Paket (npm) | Sampel

Prasyarat

• Langganan Azure - buat langganan gratis
• Versi LTS dari Node.js
• TypeScript
• Azure CLI yang digunakan untuk autentikasi tanpa kata sandi di lingkungan pengembangan lokal, buat konteks yang diperlukan dengan masuk dengan Azure CLI.
• Sumber daya Azure OpenAI yang dibuat di wilayah yang didukung (lihat Ketersediaan wilayah). Untuk informasi selengkapnya, lihat Membuat sumber daya dan menyebarkan model dengan Azure OpenAI.

Prasyarat ID Microsoft Entra

Untuk autentikasi tanpa kunci yang direkomendasikan dengan ID Microsoft Entra, Anda perlu:

• Instal Azure CLI yang digunakan untuk autentikasi tanpa kunci dengan ID Microsoft Entra.
• Tetapkan peran ke Cognitive Services User akun pengguna Anda. Anda dapat menetapkan peran dalam portal Azure di bawah Kontrol akses (IAM)>Menambahkan penetapan peran.

Mengambil informasi sumber daya

Anda perlu mengambil informasi berikut untuk mengautentikasi aplikasi Anda dengan sumber daya Azure OpenAI Anda:

Membuat aplikasi Node

Di jendela konsol (seperti cmd, PowerShell, atau Bash), buat direktori baru untuk aplikasi Anda, dan buka direktori tersebut. Kemudian jalankan npm init perintah untuk membuat aplikasi simpul dengan file package.json .

npm init

Memasang pustaka klien

Instal pustaka klien dengan:

npm install openai @azure/identity

File package.json aplikasi Anda akan diperbarui dengan dependensi.

Membuat aplikasi JavaScript baru untuk perintah gambar

Pilih gambar dari azure-samples/cognitive-services-sample-data-files dan atur URL untuk gambar dalam variabel lingkungan.

Membersihkan sumber daya

Jika Anda ingin membersihkan dan menghapus sumber daya Azure OpenAI, Anda dapat menghapus sumber daya atau grup sumber daya. Menghapus grup sumber daya juga menghapus sumber daya apa pun yang terkait dengannya.

• Portal Azure
• Azure CLI

Gunakan artikel ini untuk mulai menggunakan Azure OpenAI .NET SDK untuk menyebarkan dan menggunakan GPT-4 Turbo dengan model Visi.

Prasyarat

• Langganan Azure. Anda dapat membuatnya secara gratis.
• The .NET 8.0 SDK
• Sumber daya Azure OpenAI Service dengan GPT-4 Turbo dengan model Vision disebarkan. Lihat ketersediaan model Pratinjau GPT-4 dan GPT-4 Turbo untuk wilayah yang tersedia. Untuk informasi selengkapnya tentang pembuatan sumber daya, lihat panduan penyebaran sumber daya.

Penyiapan

Mengambil kunci dan titik akhir

Agar berhasil melakukan panggilan terhadap Azure OpenAI, Anda memerlukan titik akhir dan kunci.

Buka sumber daya Anda di portal Azure. Titik Akhir dan Kunci dapat ditemukan di bagian Manajemen Sumber Daya. Salin titik akhir dan kunci akses Anda karena Anda memerlukan keduanya untuk mengautentikasi panggilan API Anda. Anda dapat menggunakan KEY1 atau KEY2. Selalu miliki dua kunci untuk memungkinkan Anda memutar dan meregenerasi kunci dengan aman tanpa menyebabkan gangguan layanan.

Membuat aplikasi .NET

1. Buat aplikasi .NET menggunakan dotnet new perintah :

   dotnet new console -n OpenAISpeech
   

2. Ubah ke direktori aplikasi baru:

   cd OpenAISpeech
   

Memasang pustaka klien

Azure.OpenAI Instal pustaka klien:

dotnet add package Azure.AI.OpenAI

Autentikasi tanpa kata sandi disarankan

Autentikasi tanpa kata sandi lebih aman daripada alternatif berbasis kunci dan merupakan pendekatan yang direkomendasikan untuk menyambungkan ke layanan Azure. Jika Anda memilih untuk menggunakan autentikasi Tanpa Kata Sandi, Anda harus menyelesaikan hal berikut:

1. Tambahkan paket Azure.Identity.

   dotnet add package Azure.Identity
   

2. Tetapkan peran ke Cognitive Services User akun pengguna Anda. Ini dapat dilakukan di portal Azure pada sumber daya OpenAI Anda di bawah Kontrol akses (IAM)>Tambahkan penetapan peran.

3. Masuk ke Azure menggunakan Visual Studio atau Azure CLI melalui az login.

Memperbarui kode aplikasi

1. Ganti konten program.cs dengan kode berikut dan perbarui nilai tempat penampung dengan nilai Anda sendiri.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity;
   using OpenAI.Chat; // Required for Passwordless auth
   
   var endpoint = new Uri("YOUR_AZURE_OPENAI_ENDPOINT");
   var credentials = new AzureKeyCredential("YOUR_AZURE_OPENAI_KEY");
   // var credentials = new DefaultAzureCredential(); // Use this line for Passwordless auth
   var deploymentName = "gpt-4"; // Default name, update with your own if needed
   
   var openAIClient = new AzureOpenAIClient(endpoint, credentials);
   var chatClient = openAIClient.GetChatClient(deploymentName);
   
   var imageUri = "YOUR_IMAGE_URL";
   
   List<ChatMessage> messages = [
       new UserChatMessage(
           ChatMessageContentPart.CreateTextMessageContentPart("Please describe the following image:"),
           ChatMessageContentPart.CreateImageMessageContentPart(new Uri(imageUri), "image/png"))
   ];
   
   ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(messages);
   
   Console.WriteLine($"[ASSISTANT]:");
   Console.WriteLine($"{chatCompletion.Content[0].Text}");
   

1. Jalankan aplikasi menggunakan dotnet run perintah atau tombol jalankan di bagian atas Visual Studio:

   dotnet run
   

Aplikasi ini menghasilkan file audio di lokasi yang Anda tentukan untuk variabel tersebut speechFilePath . Putar file di perangkat Anda untuk mendengar audio yang dihasilkan.

Membersihkan sumber daya

Jika Anda ingin membersihkan dan menghapus sumber daya Azure OpenAI, Anda dapat menghapus sumber daya atau grup sumber daya. Menghapus grup sumber daya juga menghapus sumber daya apa pun yang terkait dengannya.

• Portal Azure
• Azure CLI