Apa itu inferensi model Azure AI?
Inferensi model Azure AI menyediakan akses ke model paling kuat yang tersedia di katalog model Azure AI. Model berasal dari penyedia model utama di industri, termasuk OpenAI, Microsoft, Meta, Mistral, Cohere, G42, dan AI21 Labs. Model-model ini dapat diintegrasikan dengan solusi perangkat lunak untuk memberikan berbagai tugas yang mencakup pembuatan konten, ringkasan, pemahaman gambar, pencarian semantik, dan pembuatan kode.
Tip
Untuk menyebarkan DeepSeek-R1 atau OpenAI o3-mini dalam inferensi model Azure AI, ikuti langkah-langkah di Menambahkan dan mengonfigurasi model.
Inferensi model Azure AI menyediakan cara untuk menggunakan model sebagai API tanpa menghostingnya di infrastruktur Anda. Model dihosting dalam infrastruktur yang dikelola Microsoft, yang memungkinkan akses berbasis API ke model penyedia model. Akses berbasis API dapat secara dramatis mengurangi biaya akses model dan menyederhanakan pengalaman provisi.
Inferensi model Azure AI adalah bagian dari Azure AI Services, dan pengguna dapat mengakses layanan melalui REST API, SDK dalam beberapa bahasa seperti Python, C#, JavaScript, dan Java. Anda juga dapat menggunakan inferensi model Azure AI dari Azure AI Foundry dengan mengonfigurasi koneksi.
Model
Anda bisa mendapatkan akses ke penyedia model utama di industri termasuk OpenAI, Microsoft, Meta, Mistral, Cohere, G42, dan AI21 Labs. Penyedia model menentukan persyaratan lisensi dan menetapkan harga untuk penggunaan model mereka. Daftar berikut ini memperlihatkan semua model yang tersedia:
Untuk melihat detail untuk setiap model termasuk, bahasa, jenis, dan kemampuan, lihat artikel Model .
| Penyedia | Model |
|---|---|
| Lab AI21 | - AI21-Jamba-1.5-Mini - AI21-Jamba-1.5-Large |
| Azure OpenAI | - o3-mini - o1 - gpt-4o - pratinjau o1 - o1-mini - gpt-4o-mini - teks-penyematan-3-besar - teks-penyematan-3-kecil |
| Cohere | - Cohere-embed-v3-english - Cohere-embed-v3-multibahasa - Kohere-command-r-plus-08-2024 - Kohere-command-r-08-2024 - Cohere-command-r-plus - Kohere-command-r |
| Core42 | - jais-30b-chat |
| DeepSeek | - DeepSeek-R1 |
| Meta | - Llama-3.3-70B-Instruct - Llama-3.2-11B-Vision-Instruct - Llama-3.2-90B-Vision-Instruct - Meta-Llama-3.1-405B-Instruct - Meta-Llama-3-8B-Instruct - Meta-Llama-3.1-70B-Instruct - Meta-Llama-3.1-8B-Instruct - Meta-Llama-3-70B-Instruct |
| Microsoft | - Phi-3-mini-128k-instruct - Phi-3-mini-4k-instruct - Phi-3-small-8k-instruct - Phi-3-medium-128k-instruct - Phi-3-medium-4k-instruct - Phi-3.5-vision-instruct - Phi-3.5-MoE-instruksi - Phi-3-small-128k-instruct - Phi-3.5-mini-instruct - Phi-4 |
| Mistral AI | - Ministral-3B - Mistral-besar - Mistral-kecil - Mistral-Nemo - Mistral-large-2407 - Mistral-Large-2411 - Codestral-2501 |
| NTT Data | - Tsuzumi-7b |
Harga
Untuk model dari penyedia non-Microsoft (misalnya, model Meta AI dan Mistral), penagihan melalui Marketplace Azure. Untuk model tersebut , Anda diharuskan berlangganan penawaran model tertentu sesuai dengan Ketentuan Penggunaan Marketplace Komersial Microsoft. Pengguna menerima ketentuan lisensi untuk penggunaan model. Informasi harga untuk konsumsi disediakan selama penyebaran.
Untuk model Microsoft (misalnya, model Phi-3 dan model Azure OpenAI) tagihan melalui meter Azure sebagai Layanan Konsumsi Pihak Pertama. Seperti yang dijelaskan dalam Ketentuan Produk, Anda membeli Layanan Konsumsi Pihak Pertama dengan menggunakan pengukur Azure, tetapi tidak tunduk pada ketentuan layanan Azure.
Tip
Pelajari cara memantau dan mengelola biaya dalam inferensi model Azure AI.
AI yang Bertanggung Jawab
Di Microsoft, kami berkomitmen untuk kemajuan AI yang didorong oleh prinsip-prinsip yang mengutamakan manusia. Model generatif seperti yang tersedia dalam model Azure AI memiliki manfaat potensial yang signifikan, tetapi tanpa desain yang cermat dan mitigasi yang bijaksana, model tersebut berpotensi menghasilkan konten yang salah atau bahkan berbahaya.
Microsoft membantu melindungi dari penyalahgunaan dan bahaya yang tidak diinginkan dengan mengambil tindakan berikut:
- Menggabungkan prinsip Microsoft untuk penggunaan AI yang bertanggung jawab
- Mengadopsi kode etik untuk penggunaan layanan
- Membuat filter konten untuk mendukung pelanggan
- Memberikan informasi dan panduan AI yang bertanggung jawab yang harus dipertimbangkan pelanggan saat menggunakan Azure OpenAI.
Memulai
Inferensi model Azure AI adalah penawaran fitur baru pada sumber daya Azure AI Services. Anda dapat memulai dengan cara yang sama seperti produk Azure lainnya tempat Anda membuat dan mengonfigurasi sumber daya untuk inferensi model Azure AI, atau instans layanan, di Langganan Azure Anda. Anda dapat membuat sumber daya sebanyak yang diperlukan dan mengonfigurasinya secara independen jika Anda memiliki beberapa tim dengan persyaratan yang berbeda.
Setelah membuat sumber daya Azure AI Services, Anda harus menyebarkan model sebelum dapat mulai melakukan panggilan API. Secara default, tidak ada model yang tersedia di dalamnya, sehingga Anda dapat mengontrol model mana yang akan dimulai. Lihat tutorial Membuat penyebaran model pertama Anda di inferensi model Azure AI.