Jenis penyebaran Azure OpenAI

Azure OpenAI memberi pelanggan pilihan pada struktur hosting yang sesuai dengan pola bisnis dan penggunaan mereka. Layanan ini menawarkan dua jenis penyebaran utama: standar dan disediakan. Untuk jenis penyebaran tertentu, pelanggan dapat menyelaraskan beban kerja mereka dengan persyaratan pemrosesan data mereka dengan memilih geografi Azure (Standard atau Provisioned-Managed), zona data yang ditentukan Microsoft (DataZone-Standard atau DataZone Provisioned-Managed), atau opsi pemrosesan Global (Global-Standard atau Global Provisioned-Managed).

Semua penyebaran dapat melakukan operasi inferensi yang sama persis, namun penagihan, skala, dan performanya sangat berbeda. Sebagai bagian dari desain solusi Anda, Anda harus membuat dua keputusan utama:

• Lokasi pemrosesan data
• Volume panggilan

Lokasi Pemrosesan Data Penyebaran Azure OpenAI

Untuk penyebaran standar, ada tiga opsi jenis penyebaran yang dapat dipilih - global, zona data, dan geografi Azure. Untuk penyebaran yang disediakan, ada dua opsi jenis penyebaran untuk dipilih - geografi global dan Azure. Standar global adalah titik awal yang direkomendasikan.

Penyebaran global memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas pelanggan secara dinamis ke pusat data dengan ketersediaan terbaik untuk permintaan inferensi pelanggan. Ini berarti Anda akan mendapatkan batas throughput awal tertinggi dan ketersediaan model terbaik dengan Global sambil tetap menyediakan SLA waktu aktif dan latensi rendah kami. Untuk beban kerja volume tinggi di atas tingkat penggunaan yang ditentukan pada standar standar dan global, Anda mungkin mengalami peningkatan variasi latensi. Untuk pelanggan yang memerlukan variansi latensi yang lebih rendah pada penggunaan beban kerja yang besar, sebaiknya manfaatkan jenis penyebaran yang disediakan.

Penyebaran global kami akan menjadi lokasi pertama untuk semua model dan fitur baru. Bergantung pada volume panggilan, pelanggan dengan volume besar dan persyaratan variansi latensi rendah harus mempertimbangkan jenis penyebaran yang disediakan.

Penyebaran zona data memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas pelanggan secara dinamis ke pusat data dengan ketersediaan terbaik untuk permintaan inferensi pelanggan dalam zona data yang ditentukan oleh Microsoft. Diposisikan antara geografi Azure dan penawaran penyebaran Global kami, penyebaran zona data menyediakan batas kuota yang ditinggikan sambil menjaga pemrosesan data dalam zona data yang ditentukan Microsoft. Data yang disimpan saat tidak aktif akan terus berada di geografi sumber daya Azure OpenAI (misalnya, untuk sumber daya Azure OpenAI yang dibuat di wilayah Azure Swedia Tengah, geografi Azure adalah Swedia).

Jika sumber daya Azure OpenAI yang digunakan dalam penyebaran Zona Data Anda terletak di Amerika Serikat, data akan diproses dalam Amerika Serikat. Jika sumber daya Azure OpenAI yang digunakan dalam penyebaran Zona Data Anda terletak di Negara Anggota Uni Eropa, data akan diproses dalam geografi Negara Anggota Uni Eropa. Untuk semua jenis penyebaran layanan Azure OpenAI, data apa pun yang disimpan saat tidak aktif akan terus berada dalam geografi sumber daya Azure OpenAI. Pemrosesan data Azure dan komitmen kepatuhan tetap berlaku.

Untuk setiap jenis penyebaran berlabel 'Global,' perintah dan respons dapat diproses dalam geografi apa pun di mana model Azure OpenAI yang relevan disebarkan (pelajari selengkapnya tentang ketersediaan model wilayah). Untuk jenis penyebaran apa pun yang diberi label sebagai 'DataZone,' perintah dan respons dapat diproses dalam geografi apa pun dalam zona data yang ditentukan, seperti yang didefinisikan oleh Microsoft. Jika Anda membuat penyebaran DataZone di sumber daya Azure OpenAI yang terletak di Amerika Serikat, perintah dan respons dapat diproses di mana saja dalam Amerika Serikat. Jika Anda membuat penyebaran DataZone di sumber daya Azure OpenAI yang terletak di Negara Anggota Uni Eropa, perintah dan respons dapat diproses di negara tersebut atau Negara Anggota Uni Eropa lainnya. Untuk jenis penyebaran Global dan DataZone, data apa pun yang disimpan saat tidak aktif, seperti data yang diunggah, disimpan dalam geografi yang ditentukan pelanggan. Hanya lokasi pemrosesan yang terpengaruh ketika pelanggan menggunakan jenis penyebaran Global atau jenis penyebaran DataZone di Azure OpenAI Service; Pemrosesan data Azure dan komitmen kepatuhan tetap berlaku.

Standar global

Penyebaran global tersedia di sumber daya Azure OpenAI yang sama dengan jenis penyebaran non-global tetapi memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis ke pusat data dengan ketersediaan terbaik untuk setiap permintaan. Standar global menyediakan kuota default tertinggi dan menghilangkan kebutuhan untuk memuat keseimbangan di beberapa sumber daya.

Pelanggan dengan volume konsisten tinggi mungkin mengalami varianbilitas latensi yang lebih besar. Ambang diatur per model. Lihat halaman kuota untuk mempelajari selengkapnya. Untuk aplikasi yang memerlukan variansi latensi yang lebih rendah pada penggunaan beban kerja besar, sebaiknya beli throughput yang disediakan.

Penyediaan global

Penyebaran global tersedia di sumber daya Azure OpenAI yang sama dengan jenis penyebaran non-global tetapi memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis ke pusat data dengan ketersediaan terbaik untuk setiap permintaan. Penyebaran global yang disediakan menyediakan kapasitas pemrosesan model yang dipesan untuk throughput tinggi dan dapat diprediksi menggunakan infrastruktur global Azure.

Batch global

Batch global dirancang untuk menangani tugas pemrosesan skala besar dan volume tinggi secara efisien. Proses grup permintaan asinkron dengan kuota terpisah, dengan penyelesaian target 24 jam, dengan biaya 50% lebih murah daripada standar global. Dengan pemrosesan batch, daripada mengirim satu permintaan pada satu waktu Anda mengirim sejumlah besar permintaan dalam satu file. Permintaan batch global memiliki kuota token antrean terpisah yang menghindari gangguan beban kerja online Anda.

Kasus penggunaan utama meliputi:

• Pemrosesan Data Skala Besar: Menganalisis himpunan data yang luas secara paralel dengan cepat.

• Pembuatan Konten: Membuat teks dalam volume besar, seperti deskripsi produk atau artikel.

• Tinjauan dan Ringkasan Dokumen: Mengotomatiskan tinjauan dan ringkasan dokumen yang panjang.

• Automasi Dukungan Pelanggan: Tangani banyak kueri secara bersamaan untuk respons yang lebih cepat.

• Ekstraksi dan Analisis Data: Mengekstrak dan menganalisis informasi dari sejumlah besar data yang tidak terstruktur.

• Tugas Pemrosesan Bahasa Alami (NLP): Lakukan tugas seperti analisis sentimen atau terjemahan pada himpunan data besar.

• Pemasaran dan Personalisasi: Hasilkan konten dan rekomendasi yang dipersonalisasi dalam skala besar.

Standar zona data

Penyebaran standar zona data tersedia di sumber daya Azure OpenAI yang sama dengan semua jenis penyebaran Azure OpenAI lainnya tetapi memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis ke pusat data dalam zona data yang ditentukan Microsoft dengan ketersediaan terbaik untuk setiap permintaan. Standar zona data menyediakan kuota default yang lebih tinggi daripada jenis penyebaran berbasis geografi Azure kami.

Pelanggan dengan volume konsisten tinggi mungkin mengalami varianbilitas latensi yang lebih besar. Ambang diatur per model. Lihat halaman Kuota dan batasan untuk mempelajari selengkapnya. Untuk beban kerja yang memerlukan variansi latensi rendah pada volume besar, sebaiknya manfaatkan penawaran penyebaran yang disediakan.

Zona data yang disediakan

Penyebaran yang disediakan zona data tersedia di sumber daya Azure OpenAI yang sama dengan semua jenis penyebaran Azure OpenAI lainnya tetapi memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis ke pusat data dalam zona data yang ditentukan Microsoft dengan ketersediaan terbaik untuk setiap permintaan. Penyebaran yang disediakan zona data menyediakan kapasitas pemrosesan model yang dipesan untuk throughput tinggi dan dapat diprediksi menggunakan infrastruktur Azure dalam zona data yang ditentukan Microsoft.

Batch zona data

Penyebaran batch zona data menyediakan semua fungsionalitas yang sama dengan penyebaran batch global sambil memungkinkan Anda memanfaatkan infrastruktur global Azure untuk merutekan lalu lintas secara dinamis hanya ke pusat data dalam zona data yang ditentukan Microsoft dengan ketersediaan terbaik untuk setiap permintaan.

Standard

Penyebaran standar menyediakan model penagihan bayar per panggilan pada model yang dipilih. Menyediakan cara tercepat untuk memulai karena Anda hanya membayar apa yang Anda konsumsi. Model yang tersedia di setiap wilayah serta throughput mungkin terbatas.

Penyebaran standar dioptimalkan untuk beban kerja volume rendah hingga menengah dengan burstiness tinggi. Pelanggan dengan volume konsisten tinggi mungkin mengalami varianbilitas latensi yang lebih besar.

Tersedia

Penyebaran yang disediakan memungkinkan Anda menentukan jumlah throughput yang Anda butuhkan dalam penyebaran. Layanan kemudian mengalokasikan kapasitas pemrosesan model yang diperlukan dan memastikannya siap untuk Anda. Throughput didefinisikan dalam hal unit throughput yang disediakan (PTU) yang merupakan cara yang dinormalisasi untuk mewakili throughput untuk penyebaran Anda. Setiap pasangan versi model memerlukan jumlah PTU yang berbeda untuk menyebarkan dan menyediakan jumlah throughput yang berbeda per PTU. Pelajari lebih lanjut dari artikel Konsep throughput yang disediakan.

Cara menonaktifkan akses ke penyebaran global di langganan Anda

Azure Policy membantu memberlakukan standar organisasi dan menilai kepatuhan dalam skala besar. Melalui dasbor kepatuhannya, ia menyediakan tampilan agregat untuk mengevaluasi keadaan lingkungan secara menyeluruh, dengan kemampuan untuk menelusuri ke granularitas per sumber daya, per kebijakan dengan mendetail. Ini juga membantu untuk membawa sumber daya Anda ke kepatuhan melalui remediasi massal untuk sumber daya yang sudah ada dan remediasi otomatis untuk sumber daya baru. Pelajari selengkapnya tentang Azure Policy dan kontrol bawaan tertentu untuk layanan AI.

Anda dapat menggunakan kebijakan berikut untuk menonaktifkan akses ke jenis penyebaran Azure OpenAI apa pun. Untuk menonaktifkan akses ke jenis penyebaran tertentu, ganti GlobalStandard dengan nama sku untuk jenis penyebaran yang ingin Anda nonaktifkan aksesnya.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Terapkan model

Untuk mempelajari tentang membuat sumber daya dan menyebarkan model, lihat panduan pembuatan sumber daya.

Lihat juga

• Kuota & batas
• Onboarding unit throughput yang disediakan (PTU)
• Memulai unit throughput yang disediakan (PTU)