Siap AI – Proses untuk membangun beban kerja AI di Azure
Artikel ini menguraikan proses organisasi untuk membangun beban kerja AI di Azure. Artikel ini memberikan rekomendasi untuk membuat keputusan desain dan proses utama untuk mengadopsi beban kerja AI dalam skala besar. Ini berfokus pada panduan khusus AI untuk pemilihan wilayah, organisasi sumber daya, dan jaringan.
Menetapkan keandalan AI
Keandalan AI melibatkan pemilihan wilayah yang sesuai untuk menghosting model AI untuk memastikan performa, kepatuhan, dan ketersediaan yang konsisten. Organisasi harus mengatasi redundansi, failover, dan pengoptimalan performa untuk mempertahankan layanan AI yang andal.
Gunakan beberapa wilayah untuk menghosting titik akhir model AI. Untuk beban kerja produksi, host titik akhir AI di setidaknya dua wilayah untuk memberikan redundansi dan memastikan ketersediaan tinggi. Meskipun model AI generatif tanpa status, menghostingnya di beberapa wilayah memastikan failover dan pemulihan yang lebih cepat selama kegagalan regional. Untuk model Azure OpenAI Service, Anda dapat menggunakan penyebaran global. Penyebaran multiregion ini dapat merutekan permintaan secara otomatis dan transparan ke wilayah yang memiliki kapasitas yang cukup. Jika Anda memilih penyebaran nonglobal, juga dikenal sebagai penyebaran regional, gunakan Azure API Management untuk permintaan API penyeimbang beban ke titik akhir AI.
Mengonfirmasi ketersediaan layanan. Sebelum penyebaran, pastikan bahwa ada ketersediaan di wilayah untuk sumber daya AI yang Anda butuhkan. Wilayah tertentu mungkin tidak menyediakan layanan AI tertentu atau mungkin memiliki fitur terbatas, yang dapat memengaruhi fungsionalitas solusi Anda. Batasan ini juga dapat memengaruhi skalabilitas penyebaran Anda. Misalnya, ketersediaan layanan Azure OpenAI dapat bervariasi berdasarkan model penyebaran Anda. Model penyebaran ini termasuk standar global, penyediaan global, standar regional, dan provisi regional. Periksa layanan AI untuk mengonfirmasi bahwa Anda memiliki akses ke sumber daya yang diperlukan.
Mengevaluasi kuota dan kapasitas wilayah. Pertimbangkan batas kuota atau langganan di wilayah yang Anda pilih saat beban kerja AI Anda bertambah. Layanan Azure memiliki batas langganan regional. Batas ini dapat memengaruhi penyebaran model AI skala besar, seperti beban kerja inferensi besar. Untuk mencegah gangguan, hubungi dukungan Azure terlebih dahulu jika Anda melihat kebutuhan akan kapasitas tambahan.
Mengevaluasi performa. Saat Anda membangun aplikasi yang perlu mengambil data, seperti aplikasi retrieval-augmented-generation (RAG), penting untuk mempertimbangkan lokasi penyimpanan data untuk mengoptimalkan performa. Anda tidak perlu mengumpulkan data dengan model di aplikasi RAG, tetapi melakukannya dapat meningkatkan performa dengan mengurangi latensi dan memastikan pengambilan data yang efisien.
Bersiaplah untuk kelangsungan operasi. Untuk memastikan kelangsungan bisnis dan pemulihan bencana, replikasi aset penting seperti model yang disempurnakan, data RAG, model terlatih, dan himpunan data pelatihan di wilayah sekunder. Redundansi ini memungkinkan pemulihan yang lebih cepat jika ada pemadaman dan memastikan ketersediaan layanan yang berkelanjutan.
Menetapkan tata kelola AI
Tata kelola AI mencakup pengaturan sumber daya dan menerapkan kebijakan untuk mengelola beban kerja dan biaya AI. Ini melibatkan penataan grup manajemen dan langganan untuk memastikan kepatuhan dan keamanan di berbagai beban kerja. Tata kelola AI yang tepat mencegah akses yang tidak sah, mengelola risiko, dan memastikan bahwa sumber daya AI beroperasi secara efisien dalam organisasi.
Memisahkan beban kerja AI yang menghadap internet dan internal. Minimal, gunakan grup manajemen untuk memisahkan beban kerja AI menjadi menghadap internet ("online") dan hanya internal ("perusahaan"). Perbedaan ini menyediakan batas tata kelola data penting. Ini membantu Anda memisahkan internal dari data publik. Anda tidak ingin pengguna eksternal mengakses informasi bisnis sensitif yang diperlukan untuk pekerjaan internal. Perbedaan antara beban kerja internal dan yang menghadap internet ini selaras dengan grup manajemen zona pendaratan Azure.
Terapkan kebijakan AI ke setiap grup manajemen. Mulailah dengan kebijakan dasar untuk setiap jenis beban kerja, seperti kebijakan yang digunakan di zona pendaratan Azure. Tambahkan lebih banyak definisi Azure Policy ke garis besar Anda untuk mendorong tata kelola seragam untuk layanan Azure AI, Azure AI Search, Azure Pembelajaran Mesin, dan Azure Virtual Machines.
Sebarkan sumber daya AI dalam langganan beban kerja. Sumber daya AI perlu mewarisi kebijakan tata kelola beban kerja dari grup manajemen beban kerja (internal atau yang terhubung ke internet). Pisahkan dari sumber daya platform. Sumber daya AI yang dikendalikan oleh tim platform cenderung menciptakan hambatan pengembangan. Dalam konteks zona pendaratan Azure, sebarkan beban kerja AI ke langganan zona pendaratan aplikasi.
Membuat jaringan AI
Jaringan AI mengacu pada desain dan implementasi infrastruktur jaringan untuk beban kerja AI, termasuk keamanan dan konektivitas. Ini melibatkan penggunaan topologi seperti hub-and-spoke, menerapkan langkah-langkah keamanan seperti perlindungan DDoS, dan memastikan transfer data yang efisien. Jaringan AI yang efektif sangat penting untuk komunikasi yang aman dan andal, mencegah gangguan berbasis jaringan dan mempertahankan performa.
Aktifkan Azure DDoS Protection untuk beban kerja AI yang terhubung ke internet.Azure DDoS Protection melindungi layanan AI Anda dari potensi gangguan dan waktu henti yang disebabkan oleh penolakan terdistribusi serangan layanan. Aktifkan perlindungan Azure DDoS di tingkat jaringan virtual untuk mempertahankan terhadap banjir lalu lintas yang menargetkan aplikasi yang terhubung ke internet.
Sambungkan dengan jaringan lokal. Gunakan jumpbox dan Azure Bastion untuk mengamankan akses operasional ke beban kerja AI. Jika diperlukan, beberapa layanan, seperti Azure AI Foundry, dapat mengakses sumber daya lokal. Untuk organisasi yang mentransfer data dalam jumlah besar dari sumber lokal ke lingkungan cloud, gunakan koneksi bandwidth tinggi.
Pertimbangkan Azure ExpressRoute. Azure ExpressRoute sangat ideal untuk volume data tinggi, pemrosesan real-time, atau beban kerja yang membutuhkan performa yang konsisten. Ini memiliki fitur FastPath yang meningkatkan performa jalur data.
Pertimbangkan Azure VPN Gateway. Gunakan Azure VPN Gateway untuk volume data sedang, transfer data jarang, atau saat akses internet publik diperlukan. Lebih mudah untuk menyiapkan dan hemat biaya untuk himpunan data yang lebih kecil daripada ExpressRoute. Gunakan topologi dan desain yang benar untuk beban kerja AI Anda. Gunakan VPN situs-ke-situs untuk konektivitas lintas lokasi dan hibrid. Gunakan VPN titik-ke-situs untuk konektivitas perangkat yang aman. Untuk informasi selengkapnya, lihat Menyambungkan jaringan lokal ke Azure.
Siapkan layanan resolusi nama domain. Saat Anda menggunakan titik akhir privat, integrasikan titik akhir privat dengan DNS untuk resolusi DNS yang tepat dan fungsionalitas titik akhir privat yang sukses. Sebarkan infrastruktur Azure DNS sebagai bagian dari zona pendaratan Azure Anda dan konfigurasikan penerus kondisional dari layanan DNS yang ada untuk zona yang sesuai. Untuk informasi selengkapnya, lihat Private Link dan integrasi DNS dalam skala besar untuk zona pendaratan Azure.
Mengonfigurasi kontrol akses jaringan. Gunakan kelompok keamanan jaringan (NSG) untuk menentukan dan menerapkan kebijakan akses yang mengatur lalu lintas masuk dan keluar ke dan dari beban kerja AI. Kontrol ini dapat digunakan untuk menerapkan prinsip hak istimewa paling sedikit, memastikan bahwa hanya komunikasi penting yang diizinkan.
Gunakan layanan pemantauan jaringan. Gunakan layanan seperti Azure Monitor Network Insights dan Azure Network Watcher untuk mendapatkan visibilitas ke dalam performa dan kesehatan jaringan. Selain itu, gunakan Microsoft Sentinel untuk deteksi dan respons ancaman tingkat lanjut di seluruh jaringan Azure Anda.
Sebarkan Azure Firewall untuk memeriksa dan mengamankan lalu lintas beban kerja Azure keluar.Azure Firewall memberlakukan kebijakan keamanan untuk lalu lintas keluar sebelum mencapai internet. Gunakan untuk mengontrol dan memantau lalu lintas keluar dan memungkinkan SNAT untuk menyembunyikan alamat IP internal dengan menerjemahkan IP privat ke IP publik firewall. Ini memastikan lalu lintas keluar yang aman dan dapat diidentifikasi untuk pemantauan dan keamanan yang lebih baik.
Gunakan Azure Web Application Firewall (WAF) untuk beban kerja yang terhubung ke internet.Azure WAF membantu melindungi beban kerja AI Anda dari kerentanan web umum, termasuk injeksi SQL dan serangan pembuatan skrip lintas situs. Konfigurasikan Azure WAF di Application Gateway untuk beban kerja yang memerlukan keamanan yang ditingkatkan terhadap lalu lintas web berbahaya.
Menetapkan fondasi AI
Fondasi AI menyediakan infrastruktur inti dan hierarki sumber daya yang mendukung beban kerja AI di Azure. Ini termasuk menyiapkan lingkungan yang dapat diskalakan dan aman yang selaras dengan kebutuhan tata kelola dan operasional. Fondasi AI yang kuat memungkinkan penyebaran dan manajemen beban kerja AI yang efisien. Ini juga memastikan keamanan dan fleksibilitas untuk pertumbuhan di masa depan.
Menggunakan zona pendaratan Azure
Zona pendaratan Azure adalah titik awal yang direkomendasikan yang menyiapkan lingkungan Azure Anda. Ini menyediakan penyiapan yang telah ditentukan sebelumnya untuk platform dan sumber daya aplikasi. Setelah platform diberlakukannya, Anda dapat menyebarkan beban kerja AI ke zona pendaratan aplikasi khusus. Gambar 2 di bawah ini menggambarkan bagaimana beban kerja AI terintegrasi dalam zona pendaratan Azure.
Gambar 2. Beban kerja AI di zona pendaratan Azure.
Membangun lingkungan AI
Jika Anda tidak menggunakan zona arahan Azure, ikuti rekomendasi dalam artikel ini untuk membangun lingkungan AI Anda. Diagram berikut menunjukkan hierarki sumber daya garis besar. Ini segmentasi beban kerja AI internal dan beban kerja AI yang menghadap internet, seperti yang dijelaskan dalam menetapkan tata kelola AI. Beban kerja internal menggunakan kebijakan untuk menolak akses online dari pelanggan. Pemisahan ini melindungi data internal dari paparan pengguna eksternal. Pengembangan AI harus menggunakan jumpbox untuk mengelola sumber daya dan data AI.
Gambar 3. Hierarki sumber daya garis besar untuk beban kerja AI.
Langkah berikutnya
Langkah selanjutnya adalah membangun dan menyebarkan beban kerja AI ke lingkungan AI Anda. Gunakan tautan berikut untuk menemukan panduan arsitektur yang memenuhi kebutuhan Anda. Mulailah dengan arsitektur platform-as-a-service (PaaS). PaaS adalah pendekatan microsoft yang direkomendasikan untuk mengadopsi AI.