Mempertahankan output tugas dan pekerjaan
Tugas yang berjalan di Azure Batch dapat menghasilkan data output saat dijalankan. Data output tugas sering kali perlu disimpan untuk diambil oleh tugas lain dalam pekerjaan, aplikasi klien yang menjalankan pekerjaan, atau keduanya. Tugas menulis data output ke sistem file simpul komputasi Azure Batch, tetapi semua data pada simpul hilang saat digambar ulang atau saat simpul meninggalkan kumpulan. Tugas mungkin juga memiliki periode retensi file, setelah itu file yang dibuat oleh tugas akan dihapus. Karena alasan ini, penting untuk mempertahankan output tugas yang nantinya Anda perlukan ke penyimpanan data seperti Azure Storage.
Untuk opsi akun penyimpanan di Azure Batch, lihat Akun Azure Batch dan akun Azure Storage.
Beberapa contoh umum output tugas meliputi:
- File dibuat saat tugas memproses data input.
- Berkas log yang terkait dengan eksekusi tugas.
Artikel ini menjelaskan berbagai opsi untuk menahan data output. Anda dapat mempertahankan data output dari tugas dan pekerjaan Batch ke Azure Storage, atau penyimpanan lainnya.
Opsi untuk menahan output
Terdapat beberapa cara untuk mempertahankan data output. Pilih metode terbaik untuk skenario Anda:
- Gunakan API layanan Batch.
- Gunakan pustaka Batch File Convention untuk .NET.
- Menggunakan pustaka Konvensi File Batch untuk aplikasi C# dan .NET.
- Menggunakan standar Konvensi File Batch untuk bahasa selain .NET.
- Menggunakan solusi perpindahan file kustom.
API layanan Batch
Anda dapat menggunakan API layanan Batch untuk mempertahankan data output. Menentukan file output di Azure Storage untuk data tugas saat Anda menambahkan tugas ke pekerjaan atau menambahkan koleksi tugas ke pekerjaan.
Untuk informasi selengkapnya, lihat Pertahankan data tugas ke Azure Storage dengan API layanan Batch.
Pustaka Konvensi File Batch
Standar Konvensi File Batch adalah set konvensi opsional untuk penamaan file output tugas di Azure Storage. Standar ini menyediakan konvensi penamaan untuk kontainer tujuan dan jalur blob file, berdasarkan nama pekerjaan dan tugas.
Penggunaan standar Konvensi File untuk penamaan file data output Anda bersifat opsional. Anda dapat memilih untuk memberi nama kontainer tujuan dan jalur blob sebagai gantinya. Jika Anda menggunakan standar Konvensi File, maka Anda dapat melihat file output Anda di portal Microsoft Azure.
Jika Anda membangun solusi Batch dengan C# dan .NET, Anda dapat menggunakan pustaka Konvensi File Batch untuk .NET. Pustaka memindahkan file output ke Azure Storage, dan memberi nama kontainer dan blob tujuan sesuai dengan standar Konvensi File Batch.
Untuk informasi selengkapnya, lihat Mempertahankan data pekerjaan dan tugas ke Azure Storage dengan pustaka Konvensi File Batch untuk .NET.
Standar Konvensi File Batch
Jika menggunakan bahasa selain .NET, Anda dapat menerapkan standar Batch File Convention di aplikasi Anda sendiri. Gunakan pendekatan ini ketika:
- Anda ingin menggunakan skema penamaan umum.
- Anda ingin menampilkan output tugas di portal Microsoft Azure.
Solusi perpindahan file kustom
Anda juga dapat mengimplementasikan solusi perpindahan file lengkap Anda sendiri. Gunakan pendekatan ini ketika:
- Anda ingin menyimpan data tugas ke penyimpanan data selain Azure Storage. Misalnya, Anda ingin mengunggah file ke penyimpanan data seperti Azure SQL atau Azure DataLake. Buat skrip kustom atau yang dapat dijalankan untuk diunggah ke lokasi tersebut. Kemudian, panggil skrip kustom atau yang dapat dijalankan tersebut pada baris perintah setelah menjalankan program utama Anda. Misalnya, pada node Windows, panggil
doMyWork.exe && uploadMyFilesToSql.exe. - Anda ingin melakukan titik pemeriksaan atau pengunggahan awal dari hasil awal.
- Anda perlu memelihara kontrol terperinci atas penanganan kesalahan. Misalnya, Anda ingin menggunakan tindakan dependensi tugas untuk melakukan tindakan pengunggahan tertentu berdasarkan kode keluar tugas tertentu.
Pertimbangan Desain
Saat merancang solusi Batch, pertimbangkan faktor-faktor berikut.
Node komputasi sering kali bersifat sementara, terutama dalam kumpulan Batch dengan penskalaan otomatis yang diaktifkan. Anda hanya dapat melihat output dari tugas:
- Sementara node tempat tugas berjalan ada.
- Selama periode retensi file yang Anda tetapkan untuk tugas.
Saat menampilkan tugas Batch di portal Microsoft Azure, dan memilih File di node, Anda melihat semua file untuk tugas tersebut, bukan hanya file output. Untuk mengambil output tugas langsung dari node komputasi dalam kumpulan, Anda memerlukan nama file dan lokasi outputnya pada node tersebut.
Jika Anda ingin menyimpan data output tugas lebih lama, konfigurasikan tugas untuk mengunggah file outputnya ke penyimpanan data. Disarankan untuk menggunakan penyimpanan Azure sebagai penyimpanan data. Terdapat integrasi untuk menulis data output tugas ke Azure Storage di API layanan Batch. Anda dapat menggunakan opsi penyimpanan tahan lama lainnya untuk menyimpan data Anda. Namun, Anda perlu menulis logika aplikasi untuk opsi penyimpanan lain secara mandiri.
Untuk melihat data output Anda di Azure Storage, gunakan portal Microsoft Azure atau aplikasi klien Azure Storage, seperti Azure Storage Explorer. Perhatikan lokasi file output Anda, dan buka lokasi tersebut secara langsung.