Praktik terbaik untuk komputasi tanpa server
Artikel ini memberi Anda rekomendasi praktik terbaik untuk menggunakan komputasi tanpa server di buku catatan dan pekerjaan Anda.
Dengan mengikuti rekomendasi ini, Anda akan meningkatkan produktivitas, efisiensi biaya, dan keandalan beban kerja Anda di Azure Databricks.
Memigrasikan beban kerja ke komputasi tanpa server
Untuk melindungi isolasi kode pengguna, komputasi tanpa server menggunakan mode akses bersama aman Azure Databricks. Karena itu, beberapa beban kerja akan memerlukan perubahan kode untuk terus bekerja pada komputasi tanpa server. Untuk daftar fitur yang tidak didukung, lihat Batasan komputasi tanpa server.
Beban kerja tertentu lebih mudah dimigrasikan daripada yang lain. Beban kerja yang memenuhi persyaratan berikut akan menjadi yang paling mudah untuk dimigrasikan:
- Data yang diakses harus disimpan di Katalog Unity.
- Beban kerja harus kompatibel dengan komputasi mode akses bersama.
- Beban kerja harus kompatibel dengan Databricks Runtime 14.3 atau lebih tinggi.
Untuk menguji apakah beban kerja akan berfungsi pada komputasi tanpa server, jalankan pada sumber daya komputasi tanpa server dengan mode akses Bersama dan Runtime Databricks 14.3 atau lebih tinggi. Jika eksekusi berhasil, beban kerja siap untuk migrasi.
Karena signifikansi perubahan ini dan daftar batasan saat ini, banyak beban kerja tidak akan bermigrasi dengan mulus. Alih-alih mengode ulang semuanya, Azure Databricks merekomendasikan untuk memprioritaskan kompatibilitas komputasi tanpa server saat Anda membuat beban kerja baru.
Menyerap data dari sistem eksternal
Karena komputasi tanpa server tidak mendukung penginstalan file JAR, Anda tidak dapat menggunakan driver JDBC atau ODBC untuk menyerap data dari sumber data eksternal.
Strategi alternatif yang dapat Anda gunakan untuk penyerapan meliputi:
Blok penyusun berbasis SQL seperti tabel streaming COPY INTO dan .
Auto Loader untuk memproses file data baru secara bertahap dan efisien saat tiba di penyimpanan cloud. Lihat Apa itu Pemuat Otomatis?.
Solusi mitra penyerapan data. Lihat Menyambungkan ke mitra penyerapan menggunakan Partner Connect.
Menambahkan UI data untuk mengunggah file secara langsung. Lihat Mengunggah file ke Azure Databricks.
Alternatif penyerapan
Saat menggunakan komputasi tanpa server, Anda juga bisa menggunakan fitur berikut untuk mengkueri data Anda tanpa memindahkannya.
- Jika Anda ingin membatasi duplikasi data atau menjamin bahwa Anda mengkueri data sesegar mungkin, Databricks merekomendasikan penggunaan Berbagi Delta. Lihat Apa itu Berbagi Delta?.
- Jika Anda ingin melakukan pelaporan ad hoc dan pekerjaan bukti konsep, Databricks merekomendasikan untuk mencoba pilihan yang tepat, yang mungkin merupakan Federasi Lakehouse. Federasi Lakehouse memungkinkan sinkronisasi seluruh database ke Azure Databricks dari sistem eksternal dan diatur oleh Unity Catalog. Lihat Apa itu Federasi Lakehouse?.
Coba salah satu atau kedua fitur ini dan lihat apakah fitur tersebut memenuhi persyaratan performa kueri Anda.
Memantau biaya komputasi tanpa server
Ada beberapa fitur yang dapat Anda gunakan untuk membantu Anda memantau biaya komputasi tanpa server:
Gunakan tabel sistem untuk membuat dasbor, menyiapkan pemberitahuan, dan melakukan kueri ad hoc. Lihat Memantau biaya komputasi tanpa server.
Siapkan pemberitahuan anggaran di akun Anda. Lihat Buat dan pantau anggaran.
Impor dasbor penggunaan yang telah dikonfigurasi sebelumnya. Lihat Mengimpor dasbor penggunaan.