Bagikan melalui

Fabric Runtime 1.1 (EOSA)

  • Artikel

Microsoft Fabric Runtime adalah platform terintegrasi Azure berdasarkan Apache Spark yang memungkinkan eksekusi dan manajemen pengalaman Rekayasa Data dan Ilmu Data di Fabric. Dokumen ini mencakup komponen dan versi Fabric Runtime 1.1.

Peringatan

Tanggal akhir dukungan untuk Runtime 1.1 telah diumumkan pada 12 Juli 2024. Runtime 1.1, berdasarkan Apache Spark 3.3, akan ditolak dan dinonaktifkan per 31 Maret 2025. Tingkatkan ruang kerja dan lingkungan Anda ke Runtime 1.2 atau Runtime 1.3. Untuk siklus hidup lengkap dan kebijakan dukungan runtime Apache Spark di Fabric, lihat Siklus Hidup runtime Apache Spark di Fabric.

Microsoft Fabric Runtime 1.1 adalah salah satu runtime yang ditawarkan dalam platform Microsoft Fabric. Komponen utama Runtime 1.1 adalah:

  • Apache Spark 3.3
  • Sistem Operasi: Ubuntu 18.04
  • Java: 1.8.0_282
  • Scala: 2.12.15
  • Python: 3.10
  • Danau Delta: 2.2
  • R: 4.2.2

Tip

Selalu gunakan versi runtime GA terbaru untuk beban kerja produksi Anda, yang saat ini adalah Runtime 1.3.

Microsoft Fabric Runtime 1.1 dilengkapi dengan koleksi paket tingkat default, termasuk instalasi Anaconda lengkap dan pustaka yang umum digunakan untuk Java/Scala, Python, dan R. Pustaka ini secara otomatis disertakan saat menggunakan notebook atau pekerjaan di platform Microsoft Fabric. Lihat dokumentasi untuk daftar lengkap pustaka.

Microsoft Fabric secara berkala merilis pembaruan pemeliharaan untuk Runtime 1.1, memberikan perbaikan bug, peningkatan performa, dan patch keamanan. Memastikan Anda tetap mendapatkan informasi terbaru tentang pembaruan ini menjamin performa dan keandalan optimal untuk tugas pemrosesan data Anda. Jika saat ini Anda menggunakan Runtime 1.1, Anda dapat meningkatkan ke Runtime 1.3 atau ke Runtime 1.2 dengan menavigasi ke Pengaturan > Ruang Kerja Rekayasa Data / Lingkungan Pengaturan > Science > Spark.

Cuplikan layar memperlihatkan tempat memilih versi runtime.

Fitur dan peningkatan baru - Apache Spark 3.3.1

Baca versi lengkap catatan rilis untuk versi Apache Spark tertentu dengan mengunjungi Spark 3.3.0 dan Spark 3.3.1.

Fitur dan peningkatan baru - Delta Lake 2.2

Periksa sumber dan catatan rilis lengkap di Delta Lake 2.2.0.

Paket tingkat default untuk Java/Scala

Untuk daftar semua paket tingkat default untuk Java, Scala, Python, dan versi masing-masing, lihat catatan rilis.

Migrasi antara versi Apache Spark yang berbeda

Memigrasikan beban kerja Anda ke Fabric Runtime 1.1 (Apache Spark 3.3) dari versi Apache Spark yang lebih lama melibatkan serangkaian langkah untuk memastikan migrasi yang lancar. Panduan ini menguraikan langkah-langkah yang diperlukan untuk membantu Anda bermigrasi secara efisien dan efektif.

  1. Tinjau catatan rilis Fabric Runtime 1.1, termasuk memeriksa komponen dan paket tingkat default yang disertakan ke dalam runtime, untuk memahami fitur dan peningkatan baru.

  2. Periksa kompatibilitas penyiapan Anda saat ini dan semua pustaka terkait, termasuk dependensi dan integrasi. Tinjau panduan migrasi untuk mengidentifikasi potensi perubahan yang melanggar:

    • Tinjau panduan migrasi Spark Core.
    • Tinjau panduan migrasi SQL, Himpunan Data, dan DataFrame.
    • Jika solusi Anda terkait Dengan Streaming Struktur Apache Spark, tinjau panduan migrasi Streaming Terstruktur.
    • Jika Anda menggunakan PySpark, tinjau panduan migrasi Pyspark.
    • Jika Anda memigrasikan kode dari Koalas ke PySpark, tinjau panduan migrasi Koalas ke pandas API di Spark.

  3. Pindahkan beban kerja Anda ke Fabric dan pastikan Anda memiliki cadangan data dan file konfigurasi jika Anda perlu kembali ke versi sebelumnya.

  4. Perbarui dependensi apa pun yang mungkin memengaruhi versi baru Apache Spark atau komponen terkait Fabric Runtime 1.1 lainnya, termasuk pustaka atau konektor pihak ketiga. Pastikan untuk menguji dependensi yang diperbarui di lingkungan penahapan sebelum menyebarkan ke produksi.

  5. Perbarui konfigurasi Apache Spark pada beban kerja Anda, termasuk memperbarui pengaturan konfigurasi, menyesuaikan alokasi memori, dan memodifikasi konfigurasi yang tidak digunakan lagi.

  6. Ubah aplikasi Apache Spark Anda (notebook dan definisi kerja Apache Spark) untuk menggunakan API dan fitur baru yang diperkenalkan dalam Fabric Runtime 1.1 dan Apache Spark 3.3. Anda mungkin perlu memperbarui kode untuk mengakomodasi API yang tidak digunakan lagi atau dihapus, dan merefaktor aplikasi Anda untuk memanfaatkan peningkatan performa dan fungsionalitas baru.

  7. Uji aplikasi yang diperbarui secara menyeluruh di lingkungan penahapan untuk memastikan kompatibilitas dan stabilitas dengan Apache Spark 3.3. Lakukan pengujian performa, pengujian fungsional, dan pengujian regresi untuk mengidentifikasi dan menyelesaikan masalah apa pun yang mungkin muncul selama proses migrasi.

  8. Setelah memvalidasi aplikasi Anda di lingkungan penahapan, sebarkan aplikasi yang diperbarui ke lingkungan produksi Anda. Pantau performa dan stabilitas aplikasi Anda setelah migrasi untuk mengidentifikasi masalah apa pun yang perlu ditangani.

  9. Perbarui dokumentasi internal dan materi pelatihan Anda untuk mencerminkan perubahan yang diperkenalkan dalam Fabric Runtime 1.1. Pastikan anggota tim Anda terbiasa dengan fitur dan peningkatan baru untuk memaksimalkan manfaat migrasi.

Konten terkait