Bagikan melalui

Fabric Runtime 1.3 (GA)

  • Artikel

Runtime Fabric menawarkan integrasi yang mulus dengan Azure. Ini menyediakan lingkungan canggih untuk proyek rekayasa data dan ilmu data yang menggunakan Apache Spark. Artikel ini memberikan gambaran umum tentang fitur dan komponen penting Fabric Runtime 1.3, runtime terbaru untuk komputasi big data.

Microsoft Fabric Runtime 1.3 adalah versi runtime GA terbaru dan menggabungkan komponen dan peningkatan berikut yang dirancang untuk meningkatkan kemampuan pemrosesan data Anda:

  • Apache Spark 3.5
  • Sistem Operasi: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Danau Delta: 3.2
  • R: 4.4.1

Tip

Fabric Runtime 1.3 mencakup dukungan untuk Native Execution Engine, yang dapat secara signifikan meningkatkan performa tanpa biaya tambahan. Untuk mengaktifkan mesin eksekusi asli di semua pekerjaan dan buku catatan di lingkungan Anda, navigasikan ke pengaturan lingkungan Anda, pilih Komputasi Spark, buka tab Akselerasi, dan centang Aktifkan mesin eksekusi asli. Setelah menyimpan dan menerbitkan, pengaturan ini diterapkan di seluruh lingkungan, sehingga semua pekerjaan dan buku catatan baru secara otomatis mewarisi dan mendapatkan manfaat dari kemampuan performa yang ditingkatkan.

Gunakan instruksi berikut untuk mengintegrasikan runtime 1.3 ke ruang kerja Anda dan gunakan fitur barunya:

  1. Navigasi ke tab Pengaturan ruang kerja dalam ruang kerja Fabric Anda.
  2. Buka tab Rekayasa Data/Sains dan pilih Pengaturan Spark.
  3. Pilih tabLingkungan.
  4. Di bawah Versi Runtime perluas menu dropdown.
  5. Pilih 1.3 (Spark 3.5, Delta 3.2) dan simpan perubahan Anda. Tindakan ini menetapkan 1.3 sebagai runtime default untuk ruang kerja Anda.

Cuplikan layar memperlihatkan tempat memilih versi runtime.

Anda sekarang dapat mulai bekerja dengan peningkatan terbaru dan fungsionalitas yang diperkenalkan dalam fabric runtime 1.3 (Spark 3.5 dan Delta Lake 3.2).

Sorotan utama

Apache Spark 3.5

Apache Spark 3.5.0 adalah versi keenam dalam seri 3.x. Versi ini adalah produk kolaborasi ekstensif dalam komunitas sumber terbuka, mengatasi lebih dari 1.300 masalah seperti yang dicatat di Jira.

Dalam versi ini, ada peningkatan kompatibilitas untuk streaming terstruktur. Selain itu, rilis ini memperluas fungsionalitas dalam PySpark dan SQL. Ini menambahkan fitur seperti klausul pengidentifikasi SQL, argumen bernama dalam panggilan fungsi SQL, dan penyertaan fungsi SQL untuk agregasi perkiraan HyperLogLog. Kemampuan baru lainnya juga termasuk fungsi tabel yang ditentukan pengguna Python, penyederhanaan pelatihan terdistribusi melalui DeepSpeed, dan kemampuan streaming terstruktur baru seperti penyebaran marka air dan operasi dropDuplicatesWithinWatermark .

Anda dapat memeriksa daftar lengkap dan perubahan terperinci di sini: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.2 menandai komitmen kolektif untuk membuat Delta Lake dapat dioperasikan di seluruh format, lebih mudah dikerjakan, dan lebih berkinerja. Delta Spark 3.2 dibangun di atas Apache Spark™ 3.5. Artefak maven Delta Spark telah diganti namanya dari delta-core menjadi delta-spark.

Anda dapat memeriksa daftar lengkap dan perubahan terperinci di sini: https://docs.delta.io/3.2.0/index.html.

Tip

Untuk informasi terbaru, daftar perubahan terperinci, dan catatan rilis tertentu untuk runtime Fabric, periksa dan berlangganan Rilis dan Pembaruan Runtime Spark.

Konten terkait