Databricks Runtime 6.1 (EoS)

Databricks merilis versi ini pada Oktober 2019.

Catatan rilis berikut memberikan informasi Databricks Runtime 6.1 yang didukung oleh Apache Spark.

Fitur baru

Peningkatan Delta Lake

API Python untuk tabel Delta (Pratinjau Umum)

Anda kini dapat menghapus dari dan melakukan upsert data ke dalam tabel Delta, membersihkan tabel, dan mendapatkan riwayat tabel menggunakan API Python.

Untuk detailnya, lihat Apa itu Delta Lake?.

Pemangkasan File Dinamis (DFP) yang diaktifkan secara default

DFP menggunakan metadata tabel (misalnya, jumlah minimal/maksimal statistik kolom dalam suatu file) secara signifikan meningkatkan performa banyak kueri dengan melompati file dengan nilai kolom di luar jangkauan. Tidak seperti Pemangkasan Partisi Dinamis (DPP), DFP juga berfungsi di kolom yang tidak berpartisi. DFP dapat berguna untuk beban kerja yang digabungkan pada di yang tidak dipartisi.

Mengonfigurasi kluster dengan citra kontainer Anda sendiri menggunakan Layanan Kontainer Databricks

Layanan Kontainer Databricks memungkinkan Anda mengonfigurasi kluster dengan citra kontainer Anda sendiri. Anda dapat mengemas lingkungan yang kompleks terlebih dahulu dalam suatu kontainer, menerbitkannya ke registri kontainer yang populer seperti ACR, ECR, atau Docker Hub, lalu meminta Databricks menarik citra untuk membangun kluster. Beberapa contoh kasus penggunaan:

• Kustomisasi pustaka - Anda memiliki kontrol penuh atas pustaka sistem yang ingin Anda pasang
• Lingkungan kontainer emas - citra Docker Anda adalah lingkungan terkunci yang tidak akan pernah berubah
• Integrasi Docker CI/CD - Anda dapat mengintegrasikan Azure Databricks dengan alur Docker CI/CD Anda

Ada banyak kasus penggunaan lainnya, mulai dari menentukan konfigurasi hingga memasang paket pembelajaran mesin.

Untuk detailnya, lihat Menyesuaikan kontainer dengan Layanan Kontainer Databricks.

Rahasia yang dirujuk oleh properti konfigurasi Spark dan variabel lingkungan (Pratinjau Umum)

Pada pembaruan pemeliharaan Databricks Runtime 6.1 tertanggal 7 November, kemampuan merujuk rahasia dalam properti konfigurasi atau variabel lingkungan Spark ada di Pratinjau Publik. Untuk mengetahui detailnya, lihat Menggunakan rahasia dalam properti konfigurasi Spark atau variabel lingkungan.

Metrik Ganglia kini tersedia di kluster dengan ACL tabel dan passthrough info masuk

Sebelumnya, metrik Ganglia tidak didukung di kluster dengan kontrol akses tabel atau passthrough info masuk yang diaktifkan. Kini metrik tersebut tersedia.

Penyempurnaan

• Meningkatkan netty-all dari 4.1.17.Final menjadi 4.1.39.Final
• Meningkatkan konektor Snowflake dari 2.4.10 ke 2.5.3

Passthrough kredensial

• Kredensial ID Microsoft Entra sekarang disebarluaskan dalam buku catatan yang dijalankan menggunakan dbutils.notebook.run().
• Semua kelas Pyspark ML kini didukung.
• UI Ganglia kini tersedia.

Untuk detailnya, lihat Mengakses Azure Data Lake Storage menggunakan passthrough kredensial MICROSOFT Entra ID (warisan).

Apache Spark

Databricks Runtime 6.1 termasuk Apache Spark 2.4.4. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 6.0 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-28782][SQL] Dukungan generator dalam ekspresi agregat
• [SPARK-19147][CORE] Menangani kesalahan dalam tugas dengan lancar setelah eksekutor dihentikan
• [SPARK-26003][SQL] Meningkatkan performa SQLAppStatusListener.aggregateMetrics
• [SPARK-29101][SQL] Memperbaiki API hitungan untuk file csv saat mode DROPMALFORMED dipilih
• [SPARK-29042][CORE] RDD berbasis sampling dengan input yang tidak berurutan akan menjadi INDETERMINATE
• [SPARK-29124][CORE] Menggunakan MurmurHash3 bytesHash(data, seed), bukan bytesHash(data)
• [SPARK-26713][CORE] Menginterupsi alur pipa IO di PipedRDD saat tugas selesai
• [SPARK-29046][SQL] Memperbaiki NPE di SQLConf.get saat SparkContext aktif berhenti
• [SPARK-28483] Memperbaiki tugas mode penghalang yang mengalami hang di barrier() saat tugas dimatikan
• [SPARK-29087][CORE][STREAMING] Menggunakan DelegatingServletContextHandler untuk menghindari CCE
• [SPARK-27122][CORE] Kelas jetty tidak akan dikembalikan melalui getter di org.apache.spark.ui.WebUI
• [SPARK-11150][SQL] Pemangkasan Partisi Dinamis
• [SPARK-27592][SQL] Mengatur tabel sumber data SerDe dalam wadah dengan benar
• [SPARK-23519][SQL] Pembuatan tampilan akan dilakukan dari kueri dengan kolom output duplikat
• [SPARK-29011][BUILD] Memperbarui netty-all dari 4.1.17-Final menjadi 4.1.39-Final
• [SPARK-28912] MatchError yang diperbaiki di getCheckpointFiles()
• [SPARK-26046][SS] Menambahkan StreamingQueryManager.listListeners()
• [SPARK-3137][CORE] Mengganti kunci global TorrentBroadcast dengan KeyLock terperinci (6.x)
• [SPARK-28709][DSTREAMS] Memperbaiki kebocoran StreamingContext melalui Streaming
• [SPARK-22955][DSTREAMS] - proses mematikan yang lancar tidak akan mengarah pada pekerjaan gen...
• [SPARK-28730][SPARK-28495] Memperkenalkan kebijakan penugasan penyimpanan ANSI untuk penyisipan tabel
• [SPARK-27992][SPARK-28881][PYTHON] Memungkinkan Phyton digabungkan dengan alur sambungan untuk menerapkan kesalahan
• [SPARK-28025][SS] Memperbaiki FileContextBasedCheckpointFileManager yang membocorkan file crc
• [SPARK-28699][CORE] Memperbaiki kasus sudut untuk membatalkan tahap yang tidak pasti
• [SPARK-28780][ML] LinearSVCModel.setWeightCol yang berhenti
• [SPARK-28844][SQL] Memperbaiki kesalahan pengetikan dalam SQLConf FILE_COMRESSION_FACTOR
• [SPARK-26895][CORE] prepareSubmitEnvironment akan dipanggil dalam doA untuk pengguna proxy

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 6.1.

Lingkungan sistem

• Sistem Operasi: Ubuntu 16.04.6 LTS
• Java: 1.8.0_232
• Scala: 2.11.12
• Python: 3.7.3
• R: R versi 3.6.1 (2019-07-05)
• Delta Lake: 0.4.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka Java dan Scala yang dipasang(versi kluster Scala 2.11)