Databricks Runtime 6.3 (EoS)

Databricks merilis versi ini pada Januari 2020.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 6.3, didukung oleh Apache Spark.

Fitur baru

Delta Lake

Rilis ini memperkenalkan peningkatan konkurensi. Fitur utamanya adalah:

• Peningkatan konkurensi untuk semua operasi Delta Lake - Anda sekarang dapat menjalankan lebih banyak operasi Delta Lake secara bersamaan. Kontrol konkurensi optimis Delta Lake telah ditingkatkan dengan membuat deteksi konflik lebih halus. Ini membuatnya lebih mudah untuk menjalankan alur kerja yang kompleks pada tabel Delta. Contohnya:

  • Menjalankan penghapusan (misalnya, untuk kepatuhan GDPR) secara bersamaan pada partisi yang lebih lama saat partisi yang lebih baru sedang ditambahkan.
  • Menjalankan pembaruan dan penggabungan secara bersamaan pada kumpulan partisi yang terputus-putus.
  • Menjalankan pemadatan file bersamaan dengan penambahan.

  Lihat Tingkat isolasi dan tulis konflik di Azure Databricks.

• Peningkatan dukungan untuk pemadatan file - Anda sekarang dapat memadatkan file dengan menulis ulang dengan DataFrameWriter opsi dataChange yang diatur ke false. Opsi ini memungkinkan operasi pemadatan berjalan bersamaan dengan operasi batch dan streaming lainnya. Lihat File ringkas untuk detailnya.

• Peningkatan performa untuk penggabungan khusus penyisipan - Delta Lake sekarang memberikan performa yang lebih optimal untuk menggabungkan operasi yang hanya menyisipkan klausul dan tidak ada klausul pembaruan. Selain itu, Delta Lake memastikan bahwa tulisan dari penggabungan khusus penyisipan tersebut hanya menambahkan data baru ke tabel. Oleh karena itu, Anda sekarang dapat menggunakan Streaming Terstruktur dan penggabungan khusus penyisipan untuk melakukan deduplikasi data berkelanjutan (misalnya, log). Lihat Deduplikasi data saat menulis ke dalam tabel Delta untuk detailnya.

Tambahkan port tambahan untuk memungkinkan daftar saat isolasi proses diaktifkan

Saat Anda mengaktifkan fitur keamanan seperti ACL tabel atau passthrough kredensial pada kluster, Anda sekarang dapat menentukan port keluar tambahan yang Anda inginkan untuk dapat diakses oleh proses Python dengan mengatur konfigurasispark.databricks.pyspark.iptable.outbound.whitelisted.ports Spark ke port yang diizinkan. Format nilai konfigurasi yang didukung adalah [port[:port][,port[:port]]...], misalnya: 21,22,9000:9999. Port harus berada dalam rentang yang valid, yaitu 0-65535.

Menonaktifkan output pekerjaan untuk pekerjaan Scala

Output pekerjaan, seperti output log yang dipancarkan ke stdout, tunduk pada batas ukuran 20MB. Untuk menghindari menghadapi batas ini, Anda dapat mencegah stdout dikembalikan dari driver ke Azure Databricks dengan mengatur konfigurasi Spark spark.databricks.driver.disableScalaOutput ke true. Bendera mengontrol output sel untuk pekerjaan Scala JAR dan notebook Scala. Lihat Batas ukuran output untuk pekerjaan JAR.

Angka Matplotlib sebaris sekarang didukung di notebook Azure Databricks (Pratinjau Publik)

Anda sekarang dapat secara otomatis menampilkan angka Matplotlib tanpa perlu meneruskan gambar ke metode display. Untuk detailnya, lihat Matplotlib.

Parameter baru ditambahkan ke Azure Synapse Analytics

Secara default, parameter applicationName diatur ke Databricks-User-Query. Nilai default mencegah alat Azure DB Monitoring menerbitkan peringatan injeksi SQL palsu terhadap kueri. Jika tidak ditentukan atau nilainya adalah string kosong, nilai default tag ditambahkan ke URL JDBC. Lihat Referensi opsi konektor Azure Databricks Synapse.

Penyempurnaan

• shutil.copytree sekarang bekerja untuk /dbfs.
• Saat menjalankan pekerjaan produksi Streaming Terstruktur pada kluster mode Konkurensi Tinggi, memulai kembali pekerjaan terkadang akan gagal, karena pekerjaan yang berjalan sebelumnya tidak dihentikan dengan benar. Untuk memastikan bahwa eksekusi sebelumnya berhenti, atur konfigurasi SQL spark.sql.streaming.stopActiveRunOnRestart true pada kluster Anda. Jika aliran tidak dapat dihentikan dengan benar, pengecualian batas waktu akan dilemparkan dalam 15 detik. Dalam hal ini, sebaiknya mulai ulang kluster Anda.
• Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Dipasang.

Apache Spark

Databricks Runtime 6.3 menyertakan Apache Spark 2.4.4. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 6.2 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-30198][CORE] BytesToBytesMap tidak tumbuh dalam array panjang internal seperti yang diharapkan
• [SPARK-29918][SQL] RecordBinaryComparator harus memeriksa endianness jika dibandingkan dengan panjang
• [SPARK-30274][CORE] Menghindari pencarian BytesToBytesMap bertahan selamanya saat memegang kunci yang mencapai kapasitas maksimal
• [SPARK-25392][CORE][WEBUI] Mencegah halaman kesalahan saat mengakses halaman kumpulan dari server riwayat
• [SPARK-30263][CORE] Tidak mencatat nilai properti non-Spark yang berpotensi sensitif yang diabaikan dalam spark-submit
• [SPARK-28637][SQL] Jenis interval dukungan Thriftserver
• [SPARK-30238][SQL] pemangkasan partisi sarang hanya dapat mendukung jenis string dan integral
• [SPARK-30198][CORE] BytesToBytesMap tidak tumbuh dalam array panjang internal seperti yang diharapkan
• [SPARK-24666][ML] Memperbaiki vektor tak terhingga yang dihasilkan oleh Word2Vec saat numIterations besar
• [SPARK-30129][CORE] Mengatur ID klien di TransportClient setelah autentikasi berhasil
• [SPARK-30050][SQL] menganalisis tabel dan mengganti nama tabel tidak boleh menghapus info pemasukan dalam wadah untuk tabel sarang
• [SPARK-28152][SQL] Memetakan ShortType ke SMALLINT dan FloatType ke REAL untuk MsSqlServerDialect
• [SPARK-29971][CORE] Memperbaiki kebocoran buffer di TransportFrameDecoder/TransportCipher
• [SPARK-29970][WEBUI] Status membuka/menutup Timelineview dari preserver
• [SPARK-29949][SQL] Memperbaiki pemformatan stempel waktu oleh sumber data JSON/CSV
• [SPARK-27558][CORE] Tugas penghapusan secara menyeluruh saat gagal dengan pengecualian OOM
• [SPARK-29758][SQL] Memperbaiki pemotongan bidang string yang diminta di json_tuple
• [SPARK-29949][SQL] Memperbaiki pemformatan stempel waktu oleh sumber data JSON/CSV
• [SPARK-29936][R] Memperbaiki kesalahan lint SparkR dan menambahkan tindakan GitHub lint-r
• [SPARK-29904][SQL] Mengurai stempel waktu dalam presisi mikrodetik oleh sumber data JSON/CSV
• [SPARK-29904][SQL] Mengurai stempel waktu dalam presisi mikrodetik oleh sumber data JSON/CSV
• [SPARK-26499][SQL] JdbcUtils.makeGetter tidak menangani ByteType
• [SPARK-29682][SQL] Menyelesaikan atribut yang bertentangan di Perluas dengan benar
• [SPARK-29875][PYTHON][SQL] Hindari menggunakan API pyarrow.open_stream yang tidak digunakan lagi di Spark 2.4.x
• [SPARK-29850][SQL] sort-merge-join tabel kosong seharusnya tidak mengalami kebocoran memori
• [SPARK-28939][SQL] Menyebarkan SQLConf untuk rencana yang dijalankan oleh toRdd

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 6.3.

Lingkungan sistem

• Sistem Operasi: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: R versi 3.6.2 (2019-12-12)
• Delta Lake: 0.5.0

Di bagian ini:

• Pustaka Python yang dipasang
• Pustaka R yang dipasang
• Pustaka Java dan Scala yang dipasang (versi kluster Scala 2.11)

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka Java dan Scala yang dipasang(versi kluster Scala 2.11)