Databricks Runtime 6.5 (EoS)

Databricks merilis versi ini pada Bulan April 2020.

Catatan rilis berikut memberikan informasi tentang Runtime Bahasa Umum Databricks 6.5, didukung oleh Apache Spark.

Fitur baru

Metrik operasi untuk semua penulisan, pembaruan, dan penghapusan pada tabel Delta sekarang diperlihatkan dalam riwayat tabel

Sekarang Anda dapat melihat metrik operasi (misalnya, jumlah file dan baris yang diubah) untuk semua penulisan, pembaruan, dan penghapusan pada tabel Delta dalam riwayat tabel. Pembuatan metrik ini diaktifkan secara default. Anda dapat melihat sejarah dengan menjalankan:

DESCRIBE HISTORY deltaTableName

Batasi kecepatan pemrosesan data dalam batch mikro streaming Delta Lake

Saat Anda memproses data dari Delta Lake menggunakan Streaming Terstruktur, Anda sekarang dapat mengatur opsi maxBytesPerTrigger untuk membatasi seberapa banyak data yang diproses untuk setiap mikro-batch. Ini menetapkan "batas maksimum yang tidak ketat", yang berarti bahwa batch memproses kira-kira jumlah data ini dan dapat memproses lebih dari jumlah tersebut.

Jika Anda menggunakan Trigger.Once untuk streaming Anda, opsi ini diabaikan. Selain itu, jika Anda menggunakan opsi ini bersama dengan maxFilesPerTrigger, mikro-batch memproses data hingga batas maxFilesPerTrigger atau maxBytesPerTrigger tercapai.

Penyempurnaan

Konektor Snowflake diperbarui ke 2.5.9

Konektor yang diperbarui mempromosikan driver Snowflake JDBC ke 3.12.0.

Java ditingkatkan menjadi 1.8.0_242

Versi ini memperkenalkan pemeriksaan baru pada sertifikat jangkar kepercayaan untuk memastikan bahwa jangkar kepercayaan adalah sertifikat CA dan berisi ekstensi yang tepat. Sertifikat jangkar kepercayaan harus menyertakan ekstensi Batasan Dasar dengan bidang ca diatur ke true. Selain itu, jika menyertakan ekstensi Penggunaan Kunci, bit keyCertSign harus disetel.

Jika Anda menggunakan sertifikat jangkar kepercayaan yang ditandatangani sendiri, Anda dapat menekan pengecualian berikut yang diperkenalkan oleh pemeriksaan baru:

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Untuk tetap menggunakan sertifikat jangkar kepercayaan yang ditandatangani sendiri, Anda memiliki dua opsi untuk mengatasi pengecualian di atas:

• Atur properti sistem Java jdk.security.allowNonCaAnchor diperkenalkan dengan Java 1.9.0_242 ke true untuk memulihkan perilaku sebelumnya. Anda dapat menggunakan spark.driver.extraJavaOptions dan spark.executor.extraJavaOptions untuk mengatur properti sistem ini ke driver dan eksekutor Spark.

• Sertakan ekstensi Batasan Dasar dengan bidang ca diatur menjadi true pada sertifikat jangkar kepercayaan Anda. Jika sertifikat jangkar kepercayaan Anda menyertakan ekstensi Penggunaan Kunci, atur bit keyCertSign.

  Jika Anda menggunakan Java Keytool untuk menghasilkan pasangan kunci publik/privat, atur -ext BasicConstraints=ca:true saat membuat sertifikat jangkar kepercayaan. Jika sertifikat jangkar kepercayaan Anda menyertakan ekstensi Penggunaan Kunci, atur -ext KeyUsage=...,keyCertSign bit keyCertSign saat membuat sertifikat jangkar kepercayaan.

Pustaka R yang ditingkatkan

Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Diinstal.

Penghentian

• Paket boto ini tidak digunakan lagi dan akan dihapus dalam rilis utama Runtime Bahasa Umum Databricks yang akan datang. Azure Databricks merekomendasikan agar Anda menggunakannya boto3.
• Paket R berikut akan dihapus dalam rilis utama Databricks Runtime yang akan datang:
  • abind
  • bitops
  • car
  • carData
  • doMC
  • gbm
  • h2o
  • littler
  • lme4
  • mapproj
  • Peta
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • rio
  • sp
  • SparseM
  • statmod
  • zip

Azure Databricks merekomendasikan penggunaan kode berikut untuk memasang dan memuat paket R yang tidak dipasang oleh Runtime Bahasa Umum Databricks:

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

Runtime Bahasa Umum Databricks 6.5 menyertakan Apache Spark 2.4.5. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 6.4 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-27099] [SQL] Tambahkan 'xxhash64' untuk mengubah hash kolom arbitrer menjadi Long
• [SPARK-26151] [SQL] Kembalikan hasil parsial untuk catatan CSV yang buruk
• [SPARK-30927] [SS] StreamingQueryManager harus menghindari referensi untuk StreamingQuery yang dihentikan
• [SPARK-22590] Salin sparkContext.localproperties ke utas anak di BroadcastExchangeExec.executionContext
• [SPARK-30671] emptyDataFrame harus menggunakan LocalRelation
• [SPARK-30556] [SQL] Mengatur ulang status yang diubah dalam SQLExecution dengan ThreadLocalCaptured
• [SPARK-30763] [SQL] Fix java.lang.IndexOutOfBoundsException No grup 1 untuk regexp_extract
• [SPARK-30806] [SQL] Evaluasi sekali per grup di UnboundedWindowFunctionFrame
• [SPARK-30731] Perbarui opsi Mkdocs yang kedaluwarsa
• [SPARK-30857] [SQL] Perbaiki pemotongan stempel waktu sebelum zaman hingga berjam-jam dan berhari-hari
• [SPARK-30798] Scope Session.active di QueryExecution
• [SPARK-30793] [SQL] Perbaiki pemotongan stempel waktu sebelum zaman hingga menit dan detik
• [SPARK-30826] [SQL] Kasus referensi rasa hormat dalam StringStartsWith didorong ke bawah ke parket
• [SPARK-30797] [SQL] Atur pengguna/grup tradisi/izin lain ke entri ACL saat menyiapkan ACL dalam tabel potong
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop harus menangani kolom duplikat
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill harus menangani kolom duplikat
• [SPARK-30310] [CORE] Selesaikan kasus pertandingan yang hilang di SparkUncaughtExceptionHandler dan menambahkan tes
• [SPARK-30512] Menambahkan grup loop acara bos khusus

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 6.5.

Lingkungan sistem

• Sistem Operasi: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: R versi 3.6.3 (2020-02-29)
• Delta Lake: 0.5.0

Di bagian ini:

• Pustaka Python yang dipasang
• Pustaka R yang dipasang
• Pustaka Java dan Scala yang dipasang (versi kluster Scala 2.11)

Pustaka Python yang diinstal

Pustaka R yang dipasang

Pustaka R dipasang dari snapshot Microsoft CRAN pada tanggal 26-02-2020.

Pustaka Java dan Scala yang dipasang(versi kluster Scala 2.11)