Databricks Runtime 7.4 (EoS)

Databricks merilis versi ini pada November 2020.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 7.4, didukung oleh Apache Spark 3.0.

Fitur baru

Di bagian ini:

• Fitur dan peningkatan Delta Lake
• Auto Loader sekarang mendukung mendelegasikan pengaturan sumber daya pemberitahuan file kepada admin
• Hak USAGE istimewa baru memberi admin kontrol yang lebih besar atas hak akses data
• DBFS FUSE sekarang diaktifkan untuk kluster yang diaktifkan passthrough

Fitur dan peningkatan Delta Lake

Rilis ini memberikan fitur dan peningkatan Delta Lake sebagai berikut:

• API baru memungkinkan Delta Lake untuk memverifikasi bahwa data yang ditambahkan ke tabel memenuhi batasan
• API baru memungkinkan Anda untuk menggulung kembali tabel Delta ke versi tabel yang lebih lama
• Versi awal baru memungkinkan hanya mengembalikan perubahan terbaru di sumber streaming Delta Lake
• Stabilitas yang ditingkatkan dari OPTIMIZE

API baru memungkinkan Delta Lake untuk memverifikasi bahwa data yang ditambahkan ke tabel memenuhi batasan

Delta Lake sekarang mendukung batasan CHECK. Saat disediakan, Delta Lake secara otomatis memverifikasi data yang ditambahkan ke tabel memenuhi ekspresi yang ditentukan. Untuk menambahkan batasan CHECK, gunakan perintah ALTER TABLE ADD CONSTRAINTS. Untuk detailnya, harap lihat Batasan pada Azure Databricks.

API baru memungkinkan Anda untuk menggulung kembali tabel Delta ke versi tabel yang lebih lama

Anda sekarang dapat menggulung kembali tabel Delta Anda ke versi yang lebih lama dengan menggunakan perintah RESTORE:

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Python

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Scala

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE membuat penerapan baru yang menggulung kembali semua perubahan yang dibuat ke tabel Anda sejak versi yang ingin Anda pulihkan. Semua data dan metadata yang ada dipulihkan, yang mencakup skema, batasan, ID transaksi streaming, metadata COPY INTO, dan versi protokol tabel. Untuk mengetahui detailnya, lihat Memulihkan tabel Delta.

Versi awal baru memungkinkan hanya mengembalikan perubahan terbaru di sumber streaming Delta Lake

Untuk mengembalikan hanya perubahan terbaru, tentukan startingVersion sebagai latest. Untuk detailnya, lihat Menentukan posisi awal.

Stabilitas yang ditingkatkan dari OPTIMIZE

OPTIMIZE (tanpa predikat partisi) dapat menskalakan untuk berjalan pada tabel dengan puluhan juta file kecil. Sebelumnya driver Apache Spark dapat kehabisan memori dan OPTIMIZE tidak akan selesai. OPTIMIZE sekarang menangani tabel yang sangat besar dengan puluhan juta file.

Auto Loader sekarang mendukung mendelegasikan pengaturan sumber daya pemberitahuan file ke admin

API Scala baru memungkinkan admin menyiapkan sumber daya notifikasi file untuk Auto Loader. Teknisi data sekarang dapat mengoperasikan aliran Auto Loader mereka dengan izin lebih sedikit dengan mendelegasikan penyiapan sumber daya awal kepada admin mereka. Lihat Mengonfigurasi atau mengelola sumber daya pemberitahuan file secara manual.

Hak istimewa USAGE baru memberi admin kontrol yang lebih besar atas hak akses data

Untuk melakukan tindakan pada objek dalam database Anda sekarang harus diberikan USAGE hak istimewa pada database itu selain hak istimewa yang diperlukan untuk melakukan tindakan. Hak istimewa USAGE diberikan untuk database atau katalog. Dengan diperkenalkannya hak istimewa USAGE, pemilik tabel tidak dapat lagi secara sepihak memutuskan untuk membagikannya dengan pengguna lain; pengguna juga harus memiliki hak istimewa USAGE pada database yang berisi tabel.

Di ruang kerja dengan kontrol akses tabel diaktifkan, grup users secara otomatis memiliki hak istimewa USAGE untuk root CATALOG.

Untuk detailnya, lihat Hak istimewa USAGE.

DBFS FUSE sekarang diaktifkan untuk kluster yang diaktifkan passthrough

Anda sekarang dapat membaca dan menulis dari DBFS menggunakan dudukan FUSE /dbfs/ saat Anda menggunakan kluster Konkurensi Tinggi yang diaktifkan untuk passthrough kredensial. Dudukan biasa didukung. Dudukan yang memerlukan kredensial passthrough tidak didukung.

Penyempurnaan

Spark SQL mendukung IFF dan CHARINDEX sebagai sinonim untuk IF danPOSITION

Dalam Databricks Runtime IF() adalah sinonim untuk CASE WHEN <cond> THEN <expr1> ELSE <expr2> END

Databricks Runtime sekarang mendukung IFF() sebagai sinonim untuk IF()

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX adalah nama alternatif untuk fungsi POSITION. CHARINDEX menemukan posisi kemunculan pertama string dalam string lain dengan indeks awal opsional.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Beberapa output per sel diaktifkan untuk notebook Python secara default

Databricks Runtime 7.1 memperkenalkan dukungan untuk beberapa output per sel di notebook Python (dan %sel python dalam notebook non-Python), tetapi Anda diminta untuk mengaktifkan fitur untuk notebook Anda. Fitur ini diaktifkan secara default di Databricks Runtime 7.4. Lihat Menampilkan beberapa output per sel.

Peningkatan lengkapi otomatis untuk notebook Python

Lengkapi otomatis untuk Python menunjukkan informasi jenis tambahan yang dihasilkan dari analisis statis kode menggunakan pustaka Jedi. Anda dapat menekan tombol Tab untuk melihat daftar opsi.

Peningkatan display vektor Spark ML di pratinjau Spark DataFrame

Format display saat ini menunjukkan label untuk jenis vektor (jarang atau padat), panjang, indeks (untuk vektor jarang), dan nilai.

Perbaikan lainnya

• Memperbaiki masalah pickling di collections.namedtuple buku notebook.
• Memperbaiki masalah pickling dengan kelas dan metode yang ditentukan secara interaktif.
• Memperbaiki bug yang menyebabkan panggilan mlflow.start_run() gagal pada passthrough atau kluster yang diaktifkan untuk kontrol akses tabel.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • jedi diupgrade dari 0.14.1 ke 0.17.2.
  • koalas diupgrade dari 1.2.0 ke 1.3.0.
  • parso diupgrade dari 0.5.2 ke 0.7.0.
• Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Diinstal.

Apache Spark

Databricks Runtime 7.4 menyertakan Apache Spark 3.0.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 7.3 LTS (EoS), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:

• [SPARK-33170] [SQL] Menambahkan konfigurasi SQL untuk mengontrol perilaku gagal cepat di FileFormatWriter
• [SPARK-33136] [SQL] Memperbaiki parameter yang salah bertukar di V2WriteCommand.outputResolved
• [SPARK-33134] [SQL] Mengembalikan hasil parsial hanya untuk objek JSON root
• [SPARK-33038] [SQL] Menggabungkan rencana awal dan saat ini AQE…
• [SPARK-33118] [SQL] CREATE TEMPORARY TABLE gagal karena lokasi
• [SPARK-33101] [SQL] Membuat format LibSVM menyebarkan konfigurasi Hadoop dari opsi DS ke sistem file HDFS yang mendasarinya
• [SPARK-33035] [SQL] Memperbarui entri pemetaan atribut yang sudah usang di QueryPlan#transformUpWithNewOutput
• [SPARK-33091] [SQL] Menghindari menggunakan peta, bukan foreach untuk menghindari potensi efek samping pada pemanggil OrcUtils.readCatalystSchema
• [SPARK-33073] [PYTHON] Meningkatkan penanganan kesalahan pada kegagalan konversi Pandas ke Arrow
• [SPARK-33043] [ML] Menangani spark.driver.maxResultSize=0 di komputasi heuristik RowMatrix
• [SPARK-29358] [SQL] Membuat unionByName secara opsional mengisi kolom yang hilang dengan null
• [SPARK-32996] [WEB-UI] Menangani ExecutorMetrics kosong di ExecutorMetricsJsonSerializer
• [SPARK-32585] [SQL] Mendukung enumerasi skalaf di ScalaReflection
• [SPARK-33019] [CORE] Menggunakan spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 secara default
• [SPARK-33018] [SQL] Perbaiki masalah statistik perkiraan jika turunan memiliki 0 byte
• [SPARK-32901] [CORE] Jangan mengalokasikan memori saat meluapkan UnsafeExternalSorter
• [SPARK-33015] [SQL] Menggunakan millisToDays() dalam aturan ComputeCurrentTime
• [SPARK-33015] [SQL] Menghitung tanggal saat ini hanya sekali
• [SPARK-32999] [SQL] Menghindari Utils.getSimpleName untuk menghindari mengklik nama kelas Malformed di TreeNode
• [SPARK-32659] [SQL] Menyiarkan Array, bukan Atur di InSubqueryExec
• [SPARK-32718][SQL] Hapus kata kunci yang tidak perlu untuk unit interval
• [SPARK-32886] [WEBUI] perbaiki tautan ‘tidak terdefinisi‘ dalam tampilan garis waktu peristiwa
• [SPARK-32898] [CORE] Perbaiki executorRunTime yang salah jika tugas selesai sebelum mulai nyata
• [SPARK-32635] [SQL] Tambahkan kasus uji baru dalam modul katalis
• [SPARK-32930] [CORE] Ganti metode isFile/isDirectory yang tidak digunakan lagi
• [SPARK-32906] [SQL] Nama bidang struktur tidak boleh berubah setelah menormalkan float
• [SPARK-24994] [SQL] Tambahkan pengoptimal UnwrapCastInBinaryComparison untuk menyederhanakan literal integral
• [SPARK-32635] [SQL] Perbaiki propagasi yang dapat digandakan
• [SPARK-32738] [CORE] Harus mengurangi jumlah utas aktif jika terjadi kesalahan fatal di Inbox.process
• [SPARK-32900] [CORE] Izinkan UnsafeExternalSorter meluap jika ada null
• [SPARK-32897] [PYTHON] Jangan tampilkan peringatan penghentian di SparkSession.builder.getOrCreate
• [SPARK-32715] [CORE] Memperbaiki kebocoran memori ketika gagal menyimpan potongan siaran
• [SPARK-32715] [CORE] Memperbaiki kebocoran memori ketika gagal menyimpan potongan siaran
• [SPARK-32872] [CORE] Cegah BytesToBytesMap pada MAX_CAPACITY agar tidak melebihi ambang batas perkembangan
• [SPARK-32876] [SQL] Ubah versi fallback default menjadi 3.0.1 dan 2.4.7 di HiveExternalCatalogVersionsSuite
• [SPARK-32840] [SQL] Nilai interval yang tidak valid dapat terjadi hanya perekat dengan unit
• [SPARK-32819] [SQL] Parameter ignoreNullability harus efektif secara rekursif
• [SPARK-32832] [SQL] Gunakan CaseInsensitiveMap untuk opsi DataFrameReader/Writer
• [SPARK-32794] [SS] Memperbaiki kesalahan kasus sudut langka di mesin batch mikro dengan beberapa kueri stateful + tanpa batch data + sumber V1
• [SPARK-32813] [SQL] Dapatkan konfigurasi default pembaca vektor ParquetSource jika tidak ada SparkSession aktif
• [SPARK-32823] [WEB UI] Perbaiki pelaporan sumber daya master ui
• [SPARK-32824] [CORE] Perbaiki pesan kesalahan saat pengguna lupa .jumlah dalam konfigurasi sumber daya
• [SPARK-32614] [SQL] Jangan terapkan pemrosesan komentar jika 'komentar' tidak diatur untuk CSV
• [SPARK-32638] [SQL] Mengoreksi referensi saat menambahkan alias di WidenSetOperationTypes
• [SPARK-32810] Sumber data [SQL] CSV/JSON harus menghindari jalur globbing saat menyimpulkan skema
• [SPARK-32815] [ML] Perbaiki kesalahan pemuatan sumber data LibSVM pada jalur file dengan metacharacters glob
• [SPARK-32753] [SQL] Hanya salin tag ke node tanpa tag
• [SPARK-32785] [SQL] Interval dengan bagian yang menggantung seharusnya tidak menghasilkan null
• [SPARK-32764] [SQL] -0.0 harus sama dengan 0.0
• [SPARK-32810] Sumber data [SQL] CSV/JSON harus menghindari jalur globbing saat menyimpulkan skema
• [SPARK-32779] [SQL] Hindari menggunakan API SessionCatalog yang disinkronkan dalam aliran withClient, ini mengarah ke DeadLock
• [SPARK-32791] [SQL] Metrik tabel yang tidak dipartisi seharusnya tidak memiliki waktu pemangkasan partisi dinamis
• [SPARK-32767] [SQL] Bucket join harus berfungsi jika spark.sql.shuffle.partitions lebih besar dari bucket number
• [SPARK-32788] [SQL] pemindaian tabel yang tidak dipartisi seharusnya tidak memiliki filter partisi
• [SPARK-32776] [SS] Batas dalam streaming tidak boleh dioptimalkan oleh PropagateEmptyRelation
• [SPARK-32624] [SQL] Perbaiki regresi di CodegenContext.addReferenceObj pada tipe Scala bertumpuk
• [SPARK-32659] [SQL] Tingkatkan tes untuk pemangkasan DPP pada tipe non-atom
• [SPARK-31511] [SQL] Buat iterator BytesToBytesMap aman utas
• [SPARK-32693] [SQL] Bandingkan dua kerangka data dengan skema yang sama kecuali properti dapat diubah ke null
• [SPARK-28612] [SQL] Dokumen metode yang benar dari DataFrameWriterV2.replace()

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 7.4.

Lingkungan sistem

• Sistem Operasi: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
• Scala: 2.12.10
• Python: 3.7.5
• R: R versi 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada XXXX-XX-XX.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)