Databricks Runtime 8.2 (EoS)

Databricks merilis versi ini pada Bulan April 2021.

Catatan rilis berikut memberikan informasi tentang Runtime Databricks 8.2, didukung oleh Apache Spark 3.1.1.

Fitur dan peningkatan baru

• Opsi Loader Otomatis baru mengaktifkan evolusi skema yang lebih mudah
• Melihat VACUUM metrik (Pratinjau Umum)
• Mudah memahami berapa banyak data Delta Lake dikloning atau dipulihkan
• Menyetel ukuran file dalam tabel Delta agar sesuai dengan kebutuhan beban kerja Anda
• Secara bertahap menyerap pembaruan dan penghapusan dalam tabel Delta menggunakan perubahan umpan data (Pratinjau Umum)
• Mengekstrak data dari untai (karakter) JSON menggunakan operator SQL (GA)

Opsi Loader Otomatis baru mengaktifkan evolusi skema yang lebih mudah

Loader Otomatis tidak lagi mengharuskan Anda untuk menentukan input skema untuk memulai saat menyerap data JSON. Selain itu, Loader Otomatis dapat mendeteksi pengenalan kolom baru ke data Anda dan menghidupkan ulang, sehingga Anda tidak pernah kehilangan data lagi. Loader Otomatis juga akan "menyelamatkan" data yang tidak terduga (misalnya, dari tipe data yang berbeda) di kolom blob JSON, yang dapat Anda pilih untuk diakses nanti dengan menggunakan API akses data semi-terstruktur. Lihat Mengonfigurasi inferensi dan evolusi skema di Pemuat Otomatis.

Lihat VACUUM metrik (Pratinjau Umum)

VACUUM penerapan ke log transaksi Delta sekarang berisi informasi tentang file yang dihapus dan diserap direktori. Lihat Informasi audit dan Tinjau detail tabel Delta Lake dengan menjelaskan detailnya.

Mudah memahami berapa banyak data Delta Lake dikloning atau dipulihkan

Delta Lake CLONE dan RESTORE perintah sekarang mengembalikan metrik ketika selesai, sehingga Anda dapat dengan mudah memahami berapa banyak data yang dikloning atau dipulihkan sebagai hasil dari operasi ini. Lihat Mengkloning metrik dan Pemulihan metrik.

Menyetel ukuran file dalam tabel Delta agar sesuai dengan kebutuhan beban kerja Anda

Anda sekarang dapat mengatur properti tabel untuk menginstruksikan Delta Lake untuk memilih ukuran file yang cocok untuk tabel dengan operasi yang sering MERGE (misalnya, proses upsert data perubahan ke dalam tabel). Runtime juga dapat mendeteksi kapan tabel MERGE intensif dan autotunes ukuran file. Untuk penyetelan yang lebih halus, Anda dapat menetapkan ukuran target Anda sebagai properti, dan semua operasi pengoptimalan tata letak data (misalnya, Optimalkan, Optimalkan Penulisan, dan Pemadatan Otomatis) akan melakukan upaya terbaik untuk menghasilkan file sebesar itu. Lihat Mengonfigurasi Delta Lake untuk mengontrol ukuran file data.

Secara bertahap menyerap pembaruan dan penghapusan dalam tabel Delta menggunakan perubahan umpan data (Pratinjau Umum)

Perubahan umpan data tabel Delta mewakili perubahan tingkat baris antara versi tabel yang berbeda. Saat diaktifkan, runtime merekam informasi tambahan mengenai perubahan tingkat baris untuk setiap operasi penulisan pada tabel. Anda dapat kueri perubahan ini melalui pembaca SQL dan DataFrame dan DataStream. Umpan mengaktifkan:

• Konsumsi downstream yang efisien dari penggabungan, pembaruan, dan penghapusan. Mendapatkan baris yang diperbarui, dimasukkan, atau dihapus sangat meningkatkan performa pekerjaan downstream yang mengkonsumsi output dari penggabungan karena seluruh file tidak perlu diproses dan deduplicated sekarang.
• Menjaga sinkronisasi data antara replika dari dua tabel yang berbeda yang mewakili data yang sama. Ini adalah praktik umum untuk mempertahankan dua versi dari tabel yang sama satu tabel sempit sebagai sumber data kebenaran dan tabel yang lebih luas dengan data tambahan. Perubahan dapat diterapkan secara efisien dari tabel sempit ke tabel yang lebih luas.

Untuk detail selengkapnya, harap lihat Menggunakan umpan data perubahan Delta Lake pada Azure Databricks.

Mengekstrak data dari karakter JSON menggunakan operator SQL (GA)

Operator SQL—:: dan :— yang memungkinkan Anda mengekstrak data dengan mudah dari karakter JSON sekarang tersedia secara umum. Lihat Mengkueri string JSON.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • Peningkatan koala dari 1.6.0 menjadi 1.7.0.
• Pustaka Java yang ditingkatkan:
  • univocity-urai dari 2.9.0 menjadi 2.9.1.

Apache Spark

Runtime Databricks 8.2 menyertakan Apache Spark 3.1.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 8.1 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-34614][SQL] mode ANSI: Mentransmisikan Untai (karakter) ke Boolean harus membuang pengecualian pada kesalahan urai
• [SPARK-33794] [SQL] Ekspresi Hari Berikutnya membuang runtime IllegalArgumentException saat menerima input yang tidak valid dalam mode ANSI
• [SPARK-34833] [SQL] Menangani referensi luar di semua tempat
• [SPARK-34742] [SQL] mode ANSI: Abs memberikan pengecualian jika input berada di luar rentang
• [SPARK-34833] [SQL] Menerapkan pengisi kanan dengan benar untuk subkueri berkorelasi
• [SPARK-34719] [SQL] Menyelesaikan kueri tampilan dengan benar dengan nama kolom duplikat
• [SPARK-34392][SQL] Dukungan ZoneOffset +h:mm di DateTimeUtils. getZoneId
• [SPARK-34436][SQL] Dukungan DPP SEPERTI APA PUN/SEMUA ekspresi
• [SPARK-34497] [SQL] Memperbaiki penyedia sambungan JDBC bawaan untuk memulihkan perubahan konteks keamanan JVM
• [SPARK-34543] [SQL] Hormati konfigurasi spark.sql.caseSensitive saat menyelesaikan spesifikasi partisi di SET LOCATION v1
• [SPARK-34550] [SQL] Melompati nilai nol InSet selama filter push ke metastore Apache Hive
• [SPARK-34531] [CORE] Hapus tag API Eksperimental di PrometheusServlet
• [SPARK-34515] [SQL] Memperbaiki NPE jika InSet berisi nilai null selama getPartitionsByFilter
• [SPARK-34490] tabel mungkin diselesaikan sebagai tampilan jika tabel dihilangkan
• [SPARK-34613][SQL] Tampilan perbaikan tidak menangkap konfigurasi petunjuk yang dinonaktifkan
• [SPARK-34504] Menghindari penyelesaian tampilan yang tidak perlu dan hapus performCheck bendera
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext mungkin bertahan dengan masalah ras
• [SPARK-34421] [SQL] Selesaikan fungsi dan tampilan sementara dalam tampilan dengan CFT
• [SPARK-34713] [SQL] Memperbaiki grup oleh CreateStruct dengan ExtractValue
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists tidak boleh gagal jika database tidak ada
• [SPARK-34681] [SQL] Memperbaiki bug untuk gabungan hash diacak luar penuh saat membangun sisi kiri dengan kondisi yang tidak sama

Pembaruan pemeliharaan

Lihat Perbarui pemeliharaan 8.2 Runtime Databricks .

Lingkungan sistem

• Sistem Operasi: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8 (diperbarui dari 3.8.6 pada pembaruan pemeliharaan 26 Mei 2021)
• R: R versi 4.0.4 (2021-02-15)
• Delta Lake 0.8.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada 02-11-2020.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)