Databricks Runtime 7.5 (EoS)

Databricks merilis versi ini pada Desember 2020.

Catatan rilis berikut berisi informasi tentang Databricks Runtime 7.5, didukung oleh Apache Spark 3.0.

Fitur baru

Fitur dan peningkatan Delta Lake

Rilis ini memberikan fitur dan peningkatan Delta Lake sebagai berikut:

• Titik pemeriksaan asinkron menghilangkan lonjakan durasi streaming batch mikro
• Informasi tabel terbaru kini disebarkan ke katalog
• Operasi MERGE INTO kini mendukung evolusi skema kolom berlapis
• Operasi MERGE INTO kini menggunakan Optimized Writes secara otomatis
• Operasi MERGE INTO dan UPDATE kini menyelesaikan kolom struktur berlapis berdasakan nama
• CLONE telah tersedia secara umum (GA) dan Anda kini dapat mengambil alih properti tabel
• RESTORE telah tersedia secara umum (GA)
• Implisit Scala menyederhanakan API pembacaan dan penulisan Spark
• Meningkatkan throughput streaming dengan fetchParallelismopsi konektor
• Melacak progres stream dengan metrik Auto Loader baru

Titik pemeriksaan asinkron menghilangkan lonjakan durasi streaming batch mikro

Delta Lake melakukan titik pemeriksaan setiap 10 penerapan secara default. Dalam beban kerja streaming, titik pemeriksaan dapat menyebabkan lonjakan kecil dalam durasi batch mikro setiap 10 komit. Titik pemeriksaan asinkron menghilangkan lonjakan ini.

Titik pemeriksaan asinkron diaktifkan secara default untuk semua beban kerja streaming yang tidak Dipicu Sekali. Dengan pemeriksaan asinkron, penulis streaming juga menulis titik pemeriksaan yang ditingkatkan sehingga Anda tidak perlu secara eksplisit memilih melakukan titik pemeriksaan yang ditingkatkan.

Untuk menonaktifkan titik pemeriksaan asinkron, atur konfigurasi SQL spark.databricks.delta.checkpoint.async.enabled false.

Beban kerja batch terus menulis titik pemeriksaan secara sinkron dan kami merekomendasikan agar tidak mengaktifkan titik pemeriksaan asinkron untuk beban kerja batch.

Informasi tabel terbaru kini disebarkan ke katalog

Delta Lake kini menyebarkan informasi tabel terbaru, seperti skema dan properti tabel, ke katalog seperti metastore Apache Hive, berdasarkan upaya terbaik. Informasi tersebut dapat membantu Anda memanfaatkan alat katalogisasi untuk memahami skema tabel Delta Anda.

Delta Lake tidak bergantung pada informasi ini secara internal, tetapi berupaya untuk terus memperbaruinya. Selain itu, Delta Lake menyimpan properti tabel delta.lastUpdateVersion dan delta.lastCommitTimestamp untuk menunjukkan versi dan stempel waktu komit yang terakhir kali mendorong perubahan ke metastore. Metastore diperbarui hanya jika skema tabel atau properti dalam tabel tidak cocok. Oleh karena itu, properti tabel yang disebutkan di atas tidak selalu mencerminkan versi tabel terbaru.

Jika informasi tabel dan informasi metastore Anda tidak sinkron, Anda dapat menjalankan perintah seperti DESCRIBE <table> untuk memperbarui metastore.

Operasi MERGE INTO kini mendukung evolusi skema kolom berlapis

Evolusi skema kolom berlapis kini memiliki semantik yang sama dengan kolom tingkat atas. Misalnya, kolom berlapis baru dapat ditambahkan ke kolom StructType secara otomatis. Lihat Evolusi skema otomatis untuk detailnya.

Operasi MERGE INTO kini menggunakan Penulisan yang Dioptimalkan secara otomatis

Penulisan yang dioptimalkan dapat menunjukkan performa yang lebih baik untuk MERGE INTO siap pakai, khususnya untuk MERGE INTO di tabel berpartisi. Untuk menonaktifkan Penulisan yang Dioptimalkan, atur konfigurasi Spark spark.databricks.delta.optimizeWrite.enabled ke false.

Operasi MERGE INTO dan UPDATE kini menyelesaikan kolom struktur berlapis berdasarkan nama

Operasi pembaruan perintah UPDATE dan MERGE INTO kini menyelesaikan struktur kolom berlapis berdasarkan nama. Artinya, ketika membandingkan atau menetapkan kolom jenis StructType, urutan kolom berlapis tidak menjadi masalah (memiliki urutan yang sama persis dengan kolom tingkat atas). Untuk kembali menyelesaikan berdasarkan posisi, atur konfigurasi Spark spark.databricks.delta.resolveMergeUpdateStructsByName.enabled ke false.

CLONE telah tersedia secara umum (GA) dan Anda kini dapat mengambil alih properti tabel

Perintah CLONE kini tersedia secara umum. Lihat CREATE TABLE CLONE. Selain itu, Anda kini dapat menentukan pengambilalihan properti tabel saat menggunakan CLONE. Misalnya, lihat Mengkloning tabel di Azure Databricks.

RESTORE telah tersedia secara umum (GA)

Perintah RESTORE kini tersedia secara umum. Lihat RESTORE.

Implisit Scala menyederhanakan API pembacaan dan penulisan Spark

Anda dapat mengimpor io.delta.implicits._ untuk menggunakan metode delta dengan API pembacaan dan penulisan Spark.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Meningkatkan throughput streaming dengan opsi konektor fetchParallelism

Konektor AQS sekarang mendukung opsi baru fetchParallelism guna menentukan paralelisme untuk mengambil pesan dari layanan antrean.

Melacak progres stream dengan metrik Auto Loader baru

Auto Loader kini melaporkan jumlah file yang ada dalam backlog dan ukuran backlog setelah setiap batch. Anda dapat menggunakan metrik ini untuk melacak progres stream. Untuk detail tentang cara melihat metrik, lihat Apa itu Pemuat Otomatis?.

Penyempurnaan

Dukungan yang lebih luas untuk pustaka cakupan notebook menggunakan perintah ajaib %pip dan %conda

Anda kini dapat menginstal pustaka cakupan notebook menggunakan perintah ajaib %pip dan %conda pada kluster Konkurensi Tinggi dengan mengaktifkan tabel ACL atau passthrough info masuk.

Tampilan Spark SQL DECIMAL yang Akurat

Jenis data Spark SQL DECIMAL kini ditampilkan dalam tabel tanpa kehilangan presisi dan skala.

Konektor penyimpanan ADLS Gen 2 berdasarkan Hadoop 3.3 untuk ABFS

Konektor penyimpanan ADLS Gen 2 versi ditingkatkan berdasarkan Hadoop 3.3 untuk ABFS. Konektor yang ditingkatkan berisi banyak peningkatan stabilitas (lihat Stabilitas Hadoop) dan mencakup dukungan untuk autentikasi token SAS.

Perbaikan lainnya

Konektor Databricks Kafka untuk Spark Streaming telah dihapus. Gunakan konektor Apache Spark.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • koala ditingkatkan dari 1.3.0 menjadi 1.4.0.
• Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Diinstal.
• Build 8 OpenJDK ditingkatkan ke Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).

Apache Spark

Databricks Runtime 7.5 menyertakan Apache Spark 3.0.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 7.4 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-33611] [UI] Menghindari pengkodean dua kali pada parameter kueri URL proxy yang ditulis ulang
• [SPARK-33587] [CORE] Mematikan eksekutor pada kesalahan fatal berlapis (7.x)
• [SPARK-33140] [SQL] Mengembalikan kode yang tidak menggunakan SparkSession yang diteruskan untuk mendapatkan SQLConf.
• [SPARK-33472] [SQL] Menyesuaikan urutan aturan RemoveRedundantSorts
• [SPARK-33422] [DOC] Memperbaiki tampilan item menu kiri yang benar
• [SPARK-27421] [SQL] Memperbaiki filter untuk kolom int dan kelas nilai java.lang.String saat memangkas kolom partisi
• [SPARK-33483] [INFRA][TESTS] Memperbaiki pola pengecualian rat dan menambahkan LISENSI
• [SPARK-33464] [INFRA] Menambahkan/menghapus cache yang tidak diperlukan dan merestrukturisasi yaml Tindakan GitHub
• [SPARK-33407] [PYTHON][7.X] Menyederhanakan pesan pengecualian dari Python UDFs (dinonaktifkan secara default)
• [SPARK-33435] [SQL] DSv2: REFRESHREFRESH TABLE harus membatalkan cache yang mereferensikan tabel
• [SPARK-33358] [SQL] Mengembalikan kode saat proses perintah gagal
• [SPARK-33183] [DBCONNECT] Menambahkan RemoveRedundantSorts.scala ke ALLOW_LIST.txt
• [SPARK-33290] [SQL] REFRESHREFRESH TABLE harus membatalkan cache meskipun tabel itu sendiri mungkin tidak di-cache
• [SPARK-33140] [SQL] Memperbaiki kompilasi delta
• [SPARK-33316] [SQL] Menambahkan tes unit untuk from_avro dan to_avro dengan Registri Skema dan skema Avro yang disediakan pengguna yang dapat diubah ke null
• [SPARK-33404] [SQL] Memperbaiki hasil yang salah dalam ekspresi date_trunc
• [SPARK-33339] [PYTHON] Aplikasi Pyspark akan mengalami kemacetan karena kesalahan non Pengecualian
• [SPARK-33412] [SQL] OverwriteByExpression akan menyelesaikan kondisi penghapusannya berdasarkan relasi tabel bukan kueri input
• [SPARK-33391] [SQL] element_at dengan CreateArray tidak mematuhi indeks dengan satu basis.
• [SPARK-33316] [SQL] Mendukung skema Avro yang dapat diubah ke null yang disediakan pengguna untuk skema katalis yang tidak dapat diubah ke null dalam penulisan Avro
• [SPARK-33372] [SQL] Memperbaiki pemangkasan wadah InSet
• [SPARK-33371] [PYTHON] Memperbarui penyiapan dan pengujian untuk Python 3.9
• [SPARK-33140] [SQL] menghapus SQLConf dan SparkSession di semua sub-kelas Rule[QueryPlan]
• [SPARK-33338] [SQL] GROUP BY menggunakan peta harfiah seharusnya tidak gagal
• [SPARK-33306][SQL]Zona waktu diperlukan saat mentransmisikan tanggal ke string
• [SPARK-33284] [WEB-UI] Dalam halaman antarmuka pengguna Storage, mengeklik bidang apa pun untuk mengurutkan tabel akan menghilangkan konten header
• [SPARK-33362] [SQL] skipSchemaResolution masih memerlukan kueri untuk diselesaikan
• [SPARK-32257] [SQL] Melaporkan kesalahan eksplisit untuk penggunaan perintah SET/RESET yang tidak valid
• [SPARK-32406] [SQL] Membuat sintaks RESET mendukung pengaturan ulang konfigurasi tunggal
• [SPARK-32376] [SQL] Menjadikan perilaku pengisian null unionByName bekerja dengan kolom struktur
• [SPARK-32308] [SQL] Memindahkan logika resolusi berdasarkan nama unionByName dari kode API ke fase analisis
• [SPARK-20044] [UI] Mendukung antarmuka pengguna Spark di belakang proksi terbalik front-end menggunakan awalan jalur url proksi Kembali
• [SPARK-33268] [SQL][PYTHON] Memperbaiki bug untuk mentransmisikan data dari/ke PythonUserDefinedType
• [SPARK-33292] [SQL] Membuat representasi string ArrayBasedMapData tidak ambigu
• [SPARK-33183][SQL] Memperbaiki aturan Pengoptimal HilangkanSorts dan menambahkan aturan fisik untuk menghapus pengurutan yang berlebihan
• [SPARK-33272] [SQL] memangkas pemetaan atribut di QueryPlan.transformUpWithNewOutput
• [SPARK-32090] [SQL] Meningkatkan UserDefinedType.equal() agar simetris
• [SPARK-33267] [SQL] Memperbaiki masalah NPE pada filter ‘In’ ketika salah satu nilai berisi null
• [SPARK-33208] [SQL] Memperbarui dokumen SparkSession#sql
• [SPARK-33260] [SQL] Memperbaiki hasil yang salah dari SortExec jika sortOrder berupa Stream
• [SPARK-33230] [SQL] Menerapkan Hadoop pada committer untuk mendapatkan ID pekerjaan yang unik di “spark.sql.sources.writeJobUUID”
• [SPARK-33197] [SQL] Melakukan perubahan pada spark.sql.analyzer.maxIterations berlaku saat runtime
• [SPARK-33228] [SQL] Jangan membongkar data saat mengganti tampilan yang memiliki paket logis yang sama
• [SPARK-32557] [CORE] Mencatat dan menelan pengecualian per entri di server Riwayat
• [SPARK-32436] [CORE] Menginisialisasi numNonEmptyBlocks di HighlyCompressedMapStatus.readExternal
• [SPARK-33131] [SQL] Memperbaiki kumpulan pengelompokan dengan memiliki klausa tidak dapat menyelesaikan nama col yang memenuhi syarat
• [SPARK-32761] [SQL] Memungkinkan penggabungan beberapa ekspresi berbeda yang dapat dilipat
• [SPARK-33094] [SQL] Membuat format ORC menyebarkan konfigurasi Hadoop dari opsi DS ke sistem file HDFS yang mendasarinya

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 7.5.

Lingkungan sistem

• Sistem Operasi: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
• Scala: 2.12.10
• Python: 3.7.5
• R: R versi 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada 02-11-2020.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)