Runtime Databricks 9.1 LTS

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 9.1 dan Runtime Databricks 9.1 Photon, didukung oleh Apache Spark 3.1.2. Databricks merilis versi ini pada September 2021. Photon berada pada Pratinjau Umum.

Fitur dan peningkatan baru

• Petunjuk skema Auto Loader sekarang berfungsi dengan array dan tipe peta
• dukungan file Avro untuk penggabungan skema
• Dukungan listing inkremental Auto Loader (Pratinjau Umum)
• Delta sekarang mendukung penggantian sewenang-wenang Di mana
• Auto Loader untuk Google Cloud sekarang mendukung pemberitahuan file (Pratinjau Umum)
• CREATE FUNCTION sekarang mendukung pembuatan fungsi tabel
• Sumber Streaming Kafka sekarang melaporkan estimatedTotalBytesBehindLatest metrik
• Untuk struktur di dalam array, Delta MERGE INTO sekarang menyelesaikan bidang struktur berdasarkan nama dan mengembangkan skema struktur

Petunjuk skema Auto Loader sekarang berfungsi dengan jenis array dan peta

Jenis array dan peta didukung dalam Mengambil alih inferensi skema dengan petunjuk skema untuk Auto Loader.

Contoh petunjuk skema untuk array meliputi:

1. arr Array<TYPE> mengubah jenis array.
2. arr.element TYPE mengubah jenis array (dengan element menggunakan kata kunci).
3. arr.element.x TYPE mengubah jenis bidang bersarang dalam array struktur.

Dua contoh pertama adalah petunjuk untuk mengubah jenis array arr menjadi TYPE, tetapi mereka menggunakan sintaks yang berbeda. Dalam contoh ketiga, arr adalah array struktur dengan bidang x. Contoh ini menunjukkan cara mengubah jenis x menjadi TYPE.

Contoh petunjuk skema untuk peta meliputi:

1. m Map<KEY-TYPE, VALUE-TYPE> mengubah jenis kunci dan nilai peta.
2. m.key TYPEmengubah jenis dari kunci peta.
3. m.value TYPE mengubah jenis nilai peta.
4. m.key.x TYPE mengubah jenis bidang di kunci peta.
5. m.value.x TYPE mengubah jenis bidang nilai peta.

Contoh pertama mengubah jenis kunci dan nilai peta m ke KEY_TYPE dan VALUE_TYPE masing-masing. Contoh kedua dan ketiga dapat digunakan jika hanya jenis kunci atau hanya jenis nilai yang perlu diubah. Dalam contoh keempat dan kelima, m adalah peta dengan kunci dan nilai jenis struktur dengan bidang x. Contoh ini menunjukkan cara mengubah jenis x menjadi TYPE.

Dukungan file Avro untuk skema penggabungan

Format file Avro sekarang mendukung opsi saat mergeSchema membaca file. Mengatur mergeSchema ke true saat membaca file Avro akan menyimpulkan skema dari sekumpulan file Avro daripada dari satu file. Ini meningkatkan kegunaan dengan menyimpulkan skema yang mungkin dapat membaca semua file bahkan jika skema individu mereka berbeda. Lihat Konfigurasi.

Dukungan listing inkremental Auto Loader (Pratinjau Umum)

Dalam kasus file yang dihasilkan secara leksikografis, Apa itu Pemuat Otomatis? sekarang memanfaatkan pemesanan file leksikal dan API yang dioptimalkan yang ada untuk membuat daftar direktori lebih efisien dengan mencantumkan dari file yang sebelumnya diserap daripada dengan mencantumkan seluruh direktori. Auto Loader secara otomatis mendeteksi apakah direktori tertentu cocok untuk daftar inkremental secara default. Untuk mengontrol perilaku ini secara eksplisit, atur opsi cloudFiles.useIncrementalListing baru ke aktif (true), nonaktif (false), atau otomatis (auto). Jika Anda mengatur perilaku ini ke true, Anda juga dapat mengatur opsi cloudFiles.backfillInterval untuk menjadwalkan backfill reguler atas data Anda, untuk memastikan semua data Anda benar-benar diserap.

Delta sekarang mendukung penggantian sewenang-wenang Di mana

Dalam kombinasi dengan mode menimpa, opsi replaceWhere dapat digunakan untuk secara bersamaan menimpa data yang cocok dengan predikat yang ditentukan dalam opsi. Sebelumnya, replaceWhere hanya mendukung predikat pada kolom partisi, tetapi sekarang bisa menjadi ekspresi sembarang. Lihat Menulis ke tabel.

Auto Loader untuk Google Cloud sekarang mendukung pemberitahuan file (Pratinjau Umum)

Auto Loader sekarang mendukung mode notifikasi file di Google Cloud. Atur .option("cloudFiles.useNotifications", "true") untuk memungkinkan Auto Loader menyiapkan sumber daya Google Cloud Pub/Sub secara otomatis untuk Anda. Dengan mode pemberitahuan file, file baru terdeteksi dan dicerna saat tiba tanpa mencantumkan direktori input. Lihat Apa itu mode pemberitahuan file Auto Loader?.

CREATE FUNCTION sekarang mendukung pembuatan fungsi tabel

Selain membuat fungsi skalar yang mengembalikan nilai skalar, Anda sekarang dapat membuat fungsi tabel yang mengembalikan sekumpulan baris. Lihat (SQL dan Python).

Sumber Streaming Kafka sekarang melaporkan metrik estimatedTotalBytesBehindLatest

Sumber streaming Kafka sekarang melaporkan perkiraan berapa banyak byte yang dimiliki konsumen di belakang byte terbaru yang tersedia setelah setiap batch. Anda dapat menggunakan metrik ini untuk melacak kemajuan streaming. Lihat Mengambil metrik Kafka.

Contoh output metrik:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Untuk struktur di dalam array, Delta MERGE INTO sekarang menyelesaikan bidang struct berdasarkan nama dan mengembangkan skema struct

Delta MERGE INTO sekarang mendukung resolusi bidang struktur berdasarkan nama dan evolusi skema otomatis untuk array struct. Ketika evolusi skema otomatis diaktifkan dengan menyetel spark.databricks.delta.schema.autoMerge.enabled menjadi true, klausa UPDATE dan INSERT akan mengidentifikasi bidang struktur dalam array berdasarkan nama, mengonversi ke jenis data yang sesuai yang ditentukan dalam array target, dan mengisi bidang tambahan atau yang hilang di sumber atau target dengan nilai null jika tidak ada. Ketika evolusi skema otomatis dinonaktifkan, klausa UPDATE dan INSERT akan menyelesaikan bidang struktur di dalam array berdasarkan nama tetapi tidak akan dapat mengembangkan bidang tambahan. Lihat skema tabel Delta Lake yang telah diperbarui .

Perbaikan bug

• Memperbaiki kebocoran memori di konektor Amazon S3 yang dapat terjadi dalam pekerjaan atau layanan yang berjalan lama, yang disebabkan oleh fungsionalitas JVM DeleteOnExit.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • plotly dari 4.14.3 hingga 5.1.0
• Pustaka R yang ditingkatkan:
  • basis dari 4.1.0 hingga 4.1.1
  • bslib dari 0.2.5.1 hingga 0.3.0
  • cachem dari 1.0.5 hingga 1.0.6
  • compiler dari 4.1.0 ke 4.1.1
  • himpunan data dari 4.1.0 hingga 4.1.1
  • future dari 1.21.0 hingga 1.22.1
  • gert dari 1.3.1 hingga 1.3.2
  • grafik dari 4.1.0 hingga 4.1.1
  • grDevices dari 4.1.0 hingga 4.1.1
  • kisi dari 4.1.0 hingga 4.1.1
• Pustaka Java yang ditingkatkan:
  • org.eclipse.jetty dari 9.4.36.v20210114 hingga 9.4.42.v20210604

Apache Spark

Runtime bahasa umum Databricks 9.1 menyertakan Apache Spark 3.1.2. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 9.0 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-36674][SQL][CHERRY-PICK] Dukungan ILIKE - kasus TIDAK sensitif SEPERTI
• [SPARK-36353][SQL][3.1] RemoveNoopOperators harus menyimpan skema output
• [SPARK-35876][SQL][3.1]ArraysZip harus mempertahankan nama bidang agar tidak ditulis ulang oleh analyzer/optimizer
• [SPARK-36398][SQL] Informasi sensitif redact di log Spark Thrift Server
• [SPARK-36498][SQL] Menyusun ulang bidang dalam kueri input di penulisan byName V2
• [SPARK-36614][CORE][UI] Alasan kehilangan eksekutor yang benar disebabkan oleh penonaktifan di UI
• [SPARK-36012][SQL] Tambahkan bendera null di SHOW CREATE TABLE
• [SPARK-36509][CORE] Perbaiki masalah bahwa pelaksana tidak pernah dijadwalkan ulang jika pekerja berhenti dengan kluster mandiri
• [SPARK-36603][CORE] Gunakan WeakReference bukan SoftReference di LevelDB
• [SPARK-36564][CORE] Perbaiki NullPointerException di LiveRDDDistribution.toApi
• [SPARK-36086][SQL][3.1] Alihkan alias proyek CollapseProject sebaiknya menggunakan nama kolom asal
• [SPARK-33527][SQL] Memperluas fungsi decode agar konsisten dengan database mainstream
• [SPARK-36400][SPARK-36398][SQL][WEBUI] Buat ThriftServer mengenali spark.sql.redaction.string.regex
• [SPARK-34054][CORE] BlockManagerDecommissioner pembersihan kode
• [SPARK-36500][CORE] Perbaiki file temp_shuffle bocor saat tugas terganggu
• [SPARK-36489][SQL] Fungsi agregat tanpa kunci pengelompokan, pada tabel dengan wadah tunggal, mengembalikan beberapa baris
• [SPARK-36464][CORE] Perbaiki Inisialisasi Variabel Ukuran yang Mendasari di ChunkedByteBufferOutputStream untuk Menulis Lebih dari 2GB Data
• [SPARK-36339][SQL][3.0] Referensi untuk mengelompokkan bahwa bukan bagian dari agregasi harus diganti
• [SPARK-36354][CORE] EventLogFileReader harus melewatkan direktori log peristiwa bergulir tanpa log
• [SPARK-36242][CORE][3.1] Pastikan file spill ditutup sebelum sukses diatur menjadi true dalam metode ExternalSorter.spillMemoryIteratorToDisk
• [SPARK-36211][PYTHON] Penulisan yang benar dari udf pengembalian nilai
• [SPARK-34222][SQL] Meningkatkan aturan penyederhanaan boolean
• [SPARK-35027][CORE] Tutup inputStream di FileAppender saat menulis…
• [SPARK-36269][SQL] Perbaiki sehingga hanya menetapkan kolom data pada konfigurasi nama kolom Hive
• [SPARK-36213][SQL] Normalisasi PartitionSpec untuk Menjelaskan Perintah Tabel dengan PartitionSpec
• [SPARK-36210][SQL] Mempertahankan urutan penyisipan kolom di Dataset.withColumns
• [SPARK-36079][SQL] Perkiraan filter berbasis null harus selalu berada dalam kisaran [0, 1]
• [SPARK-28266][SQL] convertToLogicalRelation tidak boleh menafsirkan properti path saat membaca tabel Apache Hive

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaanLTS Runtime bahasa umum Databricks 9.1.

Lingkungan sistem

• Sistem Operasi: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R : 4.1.1
• Delta Lake: 1.0.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R dipasang dari snapshot Microsoft CRAN pada 08-09-2021.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)