Databricks Runtime 10.2 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 10.2 dan Runtime Databricks 10.2 Foton, didukung oleh Apache Spark 3.2.0. Databricks merilis versi ini pada Desember 2021. Photon berada pada Pratinjau Umum.

Fitur dan peningkatan baru

• Gunakan File dalam Repositori dengan Spark Streaming
• Utilitas Databricks menambahkan perintah pemasangan pembaruan
• Delta Lake mendukung penggantian nama kolom (Pratinjau Umum)
• Riwayat tabel Delta Lake kini menyertakan informasi versi dari Databricks Runtime
• Utilitas Databricks menambahkan informasi waktu modifikasi terbaru ketika direktori terdaftar
• Spark SQL menambahkan approx_top_k fungsi untuk mengembalikan item teratas dan jumlahnya
• Trigger.AvailableNow sekarang tersedia di Python serta Scala
• Auto Loader sekarang mendukung pengembangan skema untuk Avro (Pratinjau Publik)

Gunakan File dalam Repositori dengan Spark Streaming

Anda sekarang dapat mengakses File di Repositori dari Spark Streaming.

Utilitas Databricks menambahkan perintah pemasangan pembaruan

Perintah baru dbutils.fs.updateMount ini mirip dengan dbutils.fs.mount, tetapi perintah baru ini memperbarui titik pemasangan yang ada daripada membuat yang baru. Lihat perintah updateMount (dbutils.fs.updateMount).

Delta Lake mendukung penggantian nama kolom (Pratinjau Umum)

Delta Lake sekarang mendukung penggantian nama kolom. Untuk mengganti nama kolom tabel Delta, Anda harus memutakhirkan versi tabel Delta Anda lalu mengatur mode pemetaan kolom ke pemetaan nama. Lihat Ubah nama dan hapus kolom dengan pemetaan kolom Delta Lake.

Riwayat tabel Delta Lake menambahkan informasi versi Databricks Runtime

Saat penulisan dilakukan ke tabel Delta, informasi tentang versi Databricks Runtime yang melakukan penulisan juga direkam. Untuk mendapatkan informasi versi, jalankan perintah DESCRIBE HISTORY pada tabel lalu lihat kolom engineInfo dalam output. Lihat DESCRIBE HISTORY dan menggunakan riwayat tabel Delta Lake.

Utilitas Databricks menambahkan informasi waktu modifikasi terbaru ketika direktori terdaftar

dbutils.fs.ls Perintah untuk mencantumkan konten direktori sekarang menghasilkan modificationTime bidang. Bidang ini berisi waktu modifikasi terbaru untuk setiap file atau direktori yang tercantum. Lihat perintah ls (dbutils.fs.ls).

Spark SQL menambahkan approx_top_k fungsi untuk mengembalikan item teratas dan jumlahnya

Fungsi approx_top_k baru mengembalikan nilai item yang paling sering terjadi, bersama dengan perkiraan jumlahnya, untuk ekspresi yang ditentukan. Beberapa contohnya termasuk:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Hasil dari menjalankan salah satu contoh adalah:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Lihat fungsi agregat approx_top_k.

Trigger.AvailableNow sekarang tersedia di Python serta Scala

Perubahan ini mendukung kueri streaming sumber Delta Trigger.AvailableNow di Python serta Scala. Databricks Runtime 10.1 memperkenalkan dukungan untuk pemicu ini di Scala. Databricks Runtime 10.2 sekarang mendukung pemicu ini di Python juga. Lihat cakupan Trigger.AvailableNow di Apa itu Pemuat Otomatis?.

Auto Loader sekarang mendukung evolusi skema untuk Avro (Pratinjau Umum)

Lihat Mengonfigurasi inferensi dan evolusi skema di Auto Loader.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • filelock dari 3.3.1 hingga 3.4.0
  • plotly dari 5.3.0 hingga 5.3.1
• Pustaka R yang ditingkatkan:
  • basis dari 4.1.1 hingga 4.1.2
  • compiler dari 4.1.1 ke 4.1.2
  • himpunan data dari 4.1.1 hingga 4.1.2
  • grafik dari 4.1.1 hingga 4.1.2
  • grDevices dari 4.1.1 hingga 4.1.2
  • kisi dari 4.1.1 hingga 4.1.2
  • metode dari 4.1.1 hingga 4.1.2
  • paralel dari 4.1.1 hingga 4.1.2
  • Rserve dari 1,8-8 hingga 1,8-10
  • splines dari 4.1.1 hingga 4.1.2
  • statistik dari 4.1.1 hingga 4.1.2
  • stats4 dari 4.1.1 hingga 4.1.2
  • tcltk dari 4.1.1 hingga 4.1.2
  • alat dari 4.1.1 hingga 4.1.2
  • utils dari 4.1.1 hingga 4.1.2
  • backport dari 1.2.1 hingga 1.4.0
  • broom dari 0.7.9 hingga 0.7.10
  • cli dari 3.0.1 hingga 3.1.0
  • cpp11 dari 0.4.0 hingga 0.4.1
  • krayon dari 1.4.1 hingga 1.4.2
  • kredensial versi 1.3.1 ke 1.3.2
  • masa depan dari 1.22.1 hingga 1.23.0
  • gert dari 1.4.1 hingga 1.4.3
  • glmnet dari 4.1-2 hingga 4.1-3
  • lem dari 1.4.2 hingga 1.5.0
  • memoise dari 2.0.0 hingga 2.0.1
  • secara paralel dari 1.28.1 hingga 1.29.0
  • readr dari 2.0.2 hingga 2.1.0
  • sessioninfo dari 1.1.1 hingga 1.2.1
  • stringi dari 1.7.5 hingga 1.7.6
  • tibble dari 3.1.5 hingga 3.1.6
  • tinytex dari 0,34 hingga 0,35
  • tzdb dari 0.1.2 hingga 0.2.0
  • usethis dari 2.1.2 hingga 2.1.3
  • uuid dari 0,1-4 hingga 1,0-3
  • vroom dari 1.5.5 hingga 1.5.6
  • xfun dari 0,27 hingga 0,28
• Pustaka Java yang ditingkatkan:
  • com.fasterxml.jackson dari 2.12.2 hingga 2.12.3
  • io.airlift.aircompressor dari 0,19 hingga 0,21
  • io.netty.netty-all dari 4.1.63.Final hingga 4.1.68.Final
  • joda-time.joda-time dari 2.10.5 hingga 2.10.10
  • org.apache.commons.commons-kompres dari 1.20 hingga 1.21
  • org.apache.orc dari 1.6.10 hingga 1.6.12
  • org.eclipse.jetty dari 9.4.40.v20210413 hingga 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 dari 1.0 hingga 1.2
  • org.scalanlp.breeze_2.12 dari 1.0 hingga 1.2
  • org.org.typelevel.algebra_2.12 dari 2.0.0 hingga 2.0.1
  • org.typelevel.cats-kernel_2.12 dari 2.0.0 hingga 2.0.1

Apache Spark

Runtime Databricks 10.2 menyertakan Apache Spark 3.2.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 10.1 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() menghasilkan val malas
• [SPARK-37468] [SQL] Mendukung interval ANSI dan TimestampNTZ untuk UnionEstimation
• [SPARK-37464] [SQL] SCHEMA dan DATABASE hanya boleh berupa alias NAMESPACE
• [SPARK-37452] [SQL] Char dan Varchar memutuskan kompatibilitas mundur antara v3.1 dan v2
• [SPARK-36861] [SQL] Gunakan yyyy-MM-dd sebagai pola tanggal dalam penemuan partisi
• [SPARK-37456] [SQL] CREATE NAMESPACE harus memenuhi syarat lokasi untuk perintah v2
• [SPARK-37357] [SQL] Tambahkan faktor partisi kecil untuk partisi penyeimbangan ulang
• [SPARK-37446] [SQL] Gunakan refleksi untuk mendapatkan TanpaRegisterFns untuk memungkinkan versi Apache Hive yang berbeda untuk membangun
• [SPARK-37444] [SQL] UBAH NAMESPACE … SET LOCATION harus menangani lokasi kosong secara konsisten di seluruh perintah v1 dan v2
• [SPARK-36357] [SQL] Mendukung Stempel Waktu pushdown tanpa zona waktu untuk orc
• [SPARK-36346] [SQL] Mendukung jenis TimestampNTZ di sumber file Orc
• [SPARK-36646] [SQL] Dorong ke bawah grup menurut kolom partisi untuk agregat
• [SPARK-34960] [SQL] Dorongan agregat turun untuk ORC
• [SPARK-37386] [SQL] Sederhanakan OptimizeSkewedJoin untuk tidak menjalankan evaluator biaya
• [SPARK-36073] [SQL] Perbaikan dan peningkatan EquivalentExpressions
• [SPARK-35352] [SQL] Tambahkan code-gen untuk gabungan pengurutan luar penuh
• [SPARK-37292] [SQL] Menghapus join luar jika hanya terdapat DISTINCT pada sisi yang dialirkan dengan alias
• [SPARK-37371] [SQL] UnionExec harus mendukung kolumnar jika semua anak mendukung kolumnar
• [SPARK-36645] [SQL] Agregat (Min/Maks/Jumlah) mendorong ke bawah untuk Parquet
• [SPARK-37379] [SQL] Tambahkan pemangkasan pola pohon ke aturan CTESubstitution
• [SPARK-37332] [SQL] Izinkan interval ANSI masukALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] Optimalkan jalur tulis pada penyedia penyimpanan status RocksDB
• [SPARK-37304] [SQL] Izinkan intercal ANSI di v2 ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] CAST antara interval ANSI dan IntegralType
• [SPARK-37289] [SQL] Hapus fungsi partitionSchemaOption
• [SPARK-37270] [SQL] Perbaiki push foldable ke cabang CaseWhen jika cabang lainValue kosong
• [SPARK-35345] [SQL] Tambahkan uji Parquet untuk BloomFilterBenchmark
• [SPARK-37341] [SQL] Hindari buffer yang tidak perlu dan salin dalam gabungan gabungan pengurutan luar penuh
• [SPARK-37266] [SQL] Teks tampilan hanya dapat berupa kueri SELECT
• [SPARK-37288] [PYTHON][3.2] Backport sejak pembaruan anotasi
• [SPARK-37262] [SQL] Jangan catat agregat kosong dan kelompokkan di JDBCScan
• [SPARK-37283] [SQL] Jangan mencoba menyimpan tabel V1 yang berisi interval ANSI dalam format yang kompatibel dengan Apache Hive
• [SPARK-37221] [SQL] API seperti pengumpul di SparkPlan akan mendukung output kolumnar
• [SPARK-37202] [SQL] Gunakan AnalysisContext untuk melacak fungsi suhu yang dirujuk
• [SPARK-37023] [CORE] Hindari mengambil status gabungan saat shuffleMergeEnabled salah untuk shuffleDependency selama percobaan ulang
• [SPARK-37307] [CORE] Jangan mendapatkan koneksi JDBC untuk partisi kosong
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions mendukung pengoptimalan pada node non-root
• [SPARK-36799] [SQL] Lewati kueriSelecution nama di CLI
• [SPARK-37261] [SQL] Izinkan menambahkan partisi dengan interval ANSI di DSv2
• [SPARK-37203] [SQL] Perbaiki NotSerializableException saat diamati dengan TypedImperativeAggregate
• [SPARK-37199] [SQL] Tambahkan bidang deterministik ke QueryPlan
• [SPARK-37253] [PYTHON] try_simplify_traceback tidak boleh gagal ketika tb_frame.f_lineno Tidak Ada
• [SPARK-37214] [SQL] Gagalkan analisis kueri sebelumnya dengan pengidentifikasi tidak valid
• [SPARK-37240] [SQL] Tangani interval ANSI denganColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Gunakan ekspresi untuk memfilter partisi Apache Hive di sisi klien
• [SPARK-32940] [SQL] Kumpulkan, pertama dan terakhir harus menjadi fungsi agregat deterministik
• [SPARK-37231] [SQL] Tulis/baca dinamis dari partisi interval ANSI
• [SPARK-37038] [SQL] Sampel Dorongan DSV2 Turun
• [SPARK-36665] [SQL] Tambahkan lebih banyak Penyederhanaan bukan operator
• [SPARK-37150] [SQL] Migrasi JELASKAN NAMESPACE untuk menggunakan perintah V2 secara default
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale gagal mengembalikan null
• [SPARK-37212] [SQL] Tingkatkan penerapan pushdown agregat.
• [SPARK-37190] [SQL] Tingkatkan pesan kesalahan untuk transmisikan di bawah mode ANSI
• [SPARK-37161] [SQL] RowToColumnConverter mendukung AnsiIntervalType
• [SPARK-37160] [SQL] Tambahkan konfigurasi untuk menonaktifkan padding secara opsional untuk tipe char
• [SPARK-36554] [SQL][PYTHON] Mengekspos ekspresi make_date di functions.scala
• [SPARK-37200] [SQL] Indeks penurunan dukungan untuk Sumber Data V2
• [SPARK-37179] [SQL] mode ANSI: Tambahkan konfigurasi untuk memungkinkan casting antara Datetime dan Numeric
• [SPARK-37168] [SQL] Meningkatkan pesan kesalahan untuk fungsi dan operator SQL di bawah mode ANSI
• [SPARK-36935] [SQL] Perluas ParquetSchemaConverter ke komputasi pengulangan Parquet & tingkat definisi
• [SPARK-37066] [SQL] Tingkatkan pesan kesalahan untuk menunjukkan jalur file ketika gagal membaca file selanjutnya
• [SPARK-32567] [SQL] Tambahkan pembuatan kode untuk gabungan hash luar penuh yang tersebar
• [SPARK-37176] [SQL] Sinkronkan logika penanganan pengecualian metode JsonInferSchema#infer dengan metode JacksonParser#parse
• [SPARK-37149] [SQL] Tingkatkan pesan kesalahan untuk pengecualian luapan aritmatika di bawah mode ANSI
• [SPARK-37136] [SQL] Hapus kode tentang fungsi bawaan Apache Hive yang tidak diterapkan dalam Spark
• [SPARK-16280][SPARK-37082] [SQL] Menerapkan fungsi agregasi histogram_numeric yang mendukung agregasi parsial.
• [SPARK-36975] [SQL] Perbaiki metrik panggilan klien sarang di HiveClientImpl

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 10.2.

Lingkungan sistem

• Sistem Operasi: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R dipasang dari snapshot Microsoft CRAN pada 30-11-2021.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)