Databricks Runtime 10.1 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 10.1 dan Runtime Databricks 10.1 Foton, didukung oleh Apache Spark 3.2.0. Databricks merilis versi ini pada November 2021. Photon berada pada Pratinjau Umum.

Fitur dan peningkatan baru

• Pengaturan tabel Delta baru untuk memadatkan file kecil
• Metrik grup baris baru untuk pemindaian kueri Parquet
• Trigger.AvailableNow untuk kueri streaming sumber Delta
• Trigger.AvailableNow untuk Auto Loader
• Dukungan Delta untuk konfigurasi sistem file Hadoop yang dilewatkan melalui opsi DataFrame
• Pemeriksaan status asinkron sekarang didukung dalam pekerjaan streaming yang stateful (Pratinjau Umum)
• Sparklyr dengan passthrough info masuk
• Databricks Utilities merangkum kontrol presisi (Pratinjau Umum)
• Notebook Azure Databricks sekarang dapat digunakan dengan kernel IPython
• Fungsi baru di Spark SQL

Pengaturan tabel Delta baru untuk memadatkan file kecil

Properti delta.autoOptimize.autoCompact tabel Delta sekarang menerima nilai auto baru dan legacy di samping nilai dan nilai yang ada dari true dan false. Saat diatur ke auto (disarankan), Auto Compaction menggunakan default yang lebih baik, seperti menetapkan 32 MB sebagai ukuran file target (meskipun perilaku default dapat berubah di masa mendatang). Saat diatur ke legacy atau true, Auto Compaction menggunakan 128 MB sebagai ukuran file target.

Alih-alih mengatur properti ini untuk tabel individual, Anda dapat mengatur spark.databricks.delta.autoCompact.enabled konfigurasi ke auto, legacy, atau true untuk mengaktifkan Pemadatan Otomatis untuk semua tabel Delta. Konfigurasi ini lebih diutamakan daripada properti tabel terkait selama sesi saat ini.

Ukuran file target untuk Auto Compaction dapat dikontrol dengan spark.databricks.delta.autoCompact.maxFileSize konfigurasi.

Untuk informasi selengkapnya tentang Pemadatan Otomatis, lihat Pemadatan otomatis untuk Delta Lake di Azure Databricks.

Metrik grup baris baru untuk pemindaian kueri Parquet

Kueri dengan pemindaian Parquet sekarang menampilkan metrik grup baris di UI Spark. Metrik grup baris ini adalah:

• jumlah total grup baris parquet
• jumlah grup baris parquet yang dibaca

Trigger.AvailableNow untuk kueri streaming sumber Delta

Perubahan ini mendukung jenis pemicu baru untuk kueri streaming sumber Delta di Scala: Trigger.AvailableNow. Ini seperti Trigger.Once, yang memproses semua data yang tersedia kemudian menghentikan kueri. Namun, Trigger.AvailableNow memberikan skalabilitas yang lebih baik, karena data dapat diproses dalam beberapa batch, bukan satu. Perubahan ini tidak memperkenalkan antarmuka baru; ini mengimplementasikan Spark API yang ada. Pemicu ini juga mendukung semua opsi pembatasan suku bunga yang sudah didukung oleh Delta sebagai sumber.

Contoh:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Lihat cakupan Trigger.AvailableNow di Apa itu Pemuat Otomatis?.

Trigger.AvailableNow untuk Auto Loader

Trigger.AvailableNow adalah mode pemicu streaming baru yang mirip dengan Trigger.Once. Trigger.Once memproses semua data yang tersedia dan kemudian menghentikan kueri. Trigger.AvailableNow memiliki skalabilitas yang lebih baik, karena data dapat diproses dalam beberapa batch, bukan satu. Auto Loader sekarang mendukung Trigger.AvailableNow dalam daftar direktori dan mode pemberitahuan file untuk Scala. Lihat cakupan Trigger.AvailableNow di Apa itu Pemuat Otomatis?.

Dukungan Delta untuk konfigurasi sistem file Hadoop yang dilewatkan melalui opsi DataFrame

Mirip dengan Parquet, Delta sekarang mendukung pembacaan konfigurasi sistem file Hadoop dari DataFrameReader dan DataFrameWriter opsi ketika tabel dibaca atau ditulis, dengan menggunakan DataFrameReader.load(path) atau DataFrameWriter.save(path). Lihat Mengonfigurasi kredensial penyimpanan Delta.

Pemeriksaan status asinkron sekarang didukung dalam pekerjaan streaming yang stateful (Pratinjau Umum)

Asynchronous state checkpointing adalah fitur baru yang berpotensi mengurangi latensi microbatch end-to-end dalam pekerjaan streaming stateful dengan pembaruan status besar. Lihat Titik pemeriksaan status asinkron untuk kueri stateful.

Sparklyr dengan passthrough info masuk

Anda sekarang dapat menggunakan API sparklyr untuk membaca dan menulis data ke dan dari penyimpanan cloud dengan menggunakan passthrough info masuk. Fungsi ini terbatas pada kluster standar dengan akses pengguna tunggal. Lihat Mengakses Azure Data Lake Storage menggunakan passthrough kredensial ID Microsoft Entra (warisan).

Databricks Utilities merangkum kontrol presisi (Pratinjau Umum)

Parameter baru precise untuk dbutils.data.summarize mengontrol ketepatan hasil ringkasan. Ketika precise diatur ke false (default), ringkasan mengembalikan hasil perkiraan untuk jumlah yang berbeda, persentil, dan jumlah item yang sering. Ketika precise diatur ke true, ringkasan sekarang dihitung dengan jumlah yang berbeda dan jumlah item yang sering, dengan perkiraan persentil yang lebih tepat. Lihat perintah ringkas (dbutils.data.summarize).

Notebook Azure Databricks sekarang dapat digunakan dengan kernel IPython

Anda sekarang dapat mengonfigurasi kluster Azure Databricks untuk menggunakan kernel IPython untuk mengeksekusi kode Python. Menggunakan kernel IPython di Azure Databricks menambahkan dukungan untuk alat tampilan dan output IPython. Selain itu, kernel IPython menangkap output stdout dan stderr dari proses turunan yang dibuat oleh buku catatan, memungkinkan output tersebut dimasukkan dalam hasil perintah buku catatan.

Untuk informasi lebih lanjut, lihat IPython kernel.

Fungsi baru di Spark SQL

Objek dan perintah berikut telah ditambahkan untuk bekerja dengan data di Unity Catalog (Pratinjau):

• Lokasi eksternal
• ALTER CATALOG
• ALTER CREDENTIAL
• UBAH LOKASI
• CREATE CATALOG
• BUAT LOKASI
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• JELASKAN LOKASI
• DROP CATALOG
• DROP CREDENTIAL
• HILANGKAN LOKASI
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• TAMPILKAN LOKASI
• USE CATALOG

Perintah berikut telah ditambahkan untuk Delta Sharing (Pratinjau), yang memungkinkan Anda berbagi data baca-saja dengan penerima di luar organisasi Anda:

• Berbagi
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT BERBAGI
• REVOKE BERBAGI
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Perbaikan bug

• Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti No FileSystem for scheme atau yang dapat menyebabkan modifikasi sparkContext.hadoopConfiguration tidak berlaku dalam kueri.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • filelock dari 3.0.12 hingga 3.3.1
  • koala dari 1.8.1 hingga 1.8.2
  • plotly dari 5.1.0 hingga 5.3.0
• Pustaka R yang ditingkatkan:
  • bslib dari 0.3.0 hingga 0.3.1
  • caret dari 6.0-88 hingga 6.0-90
  • cpp11 dari 0.3.1 hingga 0.4.0
  • data.table dari 1.14.0 hingga 1.14.2
  • desc dari 1.3.0 hingga 1.4.0
  • diffobj dari 0.3.4 hingga 0.3.5
  • mencerna dari 0.6.27 hingga 0.6.28
  • generik dari 0.1.0 hingga 0.1.1
  • hms dari 1.1.0 hingga 1.1.1
  • knitr dari 1,34 hingga 1,36
  • kisi dari 0,20-44 hingga 0,20-45
  • siklus hidup dari 1.0.0 hingga 1.0.1
  • lubridate dari 1.7.10 hingga 1.8.0
  • mgcv dari 1,8-37 hingga 1,8-38
  • mime dari 0,11 hingga 0,12
  • pkgload dari 1.2.2 hingga 1.2.3
  • progressr dari 0.8.0 hingga 0.9.0
  • rcmdcheck dari 1.3.3 hingga 1.4.0
  • readr dari 2.0.1 hingga 2.0.2
  • resep dari 0.1.16 hingga 0.1.17
  • remote dari 2.4.0 hingga 2.4.1
  • rlang dari 0.4.11 hingga 0.4.12
  • rvest dari 1.0.1 hingga 1.0.2
  • mengkilap dari 1.6.0 hingga 1.7.1
  • stringi dari 1.7.4 hingga 1.7.5
  • tes dari 3.0.4 hingga 3.1.0
  • tidyr dari 1.1.3 hingga 1.1.4
  • tinytex dari 0,33 hingga 0,34
  • usethis dari 2.0.1 hingga 2.1.2
  • xfun dari 0,26 hingga 0,27
• Pustaka Java yang ditingkatkan:
  • com.zaxxer.HikariCP dari 3.1.0 hingga 4.0.3

Apache Spark

Databricks Runtime 10.1 menyertakan Apache Spark 3.2.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 10.0 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-37037] [SQL] Tingkatkan pengurutan array byte dengan menyatukan compareUntuk fungsi UTF8String dan ByteArray
• [SPARK-37091] [R] SystemRequirements untuk memasukkan Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: Dukungan Secure-Socket-Layer (SSL) untuk HMS
• [SPARK-37098] [SQL] Mengubah properti tabel harus membatalkan cache
• [SPARK-36992] [SQL] Tingkatkan perf pengurutan array byte dengan menyatukan fungsi getPrefix utf8String dan ByteArray
• [SPARK-37047] [SQL] Tambahkan fungsi lpad dan rpad untuk untai (karakter) biner
• [SPARK-37076] [SQL] Terapkan StructType.toString secara eksplisit untuk Scala 2.13
• [SPARK-37075] [SQL] Pindahkan bangunan ekspresi UDAF dari sql/catalyst ke sql/core
• [SPARK-37084] [SQL] Atur spark.sql.files.openCostInBytes ke bytesConf
• [SPARK-37088] [PYSPARK][SQL] Utas penulis tidak boleh mengakses input setelah pendengar penyelesaian tugas kembali
• [SPARK-37069] [SQL] Mundur dengan benar saat Hive.getWithoutRegisterFns tidak tersedia
• [SPARK-37050] [PYTHON] Perbarui instruksi pemasangan Conda
• [SPARK-37067] [SQL] Gunakan ZoneId.of() untuk menangani untai (karakter) zona waktu di DatetimeUtils
• [SPARK-35925] [SQL] Dukungan DayTimeIntervalType dalam fungsi luas wadah
• [SPARK-35926] [SQL] Tambahkan dukungan YearMonthIntervalType untuk width_bucket
• [SPARK-35973] [SQL] Tambahkan perintahSHOW CATALOGS
• [SPARK-36922] [SQL] Fungsi SIGN/SIGNUM harus mendukung interval ANSI
• [SPARK-37078] [CORE] Dukungan konstruktor Sink 3 parameter lama
• [SPARK-37061] [SQL] Perbaiki CustomMetrics saat menggunakan Kelas Dalam
• [SPARK-35918] [AVRO] Menyatukan penanganan ketidakcocokan skema untuk membaca /menulis dan meningkatkan pesan kesalahan
• [SPARK-36871] [SQL]Migrasikan CreateViewStatement ke perintah v2
• [SPARK-36898] [SQL] Buat faktor gabungan hash shuffle dapat dikonfigurasi
• [SPARK-36921] [SQL] Dukungan interval ANSI olehDIV
• [SPARK-36794] [SQL] Abaikan kunci gabungan duplikat saat membangun relasi untuk gabungan hash SEMI/ANTI shuffled
• [SPARK-36867] [SQL] Perbaiki pesan kesalahan dengan alias GROUP BY
• [SPARK-36914] [SQL] Menerapkan dropIndex dan listIndexes di JDBC (dialek MySQL)
• [SPARK-35531] [SQL] Langsung berikan tabel sarang ke HiveClient saat panggilan getPartitions untuk menghindari konversi yang tidak perlu dari HiveTable -> CatalogTable - -> HiveTable
• [SPARK-36718] [SQL] Hanya meruntuhkan proyek jika kita tidak menduplikasi ekspresi mahal
• [SPARK-37046] [SQL]: Ubah tampilan tidak mempertahankan kasus kolom
• [SPARK-36978] [SQL] Aturan InferConstraints harus membuat batasan IsNotNull pada bidang bersarang yang diakses alih-alih jenis bersarang akar
• [SPARK-37052] [CORE] Spark hanya boleh meneruskan argumen bertele-tele ke kelas utama saat sql shell
• [SPARK-37017] [SQL] Kurangi cakupan sinkronisasi untuk mencegah potensi kebuntuan
• [SPARK-37032] [SQL] Perbaiki link sintaks SQL yang rusak di halaman Referensi SQL
• [SPARK-36905][SQL] Memperbaiki tampilan sarang baca tanpa nama kolom eksplisit
• [SPARK-36678] Migrate SHOW TABLES untuk menggunakan perintah V2 secara default
• [SPARK-36943] [SQL] Meningkatkan keterbacaan pesan kesalahan kolom yang hilang
• [SPARK-36980] [SQL] Sisipkan kueri dukungan dengan CTE
• [SPARK-37001] [SQL] Nonaktifkan dua tingkat peta untuk agregasi hash akhir secara default
• [SPARK-36970] [SQL] Format B dari date_format fungsi cacat manual untuk membuat Java 17 kompatibel dengan Java 8
• [SPARK-36546] [SQL] Tambahkan dukungan array ke penyatuan berdasarkan nama
• [SPARK-36979] [SQL] Tambahkan Aturan RewriteLateralSubquery ke dalam nonExcludableRules
• [SPARK-36949] [SQL] Melarang tabel penyedia Hive dengan interval ANSI
• [SPARK-36849] [SQL] Migrasikan UseStatement ke kerangka perintah v2
• [SPARK-36868] [SQL] Migrasikan CreateFunctionStatement ke kerangka perintah v2
• [SPARK-36841] [SQL] Tambahkan sintaks set catalog xxx ansi untuk mengubah katalog saat ini
• [SPARK-36821] [SQL] Membuat kelas ColumnarBatch dapat diperpanjang - adendum
• [SPARK-36963] [SQL] Tambahkan max_by/min_by ke sql.functions
• [SPARK-36913] [SQL] Menerapkan createIndex dan IndexExists dalam DS V2 JDBC (dialek MySQL)
• [SPARK-36848] [SQL] Migrasikan ShowCurrentNamespaceStatement ke kerangka perintah v2
• [SPARK-36526] [SQL] Dukungan Indeks DSV2: Tambahkan antarmuka supportsIndex
• [SPARK-36960] [SQL] Filter pushdown dengan nilai interval ANSI ke ORC
• [SPARK-36929] [SQL] Hapus Metode yang Tidak Digunakan HilangkanSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Dukungan membaca dan menulis interval ANSI dari/ke sumber data ORC
• [SPARK-34980] [SQL] Dukungan partisi penggabungan melalui serikat pekerja di AQE
• [SPARK-36809] [SQL] Hapus siaran untuk InSubqueryExec yang digunakan di DPP
• [SPARK-36813] [SQL][PYTHON] Usulkan infrastruktur sebagai gabungan dan imlement ps.merge_asof
• [SPARK-36918] [SQL] Abaikan jenis saat membandingkan struktur untuk unionByName
• [SPARK-36891] [SQL] Refactor SpecificParquetRecordReaderBase dan menambahkan lebih banyak cakupan pada decoding Parquet vektor
• [SPARK-36920] [SQL] Dukungan interval ANSI olehABS()
• [SPARK-36888] [SQL] menambahkan kasus uji untuk fungsi sha2
• [SPARK-36889] [SQL] Respect spark.sql.parquet.filterPushdown oleh pembuat pemindaian parquet v2
• [SPARK-36830] [SQL] Dukungan membaca dan menulis interval ANSI dari/ke JavaScript Object Notation sumber data
• [SPARK-36870] [SQL] Perkenalkan kelas kesalahan INTERNAL_ERROR
• [SPARK-36831] [SQL] Dukungan membaca dan menulis interval ANSI dari/ke sumber data CSV.
• [SPARK-36550] [SQL] Penyebab propagasi ketika refleksi UDF gagal
• [SPARK-36866] [SQL] Filter pushdown dengan nilai interval ANSI untuk parquet
• [SPARK-33832] [SQL] Penyimpangan Force bergabung dengan penyederhanaan dan peningkatan kode
• [SPARK-36642] [SQL] Tambahkan API pyspark df.withMetadata
• [SPARK-35765] [SQL] Aggs yang berbeda tidak sensitif terhadap duplikat
• [SPARK-36825] [SQL] Baca/tulis dataframe dengan interval ANSI dari/ke file parquet
• [SPARK-36829] [SQL] Periksa refaktor NULL untuk collectionOperation
• [SPARK-32712] [SQL] Dukungan penulisan tabel bucket Hive (format file Apache Hive dengan hash Apache Hive)
• [SPARK-36797] [SQL] Union harus menyelesaikan kolom bersarang sebagai kolom tingkat atas
• [SPARK-36838] [SQL] Tingkatkan performa kode yang dihasilkan InSet
• [SPARK-36683] [SQL] Tambahkan fungsi SQL bawaan baru: SEC dan CSC
• [SPARK-36721] [SQL] Sederhanakan kesetaraan boolean jika satu sisi literal
• [SPARK-36760] [SQL] Tambahkan antarmuka SupportsPushDownV2Filters
• [SPARK-36652] [SQL] Pemilihan gabungan dinamis AQE tidak boleh berlaku untuk bergabung non-equi
• [SPARK-36745] [SQL] ExtractEquiJoinKeys harus mengembalikan predikat asli pada tombol gabungan
• [SPARK-36107] [SQL] Refaktor set pertama dari 20 kesalahan eksekusi kueri untuk menggunakan kelas kesalahan
• [SPARK-32709] [SQL] Dukungan penulisan tabel bucket Apache Hive (format Parquet/ORC dengan hash Apache Hive)
• [SPARK-36735] [SQL] Sesuaikan overhead relasi cache untuk DPP
• [SPARK-33832] [SQL] Dukungan mengoptimalkan gabungan miring bahkan jika memperkenalkan shuffle ekstra
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec harus menggunakan semua kondisi alih-alih kondisi non-equi
• [SPARK-35221] [SQL] Tambahkan pemeriksaan petunjuk gabungan yang didukung
• [SPARK-36814] [SQL] Membuat kelas ColumnarBatch dapat diperpanjang
• [SPARK-36663] [SQL] Dukungan nama kolom khusus nomor di sumber data ORC
• [SPARK-36751] [SQL][PYTHON][R] Tambahkan API bit/octet_length ke API Scala, Python, dan R
• [SPARK-36733] [SQL] Perbaiki masalah performa di SchemaPruning saat struktur memiliki banyak bidang
• [SPARK-36724] [SQL] Dukungan timestamp_ntz sebagai jenis kolom waktu untuk SessionWindow
• [SPARK-36556] [SQL] Tambahkan filter DSV2
• [SPARK-36687] [SQL][CORE] Mengganti nama kelas kesalahan dengan akhiran _ERROR
• [SPARK-35803] [SQL] Dukungan DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] Tambahkan df.withMetadata: suger sintaks untuk memperbarui metadata dataframe

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 10.1.

Lingkungan sistem

• Sistem Operasi: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R : 4.1.1
• Delta Lake: 1.0.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R dipasang dari snapshot Microsoft CRAN pada 26-10-2021.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)