Databricks Runtime 11.0 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 11.0, didukung oleh Apache Spark 3.3.0. Databricks merilis versi ini pada Juni 2022.

Fitur dan peningkatan baru

• Versi baru Apache Spark
• Notebook Python sekarang menggunakan kernel IPython
• Dukungan untuk ipywidgets
• Konektor Synapse sekarang menulis data Parquet dalam mode non-warisan
• Skema HTTPS sekarang diberlakukan ketika klien ABFS menggunakan token SAS
• SQL: DESC sekarang menjadi alias untuk DESCRIBE
• SQL: Detail versi output fungsi baru current_version
• Menghilangkan batasan tabel Delta yang hilang sekarang menimbulkan kesalahan
• SQL: Klausa baru EXCEPT dalam SELECT pernyataan mengecualikan kolom dari pilihan
• Dukungan untuk menghilangkan kolom dalam tabel Delta (Pratinjau Umum)
• COPY INTO Perbaikan
• CONVERT TO DELTA sekarang didukung di lingkungan yang diaktifkan Katalog Unity (Pratinjau Umum)

Versi baru Apache Spark

Databricks Runtime 11.0 dan Databricks Runtime 11.0 Photon termasuk Apache Spark 3.3.0. Untuk detailnya, lihat Apache Spark.

Notebook Python sekarang menggunakan kernel IPython

Di Runtime Databricks 11.0 ke atas, notebook Python menggunakan kernel IPython untuk menjalankan kode Python. Lihat kernel IPython.

Dukungan untuk ipywidgets

Sekarang Anda dapat menggunakan ipywidgets untuk membuat notebook Databricks Python Anda interaktif. Lihat ipywidgets.

Konektor Synapse sekarang menulis data Parquet dalam mode non-warisan

Konektor Azure Synapse sekarang menulis data Parquet dalam mode non-warisan. Ini mempertahankan format tanda INT96 waktu saat menggunakan PolyBase dan COPY perintah untuk beban kerja batch dan streaming.

Skema HTTPS kini diberlakukan ketika klien ABFS menggunakan token SAS

Ketika klien Azure Blob File System (ABFS) menggunakan token Tanda Tangan Akses Bersama (SAS), skema HTTPS sekarang diberlakukan.

SQL: DESC kini merupakan alias untuk DESCRIBE

Sekarang Anda dapat menggunakan DESC sebagai alias DESCRIBE saat Anda menjelaskan lokasi eksternal atau kredensial penyimpanan. Contohnya:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Detail versi output fungsi current_version baru

Fungsi baru current_version menghasilkan versi Databricks Runtime saat ini jika tersedia, versi Databricks SQL saat ini jika tersedia, dan detail versi terkait lainnya. Gunakan fungsi baru ini untuk mengkueri informasi terkait versi. Lihat fungsi current_version.

Menghilangkan batasan tabel Delta yang hilang kini menimbulkan kesalahan

Jika Sekarang Anda mencoba menghilangkan batasan tabel Delta berdasarkan nama, dan batasan tersebut tidak ada, Anda akan mendapatkan kesalahan. Untuk mendapatkan perilaku sebelumnya, yang tidak melemparkan kesalahan jika batasan tidak ada, Anda sekarang harus menggunakan pernyataan.IF EXISTS Lihat ALTER TABLE.

SQL: Klausa EXCEPT baru dalam pernyataan SELECT mengecualikan kolom dari pilihan

SELECT pernyataan sekarang mendukung EXCEPT klausul untuk mengecualikan kolom dari pilihan. Misalnya, SELECT * EXCEPT (x) FROM table mengembalikan semua tablekolom kecuali x. Kolom berlapis juga diizinkan. Misalnya, SELECT * EXCEPT (x.a) FROM table mengembalikan semua tablekolom tetapi menghilangkan bidang a dari struct x.

Dukungan untuk menghilangkan kolom dalam tabel Delta (Pratinjau Umum)

Anda dapat menggunakan ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> atau ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) untuk menghapus kolom atau daftar kolom, masing-masing, dari tabel Delta sebagai operasi khusus metadata. Kolom secara efektif "dihapus sementara", karena masih berada dalam file Parquet yang mendasar tetapi tidak lagi terlihat oleh tabel Delta.

Anda dapat menggunakan REORG TABLE <table-name> APPLY (PURGE) untuk memicu penulisan ulang file pada file yang berisi data yang dihapus sementara seperti kolom yang dihilangkan.

Anda dapat menggunakan VACUUM untuk menghapus file yang dihapus dari penyimpanan fisik, termasuk file lama yang berisi kolom yang dihilangkan dan telah ditulis ulang oleh REORG TABLE.

Peningkatan COPY INTO

Anda sekarang dapat membuat tabel Delta tempat penampung kosong sehingga skema kemudian disimpulkan selama COPY INTO perintah:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Pernyataan SQL sebelumnya idempotomatis dan dapat dijadwalkan untuk dijalankan untuk menyerap data tepat sekali ke dalam tabel Delta.

Jika data yang Anda serap tidak dapat dibaca karena beberapa masalah kerusakan, Anda dapat melewati file yang rusak dengan mengatur ignoreCorruptFiles ke true di FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Perintah COPY INTO mengembalikan jumlah file yang dilewati karena kerusakan dalam num_skipped_corrupt_files kolom. Metrik ini juga muncul di kolom di operationMetrics bawah numSkippedCorruptFiles setelah Anda menjalankan DESCRIBE HISTORY pada tabel Delta.

File yang rusak tidak dilacak oleh COPY INTO, sehingga dapat dimuat ulang dalam proses berikutnya jika kerusakan diperbaiki. Anda dapat melihat file mana yang rusak dengan berjalan COPY INTO dalam VALIDATE mode.

CONVERT TO DELTA sekarang didukung di lingkungan yang diaktifkan Katalog Unity (Pratinjau Umum)

Di lingkungan yang mendukung Unity-Catalog, dengan CONVERT TO DELTA Anda sekarang dapat:

• Konversikan file Parquet di lokasi eksternal ke Delta Lake.
• Konversi tabel eksternal Parquet ke tabel Delta.

Perubahan perilaku

• SQL: lpad dan rpad fungsi sekarang mendukung urutan byte
• Format string dalam format_string dan printf tidak lagi memungkinkan %0$
• Nilai null dalam file CSV sekarang ditulis sebagai string kosong yang tidak dikutip secara default
• Properti external tabel sekarang dicadangkan
• Log4j ditingkatkan dari Log4j 1 ke Log4j 2
• Pustaka yang diinstal dari Maven sekarang diselesaikan di bidang komputasi Anda secara default

SQL: lpad dan rpad fungsi sekarang mendukung urutan byte

Fungsi lpad dan rpad telah diperbarui untuk menambahkan dukungan untuk urutan byte selain string.

Format string dalam format_string dan printf tidak lagi memungkinkan %0$

Menentukan format %0$ dalam format_string fungsi dan printf sekarang melemparkan kesalahan secara default. Perubahan ini untuk mempertahankan perilaku yang diharapkan dengan versi Databricks Runtime sebelumnya dan database pihak ketiga umum. Argumen pertama harus selalu mereferensikan %1$ saat Anda menggunakan indeks argumen untuk menunjukkan posisi argumen dalam daftar argumen.

Nilai null dalam file CSV sekarang ditulis sebagai string kosong yang tidak dikutip secara default

Nilai null dalam file CSV sebelumnya ditulis sebagai string kosong yang dikutip. Dengan rilis ini, nilai null dalam file CSV sekarang ditulis sebagai string kosong yang tidak dikutip secara default. Untuk mengubah kembali ke perilaku sebelumnya, atur opsi ke nullValue untuk "" operasi tulis.

Properti external tabel sekarang dicadangkan

Properti external sekarang menjadi properti tabel yang dipesan secara default. Pengecualian sekarang dilemparkan ketika Anda menggunakan external properti dengan CREATE TABLE ... TBLPROPERTIES klausul dan ALTER TABLE ... SET TBLPROPERTIES .

Log4j ditingkatkan dari Log4j 1 ke Log4j 2

Log4j 1 sedang ditingkatkan ke Log4j 2. Dependensi Log4j 1 warisan sedang dihapus.

Jika Anda bergantung pada kelas Log4j 1 yang sebelumnya disertakan di dalam Databricks Runtime, kelas tersebut tidak lagi ada. Anda harus meningkatkan dependensi Anda ke Log4j 2.

Jika Anda memiliki plugin kustom atau file konfigurasi yang bergantung pada Log4j 2, plugin tersebut mungkin tidak lagi berfungsi dengan versi Log4j 2 dalam rilis ini. Untuk bantuan, hubungi tim akun Azure Databricks Anda.

Pustaka yang diinstal dari Maven sekarang diselesaikan di bidang komputasi Anda secara default

Pustaka Maven sekarang menyelesaikan di bidang komputasi Anda secara default saat Anda menginstal pustaka pada kluster. Kluster Anda harus memiliki akses ke Maven Central. Atau, Anda dapat kembali ke perilaku sebelumnya dengan mengatur properti konfigurasi Spark:

spark.databricks.libraries.enableMavenResolution false

Perbaikan bug

• Kompatibilitas biner untuk LeafNode, UnaryNode, dan BinaryNode antara Apache Spark dan Databricks Runtime telah diperbaiki dan kelas sekarang kompatibel dengan Apache Spark 3.3.0 ke atas. Jika Anda menemukan pesan berikut atau serupa saat menggunakan paket pihak ketiga dengan Databricks Runtime, bangun kembali paket dengan Apache Spark 3.3.0 atau lebih tinggi: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • platformdir dari 2.5.1 hingga 2.5.2
  • protobuf dari 3.20.0 hingga 3.20.1
• Pustaka R yang ditingkatkan:
  • blob dari 1.2.2 hingga 1.2.3
  • sapu dari 0,7,12 hingga 0,8,0
  • caret dari 6,0-91 hingga 6,0-92
  • cli dari 3.2.0 hingga 3.3.0
  • dplyr dari 1.0.8 hingga 1.0.9
  • dari 1.24.0 hingga 1.25.0
  • future.apply dari 1.8.1 hingga 1.9.0
  • gert dari 1.5.0 hingga 1.6.0
  • ggplot2 dari 3.3.5 ke 3.3.6
  • glmnet dari 4,1-3 hingga 4,1-4
  • dari 2.4.3 hingga 2.5.0
  • httr dari 1.4.2 hingga 1.4.3
  • rajutan dari 1,38 hingga 1,39
  • magrittr dari 2.0.2 hingga 2.0.3
  • secara paralel dari 1.30.0 hingga 1.31.1
  • ps dari 1.6.0 ke 1.7.0
  • RColorBrewer dari 1,1-2 ke 1,1-3
  • RcppEigen dari 0.3.3.9.1 ke 0.3.3.9.2
  • readxl dari 1.3.1 hingga 1.4.0
  • rmarkdown dari 2.13 ke 2.14
  • rprojroot dari 2.0.2 ke 2.0.3
  • RSQLite dari 2.2.11 ke 2.2.13
  • skala dari 1.1.1 ke 1.2.0
  • testthat dari 3.1.2 ke 3.1.4
  • tibble dari 3.1.6 ke 3.1.7
  • tinytex dari 0,37 hingga 0,38
  • tzdb dari 0.2.0 hingga 0.3.0
  • uuid dari 1,0-4 hingga 1,1-0
  • vctrs dari 0.3.8 hingga 0.4.1
• Pustaka Java yang ditingkatkan:
  • com.fasterxml.jackson.core.jackson-anotasi dari 2.13.0 hingga 2.13.3
  • com.fasterxml.jackson.core.jackson-core dari 2.13.0 ke 2.13.3
  • com.fasterxml.jackson.core.jackson-databind dari 2.13.0 hingga 2.13.3
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.13.0 hingga 2.13.3
  • com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.13.0 hingga 2.13.3
  • com.fasterxml.jackson.module.jackson-module-paranamer dari 2.13.0 hingga 2.13.3
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 dari 2.13.0 hingga 2.13.3
  • com.google.crypto.tink.tink dari 1.6.0 hingga 1.6.1
  • com.ning.compress-lzf dari 1.0.3 hingga 1.1
  • dev.ludovic.netlib.arpack dari 2.2.0 ke 2.2.1
  • dev.ludovic.netlib.blas dari 2.2.0 ke 2.2.1
  • dev.ludovic.netlib.lapack dari 2.2.0 ke 2.2.1
  • io.netty.netty-all dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-buffer dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-codec dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-common dari 4.1.73.Final hingga 4.1.74.Final
  • io.netty.netty-handler dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-resolver dari 4.1.73.Final ke 4.1.74.Final
  • kelas io.netty.netty-tcnative dari 2.0.46.Final hingga 2.0.48.Final
  • io.netty.netty-transport dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-transport-classes-epoll dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-transport-classes-kqueue dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-aarch_64 dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-x86_64 dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-aarch_64 dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-x86_64 dari 4.1.73.Final ke 4.1.74.Final
  • io.netty.netty-transport-native-unix-common dari 4.1.73.Final ke 4.1.74.Final
  • joda-time.joda-time dari 2.10.12 hingga 2.10.13
  • org.apache.commons.commons-math3 dari 3.4.1 hingga 3.6.1
  • org.apache.httpcomponents.httpcore dari 4.4.12 ke 4.4.14
  • org.apache.orc.orc-core dari 1.7.3 ke 1.7.4
  • org.apache.orc.orc-mapreduce dari 1.7.3 ke 1.7.4
  • org.apache.orc.orc-shims dari 1.7.3 hingga 1.7.4
  • org.eclipse.jetty.jetty-client dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.jetty-continuation dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.jetty-http dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.jetty-io dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
  • org.eclipse.jetty.jetty-jndi dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
  • org.eclipse.jetty.jetty-plus dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
  • org.eclipse.jetty.jetty-proxy dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
  • org.eclipse.jetty.jetty-security dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
  • org.eclipse.jetty.jetty-server dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlet dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlets dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util-ajax dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
  • org.eclipse.jetty.jetty-webapp dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.jetty-xml dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-api dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-client dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-common dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-server dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-servlet dari 9.4.43.v20210629 ke 9.4.46.v20220331
  • org.mariadb.jdbc.mariadb-java-client dari 2.2.5 hingga 2.7.4
  • org.postgresql.postgresql dari 42.2.19 ke 42.3.3
  • org.roaringbitmap.RoaringBitmap dari 0.9.23 ke 0.9.25
  • org.roaringbitmap.shims dari 0.9.23 hingga 0.9.25
  • org.rocksdb.rocksdbjni dari 6.20.3 hingga 6.24.2
  • org.slf4j.jcl-over-slf4j dari 1.7.32 menjadi 1.7.36
  • org.slf4j.jul-to-slf4j dari 1.7.32 menjadi 1.7.36
  • org.slf4j.slf4j-api dari 1.7.30 ke 1.7.36

Apache Spark

Databricks Runtime 11.0 menyertakan Apache Spark 3.3.0.

Di bagian ini:

• Spark SQL dan Core
• Streaming Terstruktur
• PySpark
• MLLIB
• SparkR
• UI
• Build

Spark SQL dan Core

Mode ANSI

• Aturan sintaksis cast eksplisit baru dalam mode ANSI (SPARK-33354)
• Elt() harus mengembalikan null jika indeks null di bawah mode ANSI (SPARK-38304)
• Secara opsional mengembalikan hasil null jika elemen tidak ada dalam array/peta (SPARK-37750)
• Izinkan transmisi antara jenis numerik dan jenis tanda waktu (SPARK-37714)
• Nonaktifkan kata kunci cadangan ANSI secara default (SPARK-37724)
• Gunakan aturan penetapan penyimpanan untuk menyelesaikan pemanggilan fungsi (SPARK-37438)
• Menambahkan konfigurasi untuk memungkinkan transmisi antara Datetime dan Numerik (SPARK-37179)
• Menambahkan konfigurasi untuk secara opsional memberlakukan kata kunci yang dipesan ANSI (SPARK-37133)
• Melarang operasi biner antara Interval dan String literal (SPARK-36508)

Penyempurnaan fitur

• Mendukung jenis INTERVAL SQL ANSI (SPARK-27790)
• Penyempurnaan Pesan Kesalahan (SPARK-38781)
• Dukungan Metadata File Tersembunyi untuk Spark SQL (SPARK-37273)
• Mendukung literal string mentah (SPARK-36371)
• Kelas pembantu untuk batch Dataset.observe() (SPARK-34806)
• Dukungan menentukan nomor partisi awal untuk penyeimbangan ulang (SPARK-38410)
• Mendukung mode kaskade untuk dropNamespace API (SPARK-37929)
• Izinkan penetapan penyimpanan dan transmisi implisit di antara jenis tanggalwaktu (SPARK-37707)
• Kumpulkan, pertama dan terakhir harus berupa fungsi agregat deterministik (SPARK-32940)
• Menambahkan ExpressionBuilder untuk fungsi dengan kelebihan beban kompleks (SPARK-37164)
• Menambahkan dukungan array ke union by name (SPARK-36546)
• Tambahkan df.withMetadata: gula sintaks untuk memperbarui metadata dataframe (SPARK-36642)
• Mendukung literal string mentah (SPARK-36371)
• Gunakan CAST dalam penguraian tanggal/tanda waktu dengan pola default (SPARK-36418)
• Kelas nilai dukungan dalam skema berlapis untuk Himpunan Data (SPARK-20384)
• Menambahkan dukungan sintaks AS OF (SPARK-37219)
• Tambahkan REPEATABLE di TABLESAMPLE untuk menentukan seed (SPARK-37165)
• Menambahkan sintaks set catalog xxx ansi untuk mengubah katalog saat ini (SPARK-36841)
• Mendukung ILIKE (SEMUA | APA SAJA | SOME) - case insensitive LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
• Tahap kueri dukungan memperlihatkan statistik runtime dalam mode penjelasan berformat (SPARK-38322)
• Menambahkan metrik ukuran tumpahan untuk gabungan gabungan sortir (SPARK-37726)
• Perbarui sintaks SQL SHOW FUNCTIONS (SPARK-37777)
• Mendukung sintaks DROP COLUMN [JIKA ADA] (SPARK-38939)
• Fungsi bawaan baru dan ekstensinya (SPARK-38783)
  • Tanggalwaktu
    • Menambahkan fungsi TIMESTAMPADD() (SPARK-38195)
    • Menambahkan fungsi TIMESTAMPDIFF() (SPARK-38284)
    • DATEDIFF() Menambahkan alias untuk TIMESTAMPDIFF() (SPARK-38389)
    • DATEADD() Tambahkan alias untuk TIMESTAMPADD() (SPARK-38332)
    • convert\_timezone() Tambahkan fungsi (SPARK-37552, SPARK-37568)
    • Mengekspos ekspresi make_date di functions.scala (SPARK-36554)
  • Fungsi AES (SPARK-12567)
    • Menambahkan fungsi bawaan aes_encrypt dan aes_decrypt (SPARK-12567)
    • Mendukung mode GCM berdasarkan aes\_encrypt()/aes\_decrypt() (SPARK-37591)
    • Atur GCM sebagai mode default di aes\_encrypt()/aes\_decrypt() (SPARK-37666)
    • mode Tambahkan arg dan padding ke aes\_encrypt()/aes\_decrypt()(SPARK-37586)
  • Fungsi Agregasi ANSI (SPARK-37671)
    • Mendukung Fungsi Agregat ANSI: regr_count (SPARK-37613)
    • Mendukung Fungsi Agregat ANSI: regr_avgx & regr_avgy (SPARK-37614)
    • Mendukung Fungsi Agregasi ANSI: percentile_cont (SPARK-37676, SPARK-38219)
    • Mendukung Fungsi Agregasi ANSI: percentile_disc (SPARK-37691)
    • Mendukung Fungsi Agregat ANSI: regr_count (SPARK-37613)
    • Mendukung Fungsi Agregat ANSI: array_agg (SPARK-27974)
    • Mendukung Fungsi Agregat ANSI: regr_r2 (SPARK-37641)
    • Fungsi SQL baru: try_avg (SPARK-38589)
  • Koleksi
    • Memperkenalkan ARRAY_SIZE fungsi SQL (SPARK-38345)
    • Fungsi SQL baru: map_contains_key (SPARK-37584)
    • Fungsi SQL baru: try_element_at (SPARK-37533)
    • Fungsi SQL baru: try_sum (SPARK-38548)
  • Format
    • Tambahkan fungsi SQL baru to_binary (SPARK-37507, SPARK-38796)
    • Fungsi SQL baru: try_to_binary (SPARK-38590, SPARK-38796)
    • Fungsi Pemformatan Tipe Data: to\_number (SPARK-28137)
  • String/Biner
    • Menambahkan fungsi string CONTAINS() (SPARK-37508)
    • startswith() Menambahkan fungsi string dan endswith() (SPARK-37520)
    • Menambahkan fungsi lpad dan rpad untuk string biner (SPARK-37047)
    • Mendukung Fungsi split_part (SPARK-38063)
  • Menambahkan parameter skala ke fungsi lantai dan langit-langit (SPARK-37475)
  • Fungsi SQL baru: try_subtract dan try_multiply (SPARK-38164)
  • Menerapkan fungsi agregasi histogram_numeric yang mendukung agregasi parsial (SPARK-16280)
  • Menambahkan max_by/min_by ke sql.functions (SPARK-36963)
  • Menambahkan fungsi SQL bawaan baru: SEC dan CSC (SPARK-36683)
  • array_intersect menangani Double.NaN dan Float.NaN duplikat (SPARK-36754)
  • Menambahkan cot sebagai fungsi Scala dan Python (SPARK-36660)

peningkatan performa

• Pembuatan kode seluruh tahap
  • Menambahkan code-gen untuk pengurutan agregat tanpa mengelompokkan kunci (SPARK-37564)
  • Menambahkan code-gen untuk gabungan gabungan pengurutan luar penuh (SPARK-35352)
  • Menambahkan code-gen untuk gabungan hash terkocok luar penuh (SPARK-32567)
  • Menambahkan code-gen untuk gabungan gabungan sortir keberadaan (SPARK-37316)
• Dorong ke bawah (filter)
  • Mendorong ke bawah filter melalui RebalancePartitions (SPARK-37828)
  • Mendorong ke bawah filter kolom boolean (SPARK-36644)
  • Dorong ke bawah batas 1 untuk sisi kanan gabungan semi/anti kiri jika kondisi gabungan kosong (SPARK-37917)
  • Menerjemahkan fungsi agregat yang lebih standar untuk pushdown (SPARK-37527)
  • Dukungan menyebarkan hubungan kosong melalui agregat/gabungan (SPARK-35442)
  • Pemfilteran Runtime tingkat baris (SPARK-32268)
  • Mendukung Gabungan Semi Kiri dalam filter runtime tingkat baris (SPARK-38565)
  • Mendukung pendorongan predikat dan pemangkasan kolom untuk CTE yang dicabut (SPARK-37670)
• Vektorisasi
  • Menerapkan ConstantColumnVector dan meningkatkan performa metadata file tersembunyi (SPARK-37896)
  • Aktifkan pembacaan vektorisasi untuk VectorizedPlainValuesReader.readBooleans (SPARK-35867)
• Gabungkan/hapus/ganti simpul
  • Gabungkan serikat kerja jika ada proyek di antara mereka (SPARK-37915)
  • Gabungkan ke satu cast jika kita dapat dengan aman meningkatkan dua cast (SPARK-37922)
  • Hapus Sortir jika merupakan turunan dari RepartitionByExpression (SPARK-36703)
  • Menghapus gabungan luar jika hanya memiliki DISTINCT di sisi yang dialirkan dengan alias (SPARK-37292)
  • Ganti hash dengan agregat pengurutan jika anak sudah diurutkan (SPARK-37455)
  • Hanya ciutkan proyek jika kita tidak menduplikasi ekspresi mahal (SPARK-36718)
  • Menghapus alias redundan setelah RewritePredicateSubquery (SPARK-36280)
  • Menggabungkan subkueri skalar yang tidak berkorelasi (SPARK-34079)
• Partisi
  • Jangan tambahkan pemangkasan partisi dinamis jika ada pemangkasan partisi statis (SPARK-38148)
  • Meningkatkan RebalancePartitions dalam aturan Pengoptimal (SPARK-37904)
  • Menambahkan faktor partisi kecil untuk partisi penyeimbangan ulang (SPARK-37357)
• Ikat
  • Menyempurnakan logika untuk mendemosi gabungan hash Siaran di DynamicJoinSelection (SPARK-37753)
  • Abaikan kunci gabungan duplikat saat membangun relasi untuk gabungan hash acak SEMI/ANTI (SPARK-36794)
  • Dukungan mengoptimalkan gabungan miring bahkan jika memperkenalkan pengacakan ekstra (SPARK-33832)
• AQE
  • Dukungan menghilangkan batas dalam Pengoptimal AQE (SPARK-36424)
  • Optimalkan satu paket baris dalam normal dan Pengoptimal AQE (SPARK-38162)
• Aggregate.groupOnly mendukung ekspresi yang dapat dilipat (SPARK-38489)
• ArrayEquals ByteArrayMethods harus cepat melewati pemeriksaan penyelarasan dengan platform yang tidak sejajar (SPARK-37796)
• Menambahkan pemangkasan pola pohon ke aturan CTESubstitution (SPARK-37379)
• Menambahkan lebih banyak Penyederhanaan operator Not (SPARK-36665)
• Mendukung BooleanType di UnwrapCastInBinaryComparison (SPARK-36607)
• Coalesce menghapus semua ekspresi setelah ekspresi pertama yang tidak dapat diubah ke null (SPARK-36359)
• Menambahkan pengunjung rencana logis untuk menyebarluaskan atribut yang berbeda (SPARK-36194)

Penyempurnaan konektor bawaan

• Umum
  • Serialisasi lenient datetime dari sumber data (SPARK-38437)
  • Perlakukan lokasi tabel sebagai absolut ketika huruf pertama jalurnya di garis miring dalam tabel buat/ubah (SPARK-38236)
  • Menghapus nol di depan dari partisi tipe angka statis kosong (SPARK-35561)
  • Dukungan ignoreCorruptFiles dan ignoreMissingFiles dalam opsi Sumber Data (SPARK-38767)
  • Tambahkan perintah SHOW CATALOGS (SPARK-35973)
• Parket
  • Aktifkan nama kolom skema yang cocok menurut id bidang (SPARK-38094)
  • Hapus nama bidang pemeriksaan saat membaca/menulis data dalam parket (SPARK-27442)
  • Mendukung nilai boolean baca vektorisasi menggunakan pengodean RLE dengan Parquet DataPage V2 (SPARK-37864)
  • Mendukung pengodean halaman data Parquet v2 (DELTA_BINARY_PACKED) untuk jalur vektorisasi (SPARK-36879)
  • Rebase tanda waktu di zona waktu sesi yang disimpan dalam metadata Parquet/Avro (SPARK-37705)
  • Mendorong ke bawah grup menurut kolom partisi untuk agregat (SPARK-36646)
  • Agregat (Min/Maks/Hitungan) turun untuk Parquet (SPARK-36645)
  • Parquet: aktifkan kolom skema yang cocok menurut id bidang (SPARK-38094)
  • Kurangi ukuran halaman default dengan LONG_ARRAY_OFFSET jika G1GC dan ON_HEAP digunakan (SPARK-37593)
  • Menerapkan pengodean DELTA_BYTE_ARRAY dan DELTA_LENGTH_BYTE_ARRAY vektorisasi untuk dukungan Parquet V2 (SPARK-37974)
  • Mendukung jenis kompleks untuk pembaca vektor Parquet (SPARK-34863)
• ORC
  • Hapus nama bidang pemeriksaan saat membaca/menulis data yang ada di Orc (SPARK-37965)
  • Pendorongan agregat ke bawah untuk ORC (SPARK-34960)
  • Mendukung pembacaan dan penulisan interval ANSI dari/ke sumber data ORC (SPARK-36931)
  • Mendukung nama kolom khusus nomor di sumber data ORC (SPARK-36663)
• JSON
  • Menghormati allowNonNumericNumbers saat mengurai nilai NaN dan Infinity yang dikutip di pembaca JSON (SPARK-38060)
  • Gunakan CAST untuk tanggalwaktu di CSV/JSON secara default (SPARK-36536)
  • Menyelaraskan pesan kesalahan untuk jenis kunci yang tidak didukung di MapType di pembaca Json (SPARK-35320)
• CSV
  • Perbaikan mengacu pada kolom rekaman yang rusak dari CSV (SPARK-38534)
  • nilai null harus disimpan sebagai tidak ada daripada String kosong yang dikutip "" secara default (SPARK-37575)
• JDBC
  • Tambahkan pernyataan IMMEDIATE ke implementasi pemotongan dialek DB2 (SPARK-30062)
• Apache Hive
  • Dukungan menulis tabel wadah Apache Hive (format file Apache Hive dengan hash Apache Hive) (SPARK-32712)
  • Menggunakan ekspresi untuk memfilter partisi Apache Hive di sisi klien (SPARK-35437)
  • Mendukung pemangkasan Partisi Dinamis untuk HiveTableScanExec (SPARK-36876)
  • InsertIntoHiveDir harus menggunakan sumber data jika dapat dikonversi (SPARK-38215)
  • Dukungan menulis tabel wadah Apache Hive (format Parquet/ORC dengan hash Apache Hive) (SPARK-32709)

Penonaktifan node

• FallbackStorage tidak boleh mencoba mengatasi nama host "jarak jauh" arbitrer (SPARK-38062)
• ExecutorMonitor.onExecutorRemoved harus menangani ExecutorDecommission sebagai selesai (SPARK-38023)

Perubahan penting lainnya

• Tambahkan penguncian berbutir halus ke BlockInfoManager (SPARK-37356)
• Mendukung pemetaan jenis sumber daya Spark gpu/fpga ke jenis sumber daya YARN kustom (SPARK-37208)
• Laporkan ukuran blok acak yang akurat jika condong (SPARK-36967)
• Mendukung Pengelogan Netty di lapisan jaringan (SPARK-36719)

Streaming Terstruktur

Fitur Utama

• Memperkenalkan Trigger.AvailableNow untuk menjalankan kueri streaming seperti Trigger.Once dalam beberapa batch (SPARK-36533)

Perubahan penting lainnya

• Gunakan StatefulOpClusteredDistribution untuk operator stateful sehubungan dengan kompatibilitas mundur (SPARK-38204)
• Memperbaiki batas waktu flatMapGroupsWithState dalam batch dengan data untuk kunci (SPARK-38320)
• Memperbaiki masalah kebenaran pada stream-stream outer join dengan penyedia penyimpanan status RocksDB (SPARK-38684)
• Mendukung Trigger.AvailableNow pada sumber data Kafka (SPARK-36649)
• Optimalkan jalur tulis pada penyedia penyimpanan status RocksDB (SPARK-37224)
• Memperkenalkan sumber data baru untuk menyediakan sekumpulan baris yang konsisten per microbatch (SPARK-37062)
• Gunakan HashClusteredDistribution untuk operator stateful sehubungan dengan kompatibilitas mundur (SPARK-38204)

PySpark

API Panda pada Spark

Peningkatan besar

• Pengoptimalan indeks 'urutan terdistribusi' dengan default (SPARK-36559, SPARK-36338)
  • Dukungan untuk menentukan jenis indeks dan nama dalam PANDAS API di Spark (SPARK-36709)
  • Tampilkan jenis indeks default dalam paket SQL untuk API panda di Spark (SPARK-38654)

Fitur Utama

• Menerapkan ps.merge_asof asli SparkSQL (SPARK-36813)
• Mendukung TimedeltaIndex di PANDAS API di Spark (SPARK-37525)
• Mendukung timedelta Python (SPARK-37275, SPARK-37510)
• Menerapkan fungsi dalam CategoricalAccessor/CategoricalIndex (SPARK-36185)
• Menggunakan formatter string standar Python untuk SQL API di PANDAS API pada Spark (SPARK-37436)
• Mendukung operasi dasar Seri/Indeks timedelta (SPARK-37510)
• Mendukung ps. MultiIndex.dtypes (SPARK-36930)
• Menerapkan Index.map (SPARK-36469)
• Terapkan Seri.xor dan Series.rxor (SPARK-36653)
• Menerapkan operator invert unary ps integral. Seri/Indeks (SPARK-36003)
• Menerapkan DataFrame.cov (SPARK-36396)
• Mendukung str dan tanda waktu untuk (Seri|DataFrame).describe() (SPARK-37657)
• Mendukung parameter columnlambda DataFrame.rename (SPARK-38763)

Perubahan penting lainnya

Perubahan mencolok

• Hilangkan referensi ke dukungan Python 3.6 di dokumen dan python/docs (SPARK-36977)
• Hapus peretasan bernamatuple dengan mengganti acar bawaan ke cloudpickle (SPARK-32079)
• Bump versi panda minimum ke 1.0.5 (SPARK-37465)
• Peningkatan besar
  • Menyediakan profiler untuk UDF Python/Pandas (SPARK-37443)
  • Menggunakan formatter string standar Python untuk SQL API di PySpark (SPARK-37516)
  • Mengekspos kelas status dan kesalahan SQL dalam pengecualian PySpark (SPARK-36953)
  • Cobalah untuk menangkap faulthanlder ketika pekerja Python crash (SPARK-36062)

Fitur Utama

• Menerapkan DataFrame.mapInArrow di Python (SPARK-37228)
• Menggunakan formatter string standar Python untuk SQL API di PySpark (SPARK-37516)
• Tambahkan df.withMetadata pyspark API (SPARK-36642)
• Mendukung timedelta Python (SPARK-37275)
• Mengekspos tableExists di pyspark.sql.catalog (SPARK-36176)
• Mengekspos databaseExists di pyspark.sql.catalog (SPARK-36207)
• Mengekspos functionExists dalam katalog pyspark sql (SPARK-36258)
• Menambahkan Dataframe.observation ke PySpark (SPARK-36263)
• Menambahkan API max_by/min_by ke PySpark (SPARK-36972)
• Dukungan untuk menyimpulkan dict berlapis sebagai struct saat membuat DataFrame (SPARK-35929)
• Menambahkan API bit/octet_length ke Scala, Python, dan R (SPARK-36751)
• Mendukung ILIKE API di Python (SPARK-36882)
• Menambahkan metode isEmpty untuk Python DataFrame API (SPARK-37207)
• Menambahkan beberapa kolom yang menambahkan dukungan (SPARK-35173)
• Menambahkan SparkContext.addArchive di PySpark (SPARK-38278)
• Membuat reprs jenis sql eval-able (SPARK-18621)
• Petunjuk jenis sebaris untuk fpm.py dalam python/pyspark/mllib (SPARK-37396)
• Parameter implementasi dropnaSeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Fitur Utama

• Menambahkan param distanceMeasure ke trainKMeansModel (SPARK-37118)
• Mengekspos LogisticRegression.setInitialModel, seperti KMeans et al do (SPARK-36481)
• Dukungan CrossValidatorModel mendapatkan simpangan baku metrik untuk setiap paramMap (SPARK-36425)

Peningkatan besar

• Optimalkan beberapa treeAggregates di MLlib dengan menunda alokasi (SPARK-35848)
• Menulis ulang _shared_params_code_gen.py ke petunjuk jenis sebaris untuk ml/param/shared.py (SPARK-37419)

Perubahan penting lainnya

• Pembaruan untuk angin 1.2 (SPARK-35310)

SparkR

• Memigrasikan dokumen SparkR ke pkgdown (SPARK-37474)
• Mengekspos ekspresi make_date dalam R (SPARK-37108)
• Menambahkan API max_by/min_by ke SparkR (SPARK-36976)
• Mendukung ILIKE API pada R (SPARK-36899)
• Menambahkan dtk dan csc sebagai fungsi R (SPARK-36824)
• Menambahkan API bit/octet_length ke Scala, Python, dan R (SPARK-36751)
• Menambahkan cot sebagai fungsi R (SPARK-36688)

UI

• Ringkasan metrik spekulasi pada tingkat tahap (SPARK-36038)
• Waktu blok baca acak terpadu untuk mengacak waktu tunggu pengambilan baca di StagePage (SPARK-37469)
• Menambahkan konfigurasi yang dimodifikasi untuk eksekusi SQL di UI (SPARK-34735)
• Buat ThriftServer mengenali spark.sql.redaction.string.regex (SPARK-36400)
• Lampirkan dan mulai handler setelah aplikasi dimulai di UI (SPARK-36237)
• Menambahkan durasi penerapan ke simpul grafik tab SQL (SPARK-34399)
• Mendukung backend RocksDB di Spark History Server (SPARK-37680)
• Tampilkan opsi untuk Pandas API di Spark di UI (SPARK-38656)
• Ganti nama 'SQL' menjadi 'SQL / DataFrame' di halaman UI SQL (SPARK-38657)

Build

• Migrasi dari log4j 1 ke log4j 2 (SPARK-37814)
• Meningkatkan log4j2 ke 2.17.2 (SPARK-38544)
• Tingkatkan ke Py4J 0.10.9.5 (SPARK-38563)
• Memperbarui ORC ke 1.7.4 (SPARK-38866)
• Memperbarui datatable ke 1.10.25 (SPARK-38924)

Pembaruan pemeliharaan

Lihat Databricks Runtime 11.0 (EoS).

Lingkungan sistem

• Sistem Operasi: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2022-05-06.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)