Databricks Runtime 10.3 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 10.3 dan Databricks Runtime 10.3 Fhoton, yang didukung oleh Apache Spark 3.2.1. Photon berada pada Pratinjau Umum. Databricks merilis versi ini pada Februari 2022.

Fitur dan peningkatan baru

• Penulis Parquet dan Avro kini menggunakan zona waktu sesi saat menentukan basis ulang stempel waktu di sumber data Parquet
• Fungsi baru di Spark SQL
• Gabungan acak rendah sekarang tersedia secara umum
• Fitur COPY INTO baru: mode validasi dan evolusi skema
• Kolom identitas kini didukung di tabel Delta (Pratinjau Umum)

Penulis Parquet dan Avro kini menggunakan zona waktu sesi saat menentukan basis ulang stempel waktu di sumber data Parquet

Penulis Parket dan Avro sekarang menggunakan zona waktu sesi sementara stempel waktu menentukan basis ulang dalam mode legacy sebagai ganti penggunaan zona waktu JVM default. Zona waktu sesi diatur ke zona waktu JVM secara default.

Fungsi baru di Spark SQL

Fungsi SQL Spark berikut sekarang didukung dalam rilis ini:

• aes_decrypt: mendekripsi input menggunakan AES.
• aes_encrypt: mengenkripsi input menggunakan AES.
• contains: menentukan apakah ekspresi berisi ekspresi lain.
• endswith: menentukan apakah ekspresi berakhir dengan ekspresi lain.
• percentile_cont: mengembalikan nilai persentil.
• startswith: menentukan apakah ekspresi dimulai dengan ekspresi lain.

Gabungan acak rendah sekarang tersedia secara umum

Perintah MERGE INTO Delta menggunakan teknik yang disebut gabungan acak rendah, yang mengurangi pengacakan baris yang tidak dimodifikasi. Ini meningkatkan performa perintah dan membantu mempertahankan pengklusteran yang ada pada tabel, seperti pengurutan Z. Fungsi ini diperkenalkan di Databricks Runtime 9.0 untuk Pratinjau Umum dan sekarang telah mencapai ketersediaan umum. Untuk mengaktifkan penggabungan acak rendah, atur spark.databricks.delta.merge.enableLowShuffle ke true. Harap lihat Penggabungan shuffle rendah pada Azure Databricks.

Fitur COPY INTO baru: mode validasi dan evolusi skema

Mode validasi: COPY INTO kini mendukung mode VALIDATE di mana data yang akan dimuat ke dalam tabel divalidasi tetapi tidak ditulis ke tabel. Validasi ini meliputi:

• Apakah data dapat diurai.
• Apakah skema cocok dengan tabel atau jika skema perlu dikembangkan.
• Apakah semua batasan nullability dan cek terpenuhi.

Contoh penggunaan:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Defaultnya adalah memvalidasi semua data yang akan dimuat. Anda dapat memberikan sejumlah baris untuk divalidasi dengan kata kunci ROWS, seperti VALIDATE 15 ROWS. Pernyataan COPY INTO mengembalikan pratinjau data 50 baris atau kurang, ketika jumlah kurang dari 50 digunakan dengan ROWS kata kunci).

Evolusi skema: COPY INTO kini mendukung evolusi skema dengan opsi mergeSchema di COPY_OPTIONS. Untuk mengembangkan skema tabel, Anda harus memiliki izin OWN pada tabel.

Contoh penggunaan:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Lihat COPY INTO.

Kolom identitas kini didukung di tabel Delta (Pratinjau Umum)

Delta Lake sekarang mendukung kolom identitas. Saat Anda menulis ke tabel Delta yang menentukan kolom identitas, dan Anda tidak menyediakan nilai untuk kolom tersebut, Delta sekarang secara otomatis menetapkan nilai yang unik dan meningkat atau menurun secara statistik. Lihat CREATE TABLE [MENGGUNAKAN].

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • distlib dari 0.3.3 ke 0.3.4
  • filelock dari 3.4.0 ke 3.4.2
  • numpy dari 1.19.2 ke 1.20.1
  • plotly dari 5.3.1 ke 5.5.0
• Pustaka R yang ditingkatkan:
  • backports dari 1.4.0 ke 1.4.1
  • brio dari 1.1.2 ke 1.1.3
  • broom dari 0.7.10 ke 0.7.11
  • class dari 7.3-19 ke 7.3-20
  • cpp11 dari 0.4.1 ke 0.4.2
  • DBI dari 1.1.1 ke 1.1.2
  • devtools dari 2.4.2 ke 2.4.3
  • digest dari 0.6.28 ke 0.6.29
  • dtplyr dari 1.1.0 ke 1.2.0
  • fansi dari 0.5.0 ke 1.0.2
  • foreign dari 0.8-81 ke 0.8-82
  • fs dari 1.5.0 ke 1.5.2
  • gert dari 1.4.3 ke 1.5.0
  • glue dari 1.5.0 ke 1.6.0
  • httpuv dari 1.6.3 ke 1.6.5
  • jsonlite dari 1.7.2 ke 1.7.3
  • knitr dari 1.36 ke 1.37
  • MASS dari 7.3-54 ke 7.3-55
  • Matrix dari 1.3-4 ke 1.4-0
  • nlme dari 3.1-152 ke 3.1-155
  • nnet dari 7.3-16 ke 7.3-17
  • openssl dari 1.4.5 ke 1.4.6
  • parallelly dari 1.29.0 ke 1.30.0
  • pkgbuild dari 1.2.0 ke 1.3.1
  • pkgload dari 1.2.3 ke 1.2.4
  • progressr dari 0.9.0 ke 0.10.0
  • Rcpp dari 1.0.7 ke 1.0.8
  • readr dari 2.1.0 ke 2.1.1
  • remotes dari 2.4.1 ke 2.4.2
  • RSQLite dari 2.2.8 ke 2.2.9
  • sessioninfo dari 1.2.1 ke 1.2.2
  • sparklyr dari 1.7.2 ke 1.7.4
  • testthat dari 3.1.0 ke 3.1.1
  • tinytex dari 0.35 ke 0.36
  • usethis dari 2.1.3 ke 2.1.5
  • vroom dari 1.5.6 ke 1.5.7
  • withr dari 2.4.2 ke 2.4.3
  • xfun dari 0.28 ke 0.29
  • xml2 dari 1.3.2 ke 1.3.3
• Pustaka Java yang ditingkatkan:
  • dev.ludovic.netlib.arpack dari 1.3.2 ke 2.2.1
  • dev.ludovic.netlib.blas dari 1.3.2 ke 2.2.1
  • dev.ludovic.netlib.lapack dari 1.3.2 ke 2.2.1
  • io.delta.delta-sharing-spark_2.12 dari 0.2.0 ke 0.3.0

Apache Spark

Databricks Runtime 10.3 mencakup Apache Spark 3.2.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 10.2 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-37896] [SQL] Menerapkan ConstantColumnVector dan meningkatkan performa metadata file tersembunyi
• [SPARK-37924] [SQL] Urutkan properti tabel menurut kunci dalam SHOW CREATE TABLE pada VIEW (v1)
• [SPARK-37636] [SQL] Migrasi CREATE NAMESPACE untuk menggunakan perintah V2 secara default
• [SPARK-37381] [SQL] Unifikasi uji v1 dan v2 SHOW CREATE TABLE
• [SPARK-37876] [CORE][SQL] Memindahkan SpecificParquetRecordReaderBase.listDirectory ke TestUtils
• [SPARK-37854] [CORE] Mengganti pemeriksaan jenis dengan pencocokan pola dalam kode Spark
• [SPARK-36967] [CORE] Melaporkan ukuran blok acak yang akurat jika miring
• [SPARK-37864] [SQL] Mendukung nilai boolean baca vektor menggunakan pengkodean RLE dengan Parquet DataPage V2
• [SPARK-37862] [SQL] RecordBinaryComparator harus segera melewati pemeriksaan penyelarasan dengan platform yang tidak selaras
• [SPARK-37855] [SQL] IllegalStateException saat mengubah array di dalam struct berlapis
• [SPARK-37858] [SQL] Melemparkan SparkRuntimeException dengan kelas kesalahan dari fungsi AES
• [SPARK-37841] [SQL] BasicWriteTaskStatsTracker tidak boleh mencoba mendapatkan status untuk file yang dilewati
• [SPARK-37860] [UI] Memperbaiki taskindex di garis waktu peristiwa tugas halaman tahap
• [SPARK-36879] [SQL] Mendukung pengkodean halaman data Parquet v2 (DELTA_BINARY_PACKED) untuk jalur vektor
• [SPARK-37828] [SQL] Menekan filter melalui RebalancePartitions
• [SPARK-37802] [SQL][3.2] Nama bidang komposit harus berfungsi dengan dorongan Agregat
• [SPARK-37826] [SQL] Menggunakan nama codec zstd dalam nama file ORC untuk hive orc impl
• [SPARK-37820] [SQL] Mengganti ApacheCommonBase64 dengan JavaBase64 untuk fungsi string
• [SPARK-37832] [SQL] Konverter struct Orc harus menggunakan array untuk mencari konverter bidang sebagai ganti daftar tertaut
• [SPARK-37786] [SQL] Dukungan StreamingQueryListener menggunakan SQLConf.get untuk mendapatkan SQLConf SessionState yang sesuai
• [SPARK-37527] [SQL] Menerjemahkan lebih banyak fungsi agregat standar untuk pendorongan
• [SPARK-37777] [SQL] Memperbarui sintaks SQL SHOW FUNCTIONS
• [SPARK-8582] [CORE] Benar-benar menerapkan titik pemeriksaan ketika diminta untuk melakukannya secara nyata
• [SPARK-37822] [SQL] StringSplit harus mengembalikan array pada elemen non-null
• [SPARK-37812] [SQL] Saat deserialisasi struct Orc, menggunakan kembali baris hasil jika memungkinkan
• [SPARK-37367] [SQL] Mengaktifkan kembali uji pengecualian dalam tampilan DDLParserSuite.create – dasar
• [SPARK-37796] [SQL] ByteArrayMethods arrayEquals harus segera melewati pemeriksaan penyelarasan dengan platform yang tidak selaras
• [SPARK-37817] [SQL][Minor] Menghapus kode yang tidak dapat dijangkau di complexTypeExtractors.scala
• [SPARK-37807] [SQL] Memperbaiki kesalahan ketik di pesan HttpAuthenticationException
• [SPARK-37750] [SQL] mode ANSI: secara opsional mengembalikan hasil null jika elemen tidak ada dalam array/map
• [SPARK-37789] [SQL] Menambahkan kelas untuk mewakili fungsi agregat umum di DS V2
• [SPARK-37785] [SQL][CORE] Menambahkan Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] Dukungan QueryExecutionListener menggunakan SQLConf.get untuk mendapatkan SQLConf SessionState yang sesuai
• [SPARK-37783] [SS][SQL][CORE] Mengaktifkan rekursi ekor sedapat mungkin
• [SPARK-37726] [SQL] Menambahkan metrik ukuran peluapan untuk menggabungkan gabungan sortir
• [SPARK-37800] [SQL] TreeNode.argString salah memformat argumen jenis Set[_]
• [SPARK-37716] [SQL] Meningkatkan pesan kesalahan ketika LateralJoin memiliki ekspresi non-deterministik
• [SPARK-37779] [SQL] Membuat rencana ColumnarToRowExec dapat di-kanoniskan setelah (de)serialisasi
• [SPARK-37578] [SQL] Memperbarui metrik tugas dari metrik kustom ds v2
• [SPARK-37676] [SQL] Mendukung Fungsi Agregasi ANSI: percentile_cont
• [SPARK-37724] [SQL] Mode ANSI: menonaktifkan kata kunci cadangan ANSI secara default
• [SPARK-37705] [SQL][3.2] Menentukan ulang basis stempel waktu di zona waktu sesi yang disimpan dalam metadata Parquet/Avro
• [SPARK-34755] [SQL] Mendukung utils untuk mengubah format angka
• [SPARK-36703] [SQL] Menghapus Pengurutan jika merupakan turunan dari RepartitionByExpression
• [SPARK-37369] [SQL] Hindari transisi ColumnarToRow yang berlebihan pada InMemoryTableScan
• [SPARK-37450] [SQL] Memangkas bidang yang tidak perlu dari Generate
• [SPARK-37728] [SQL] Membaca kolom berlapis dengan pembaca vektor ORC dapat menyebabkan ArrayIndexOutOfBoundsException
• [SPARK-37564] [SQL] Menambahkan pembuat kode untuk agregat pengurutan tanpa mengelompokkan kunci
• [SPARK-37659] [UI][3.2] Memperbaiki kondisi race FsHistoryProvider antara daftar dan menghapus info log
• [SPARK-37727] [SQL] Tampilkan confs yang diabaikan & sembunyikan peringatan untuk conf yang sudah diatur di SparkSession.builder.getOrCreate
• [SPARK-37391] [SQL]JdbcConnectionProvider memberi tahu apakah itu memodifikasi konteks keamanan
• [SPARK-37273] [SQL] Mendukung kolom metadata file tersembunyi di SQL Spark
• [SPARK-36876] [SQL] Mendukung pemangkasan Partisi Dinamis untuk HiveTableScanExec
• [SPARK-37546] [SQL] Perintah V2 ReplaceTableAsSelect harus memenuhi syarat lokasi
• [SPARK-37545] [SQL] Perintah V2 CreateTableAsSelect harus memenuhi syarat lokasi
• [SPARK-37707] [SQL] Mengizinkan penugasan penyimpanan dan transmisi implisit di antara jenis datetime
• [SPARK-37644] [SQL] Mendukung pendorongan agregat lengkap sumber data v2
• [SPARK-37695] [CORE][SHUFFLE] Melewati diagnosis blog gabungan ob dari pengacakan berbasis dorongan
• [SPARK-35295] [ML] Sepenuhnya mengganti com.github.fommil.netlib dengan dev.ludovic.netlib:2.0
• [SPARK-37694] [SQL] Melarang penghapusan sumber daya di spark sql cli
• [SPARK-37330] [SQL] Memigrasi ReplaceTableStatement ke perintah v2
• [SPARK-27974] [SQL] Mendukung Fungsi Agregat ANSI: array_agg
• [SPARK-36902] [SQL] Memigrasi CreateTableAsSelectStatement ke perintah v2
• [SPARK-37678] [PYTHON] Memperbaiki tanda tangan _cleanup_and_return
• [SPARK-37613] [SQL] Mendukung Fungsi Agregat ANSI: regr_count
• [SPARK-37689] [SQL] Perluasan harus didukung di PropagateEmptyRelation
• [SPARK-37654] [SQL] Memperbaiki NPE di Row.getSeq saat bidang null
• [SPARK-37496] [SQL] Memigrasi ReplaceTableAsSelectStatement ke perintah v2
• [SPARK-37483] [SQL] Mendukung pendorongan atas N ke sumber data JDBC V2
• [SPARK-37577] [SQL] Memperbaiki ClassCastException: ArrayType tidak dapat transmisikan ke StructType untuk Generate Pruning
• [SPARK-37310] [SQL] Memigrasi ALTER NAMESPACE … SET PROPERTIES untuk menggunakan perintah V2 secara default
• [SPARK-37501] [SQL] CREATE/REPLACE TABLE harus memenuhi syarat lokasi untuk perintah v2
• [SPARK-37343] [SQL] Menerapkan createIndex, IndexExists dan dropIndex di JDBC (dialek Postgres)
• [SPARK-37060] [CORE][3.2] Menangani respons status driver dari master cadangan
• [SPARK-37629] [SQL] Mempercepat Expression.canonicalized
• [SPARK-37633] [SQL] Membuka transmisi harus dilewati jika downcast gagal dengan…
• [SPARK-37631] [SQL] Pembersihan kode untuk mempromosikan string ke jenis ganda dalam fungsi matematika
• [SPARK-37569] [SQL] Jangan menandai bidang tampilan berlapis sebagai dapat diubah ke null
• [SPARK-37557] [SQL] Mengganti hash objek dengan agregat urut jika turunan sudah diurutkan
• [SPARK-36850] [SQL] Memigrasi CreateTableStatement ke kerangka kerja perintah v2
• [SPARK-37592] [SQL] Meningkatkan performa JoinSelection
• [SPARK-37217] [SQL] Jumlah partisi dinamis harus diperiksa lebih awal saat menulis ke tabel eksternal
• [SPARK-37584] [SQL] Fungsi SQL Baru: map_contains_key
• [SPARK-37455] [SQL] Mengganti hash dengan agregat urut jika turunan sudah diurutkan
• [SPARK-34735] [SQL][UI] Menambahkan konfigurasi yang dimodifikasi untuk eksekusi SQL di UI
• [SPARK-37540] [SQL] Mendeteksi lebih banyak perjalanan waktu yang tidak didukung
• [SPARK-37376] [SQL] Memperkenalkan HasPartitionKey antarmuka DataSource V2 baru
• [SPARK-37666] [SQL] Menetapkan GCM sebagai mode default di aes_encrypt()/aes_decrypt()
• [SPARK-37573] [SQL] IsolatedClientLoader harus fallback ke versi terkait, tidak selalu hadoop-2.7.4
• [SPARK-37561] [SQL] Menghindari pemuatan semua fungsi saat mendapatkan DelegationToken hive
• [SPARK-37370] [SQL] Menambahkan konfigurasi SQL untuk mengontrol kode-gen gabungan yang baru ditambahkan di 3.3
• [SPARK-37311] [SQL] Memigrasi ALTER NAMESPACE … SET LOCATION untuk menggunakan perintah V2 sebagai standar
• [SPARK-37192] [SQL] Migrasikan SHOW TBLPROPERTIES untuk menggunakan perintah V2 secara default
• [SPARK-37219] [SQL] Menambahkan dukungan sintaks AS OF
• [SPARK-37316] [SQL] Menambahkan pembuat kode untuk gabungan penggabungan urutan eksistensi
• [SPARK-37591] [SQL] Mendukung mode GCM dengan aes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] Menambahkan args mode dan padding ke aes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] Menambahkan fungsi bawaan aes_encrypt dan aes_decrypt
• [SPARK-37392] [SQL] Memperbaiki bug performa saat menyimpulkan batasan untuk Generate
• [SPARK-37481] [Core][WebUI] Memperbaiki hilangnya tahapan yang dilewati setelah mencoba kembali
• [SPARK-37533] [SQL] Fungsi SQL Baru: try_element_at
• [SPARK-37451] [SQL] Memperbaiki jenis string transmisi ke jenis desimal jika spark.sql.legacy.allowNegativeScaleOfDecimal diaktifkan
• [SPARK-37062] [SS] Memperkenalkan sumber data baru untuk menyediakan kumpulan baris yang konsisten per titik mikrobatch
• [SPARK-37552] [SQL] Menambahkan fungsi convert_timezone()
• [SPARK-37555] [SQL] spark-sql harus meneruskan komentar terakhir yang terbuka ke backend
• [SPARK-37286] [SQL] Memindahkan compileAggregates dari JDBCRDD ke JdbcDialect
• [SPARK-37485] [CORE][SQL] Mengganti map dengan ekspresi yang tidak menghasilkan hasil dengan foreach
• [SPARK-37556] [SQL] Kelas pembatalan deser gagal dengan serialisasi Java
• [SPARK-37520] [SQL] Menambahkan fungsi string startswith() dan endswith()
• [SPARK-37471] [SQL] dukungan spark-sql ; di komentar kurung berlapis
• [SPARK-37360] [SQL] Mendukung TimestampNTZ di sumber data JSON
• [SPARK-37508] [SQL] Menambahkan fungsi string CONTAINS()
• [SPARK-37494] [SQL] Menyatukan output opsi v1 dan v2 dari perintah SHOW CREATE TABLE
• [SPARK-37524] [SQL] Kita harus menghilangkan semua tabel setelah menguji pemangkasan partisi dinamis.
• [SPARK-37389] [SQL] Memeriksa komentar terkurung yang terbuka
• [SPARK-37220] [SQL] Jangan memisahkan file input untuk pembaca Parquet dengan dorongan agregat
• [SPARK-37326] [SQL] Mendukung TimestampNTZ di sumber data CSV
• [SPARK-35867] [SQL] Mengaktifkan pembacaan vektor untuk VectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [CORE][SQL] Mengganti get dan getOrElse dengan getOrElse
• [SPARK-37492] [SQL] Mengoptimalkan kode uji Orc dengan AllNativeOrcReaders
• [SPARK-37458] [SS] Menghapus SerializeFromObject yang tidak perlu dari rencana foreachBatch

Pembaruan pemeliharaan

Harap lihat Pembaruan pemeliharaan Databricks Runtime 10.3.

Lingkungan sistem

• Sistem Operasi: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada tanggal 19-01-2022.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)