Databricks Runtime 4.1 (EoS)

Databricks merilis versi ini pada Mei 2018.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 4.1, yang didukung oleh Apache Spark.

Delta Lake

Databricks Runtime 4.1 menambahkan peningkatan kualitas dan fungsionalitas utama ke Delta Lake. Databricks sangat menyarankan agar semua pelanggan Delta Lake meningkatkan ke runtime baru. Rilis ini tetap dalam Pratinjau Pribadi, tetapi ini merupakan rilis kandidat untuk mengantisipasi rilis ketersediaan umum (GA) yang akan datang.

Delta Lake sekarang tersedia di Pratinjau Pribadi untuk pengguna Azure Databricks. Hubungi manajer akun Anda atau daftar di https://databricks.com/product/databricks-delta.

Perubahan mencolok

• Databricks Runtime 4.1 mencakup perubahan pada protokol transaksi untuk mengaktifkan fitur baru, seperti validasi. Tabel yang dibuat dengan Databricks Runtime 4.1 secara otomatis menggunakan versi baru dan tidak dapat ditulis oleh versi Databricks Runtime yang lebih lama. Anda harus meningkatkan tabel yang ada untuk memanfaatkan peningkatan ini. Untuk meningkatkan tabel yang ada, pertama-tama tingkatkan semua tugas yang menulis ke tabel. Kemudian jalankan:

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  Lihat Bagaimana Azure Databricks mengelola kompatibilitas fitur Delta Lake? untuk informasi selengkapnya.

• Penulisan sekarang divalidasi terhadap skema tabel saat ini alih-alih secara otomatis menambahkan kolom yang hilang dari tabel tujuan. Untuk mengaktifkan perilaku sebelumnya, atur opsi mergeSchema ke true.

• Jika Anda menjalankan versi Databricks Delta yang lebih lama, Anda harus meningkatkan semua pekerjaan sebelum menggunakan Databricks Runtime 4.1. Jika Anda melihat salah satu dari kesalahan ini, tingkatkan ke Databricks Runtime 4.1:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• Tabel tidak dapat lagi memiliki kolom yang hanya berbeda menurut kasus.

• Konfigurasi tabel khusus Delta sekarang harus diawali dengan delta.

Fitur baru

• Manajemen Skema - Databricks Delta sekarang memvalidasi penambahan dan penulisan ulang ke tabel yang ada untuk memastikan bahwa skema yang ditulis cocok dengan skema tabel yang ada.

  • Databricks Delta terus mendukung evolusi skema otomatis.
  • Databricks Delta sekarang mendukung DDL berikut untuk memodifikasi skema secara eksplisit:
    • ALTER TABLE ADD COLUMN untuk menambahkan kolom baru ke tabel
    • ALTER TABLE CHANGE COLUMNS untuk mengubah urutan kolom
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Untuk detailnya, lihat penerapan aturan skema.

• DDL yang Ditingkatkan dan dukungan tabel

  • Dukungan penuh untuk tabel DDL dan saveAsTable(). save() dan saveAsTable() sekarang memiliki semantik yang identik.
  • Semua perintah DDL dan DML mendukung nama tabel dan delta.`<path-to-table>`.
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Informasi tabel terperinci - Anda dapat melihat versi pembaca dan penulis tabel saat ini dengan menjalankan DESCRIBE DETAIL. Lihat Bagaimana Azure Databricks mengelola kompatibilitas fitur Delta Lake?.
  • Detail tabel - Informasi asal-usul sekarang sudah tersedia untuk setiap penulisan ke dalam tabel. Bilah samping Data juga memperlihatkan informasi dan riwayat tabel terperinci untuk tabel Databricks Delta. Lihat Tinjau detail tabel Delta Lake dengan menjelaskan detail.
  • Tabel streaming - Streaming DataFrame dapat dibuat menggunakan spark.readStream.format("delta").table("<table-name>").
  • Tabel khusus tambahan - Databricks Delta sekarang mendukung tata kelola data dasar. Anda dapat memblokir penghapusan dan modifikasi pada tabel dengan mengatur properti tabel delta.appendOnly=true.
  • MERGE INTO sumber - Menambahkan dukungan yang lebih komprehensif ke spesifikasi kueri sumber MERGE. Misalnya, Anda dapat menentukan LIMIT, ORDER BY dan INLINE TABLE di sumbernya.
  • Dukungan penuh untuk Daftar Kontrol Akses (ACL) Tabel.

Peningkatan performa

• Mengurangi beban pengumpulan statistik - Efisiensi pengumpulan statistik telah ditingkatkan, dan kini statistik hanya dikumpulkan untuk jumlah kolom yang dapat dikonfigurasi pengguna, secara default diatur ke 32. Performa penulisan Databricks Delta telah ditingkatkan hingga 2x karena pengurangan overhead pengumpulan statistik. Untuk mengonfigurasi jumlah kolom, atur properti tabel delta.dataSkippingNumIndexedCols=<number-of-columns>.
• Dukungan untuk pendorongan batas ke bawah - Statistik digunakan untuk membatasi jumlah file yang dipindai untuk kueri yang memiliki LIMIT dan predikat atas kolom partisi. Ini berlaku untuk kueri di buku catatan karena limit=1000 implisit yang berlaku untuk semua perintah buku catatan.
• Penekanan filter di sumber streaming - Kueri streaming sekarang menggunakan pemartisian saat memulai aliran baru untuk melewatkan data yang tidak relevan.
• Peningkatan paralelisme untuk OPTIMIZE - OPTIMIZE saat ini berjalan sebagai satu tugas Spark dan akan menggunakan semua paralelisme yang tersedia pada kluster (sebelumnya terbatas pada 100 file yang dipadatkan sekaligus).
• Melewatkan Data di DML - UPDATE, DELETE, dan MERGE sekarang menggunakan statistik saat menemukan file yang perlu ditulis ulang.
• Penurunan retensi titik pemeriksaan - titik pemeriksaan sekarang dipertahankan selama dua hari (riwayat masih dipertahankan selama 30 hari) untuk mengurangi biaya penyimpanan untuk log transaksi.

Perilaku API

• Perilaku insertInto(<table-name>) di Databricks Delta sama dengan sumber data lainnya.
  • Jika tidak ada mode yang ditentukan atau mode adalah ErrorIfExists, Ignore, atau Append, tambahkan data dalam DataFrame ke tabel Databricks Delta.
  • Jika mode adalah Overwrite, maka menghapus semua data dalam tabel yang ada dan memasukkan data dari DataFrame ke dalam tabel Databricks Delta.
• Jika di-cache, tabel tujuan MERGE harus dicopot secara manual.

Peningkatan kegunaan

• Validasi migrasi beban kerja - Kesalahan umum yang dilakukan saat memigrasikan beban kerja ke Databricks Delta sekarang melemparkan pengecualian daripada gagal:
  • Menggunakan format("parquet") untuk membaca atau menulis tabel.
  • Membaca atau menulis langsung ke partisi (yaitu, /path/to/delta/part=1).
  • Menyedot subdirektori tabel.
  • INSERT OVERWRITE DIRECTORY menggunakan Parquet pada tabel.
• Konfigurasi tidak peka huruf besar/kecil - Opsi untuk DataFrame Reader/Writer dan properti tabel sekarang tidak peka huruf besar/kecil (termasuk jalur baca dan jalur tulis).
• Nama kolom - Nama kolom tabel sekarang dapat menyertakan titik-titik.

Masalah umum

• Sisipan dari pernyataan multi-sisipan berada di unit kerja yang berbeda, bukan dalam transaksi yang sama.

Perbaikan bug

• Masalah perulangan tak berujung saat memulai aliran baru pada tabel yang diperbarui dengan cepat telah diperbaiki.

Penghentian

Streaming Terstruktur tidak menangani input yang bukan tambahan dan melemparkan pengecualian jika ada modifikasi yang terjadi pada tabel yang digunakan sebagai sumber. Sebelumnya Anda dapat mengganti perilaku ini menggunakan bendera ignoreFileDeletion, tetapi sekarang tidak digunakan lagi. Sebagai gantinya, gunakan ignoreDeletes atau ignoreChanges. Lihat tabel delta sebagai sumber.

Perubahan dan Peningkatan Lainnya

• Query Watchdog diaktifkan untuk semua kluster serba guna yang dibuat menggunakan UI.
• Peningkatan performa sisi driver untuk cache DBIO
• Peningkatan performa untuk dekode Parquet melalui dekoder Parquet asli baru
• Peningkatan performa untuk eliminasi subekspresi umum
• Peningkatan performa lompati data untuk tabel besar yang menggabungkan tabel kecil (gabungan tabel dimensi fakta)
• display() sekarang merender kolom yang berisi tipe data gambar sebagai HTML yang kaya fitur.
• Peningkatan pada pencatatan, pemuatan, dan pendaftaran model MLflow
  • Peningkatan dbml-local ke rilis terbaru 0.4.1
  • Perbaikan bug dengan model yang diekspor dengan parameter threshold yang ditentukan
  • Penambahan dukungan untuk mengekspor OneVsRestModel, GBTClassificationModel
• Meningkatkan beberapa pustaka Python yang terinstal:
  • pip: dari 9.0.1 ke 10.0.0b2
  • setuptools: dari 38.5.1 ke 39.0.1
  • tornado: 4.5.3 ke 5.0.1
  • wheel: 0.30.0 ke 0.31.0
• Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Diinstal.
• Peningkatan Azure Data Lake Store SD dari 2.0.11 ke 2.2.8.
• Peningkatan CUDA ke 9.0 dari 8.0 dan CUDNN ke 7.0 dari 6.0 untuk kluster GPU.

Apache Spark

Databricks Runtime 4.1 menyertakan Apache Spark 2.3.0. Rilis ini mencakup semua perbaikan dan peningkatan yang disertakan dalam Databricks Runtime 4.0 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-24007][SQL] EqualNullSafe untuk FloatType dan DoubleType mungkin menghasilkan hasil yang salah oleh codegen.
• [SPARK-23942][PYTHON][SQL] Membuat koleksi di PySpark sebagai tindakan untuk pendengar eksekutor kueri
• [SPARK-23815][CORE] Mode penimpaan partisi dinamis penulis di Spark mungkin gagal menghasilkan output pada partisi multi-tingkat
• [SPARK-23748][SS] Perbaiki proses berkelanjutan SS yang tidak mendukung masalah SubqueryAlias
• [SPARK-23963][SQL] Menangani dengan baik jumlah kolom yang banyak dalam kueri pada tabel Hive berbasis teks
• [SPARK-23867][SCHEDULER] gunakan droppedCount di logWarning
• [SPARK-23816][CORE] Tugas yang dimatikan harus mengabaikan FetchFailures.
• [SPARK-23809][SQL] Active SparkSession harus diatur oleh getOrCreate
• [SPARK-23966][SS] Melakukan fefaktor semua logika penulisan file titik pemeriksaan di antarmuka CheckpointFileManager umum
• [SPARK-21351][SQL] Memperbarui nullability berdasarkan output anak
• [SPARK-23847][PYTHON][SQL] Tambahkan asc_nulls_first, asc_nulls_last ke PySpark
• [SPARK-23822][SQL] Memperbaiki pesan kesalahan pada ketidaksesuaian skema Parquet
• [SPARK-23823][SQL] Simpan yang asli dalam transformExpression
• [SPARK-23838][WEBUI] Menjalankan kueri SQL ditampilkan sebagai “selesai” di tab SQL
• [SPARK-23802][SQL] PropagateEmptyRelation dapat membiarkan rencana kueri dalam status tidak terselesaikan
• [SPARK-23727][SQL] Dukungan untuk menekan filter untuk DateType dalam parquet
• [SPARK-23574][SQL] Laporkan SinglePartition di DataSourceV2ScanExec ketika ada tepat 1 pabrik pembaca data yang pasti.
• [SPARK-23533][SS] Tambahkan dukungan untuk mengubah startOffset ContinuousDataReader
• [SPARK-23491][SS] Hapus pembatalan pekerjaan eksplisit dari konfigurasi ulang ContinuousExecution
• [SPARK-23040][CORE] Kembalikan iterator yang dapat diinterupsi untuk pembaca acak
• [SPARK-23827][SS] StreamingJoinExec harus memastikan bahwa data input dipartisi ke dalam jumlah partisi tertentu
• [SPARK-23639][SQL] Dapatkan token sebelum klien metastore init di SparkSQL CLI
• [SPARK-23806] Broadcast.unpersist dapat menyebabkan pengecualian fatal saat digunakan…
• [SPARK-23599][SQL] Gunakan RandomUUIDGenerator dalam ekspresi Uuid
• [SPARK-23599][SQL] Tambahkan generator UUID dari Angka Pseudo-Random
• [SPARK-23759][UI] Tidak dapat mengikat UI Spark ke nama host / IP tertentu
• [SPARK-23769][CORE] Hapus komentar yang tidak perlu yang menonaktifkan pemeriksaan Scalastyle
• [SPARK-23614][SQL] Perbaiki pertukaran penggunaan kembali yang salah saat penembolokan digunakan
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs harus menyimpan/memulihkan status CSE dengan benar
• [SPARK-23729][CORE] Patuhi fragmen URI saat menyelesaikan glob
• [SPARK-23550][CORE] Bersihkan Util
• [SPARK-23288][SS] Perbaiki metrik output dengan sink parquet
• [SPARK-23264][SQL] Perbaiki scala.MatchError dalam literals.sql.out
• [SPARK-23649][SQL] Melewatkan karakter yang dilarang di UTF-8
• [SPARK-23691][PYTHON] Gunakan util sql_conf dalam pengujian PySpark jika memungkinkan
• [SPARK-23644][CORE][UI] Gunakan jalur absolut untuk panggilan REST di SHS
• [SPARK-23706][PYTHON] spark.conf.get(value, default=None) harus menghasilkan None di PySpark
• [SPARK-23623][SS] Hindari penggunaan cache bersamaan konsumen di CachedKafkaConsumer
• [SPARK-23670][SQL] Perbaiki kebocoran memori di SparkPlanGraphWrapper
• [SPARK-23608][CORE][WEBUI] Tambahkan sinkronisasi dalam SHS antara fungsi attachSparkUI dan detaschSparkUI untuk menghindari masalah modifikasi bersamaan pada Pengatur Jetty
• [SPARK-23671][CORE] Perbaiki kondisi untuk mengaktifkan kelompok rangkaian SHS.
• [SPARK-23658][LAUNCHER] InProcessAppHandle menggunakan kelas yang salah di getLogger
• [SPARK-23642][DOCS] Subkelas AkumulatorV2 adalah perbaikan scaladoc Zero
• [SPARK-22915][MLLIB] Uji streaming untuk fitur spark.ml., dari N hingga Z
• [SPARK-23598][SQL] Membuat metode di BufferedRowIterator publik untuk menghindari kesalahan runtime untuk kueri besar
• [SPARK-23546][SQL] Refaktorisasi metode/nilai tanpa status dalam CodegenContext
• [SPARK-23523][SQL] Perbaiki hasil yang salah yang disebabkan oleh aturan OptimizeMetadataOnlyQuery
• [SPARK-23462][SQL] tingkatkan pesan kesalahan bidang yang hilang di StructType
• [SPARK-23624][SQL] Revisi dokumen metode pushFilters di Datasource V2
• [SPARK-23173][SQL] Hindari membuat file parquet yang rusak saat memuat data dari JSON
• [SPARK-23436][SQL] Infer partisi sebagai Tanggal hanya jika dapat diubah ke Tanggal
• [SPARK-23406][SS] Aktifkan aliran-gabungan mandiri aliran
• [SPARK-23490][SQL] Periksa storage.locationUri dengan tabel yang ada di CreateTable
• [SPARK-23524]Blok acak lokal besar tidak boleh diperiksa untuk korupsi.
• [SPARK-23525][SQL] Dukungan ALTER TABLE CHANGE COLUMN COMMENT untuk tabel sarang eksternal
• [SPARK-23434][SQL] Spark tidak boleh memperingatkan direktori metadata untuk jalur file HDFS
• [SPARK-23457][SQL] Daftarkan pendengar penyelesaian tugas terlebih dahulu di ParquetFileFormat
• [SPARK-23329][SQL] Perbaiki dokumentasi fungsi trigonometri
• [SPARK-23569][PYTHON] Izinkan pandas_udf bekerja dengan fungsi beranotasi jenis gaya python3
• [SPARK-23570][SQL] Tambahkan Spark 2.3.0 di HiveExternalCatalogVersionsSuite
• [SPARK-23517][PYTHON] Buat _pyspark.util. exception_message menghasilkan jejak dari sisi Java menurut Py4JJavaError
• [SPARK-23508][CORE] Perbaiki BlockmanagerId jika blockManagerIdCache menyebabkan habisnya memori
• [SPARK-23448][SQL] Klarifikasi perilaku pengurai JSON dan CSV dalam dokumen
• [SPARK-23365][CORE] Jangan sesuaikan eksekutor angka saat menghentikan eksekutor diam.
• [SPARK-23438][DSTREAMS] Perbaiki kehilangan data DStreams dengan WAL saat driver crash
• [SPARK-23475][UI] Tampilkan juga tahap-tahap yang dilewati
• [SPARK-23518][SQL] Hindari akses metastore ketika pengguna hanya ingin membaca dan menulis bingkai data
• [SPARK-23406][SS] Aktifkan aliran-gabungan mandiri aliran
• [SPARK-23541][SS] Izinkan sumber Kafka membaca data dengan paralelisme yang lebih besar daripada jumlah partisi artikel
• [SPARK-23097][SQL][SS] Migrasikan sumber soket teks ke V2
• [SPARK-23362][SS] Migrasikan sumber Kafka Microbatch ke v2
• [SPARK-23445]Perefaktoran ColumnStat
• [SPARK-23092][SQL] Migrasikan MemoryStream ke API DataSourceV2
• [SPARK-23447][SQL] Bersihkan templat codegen untuk Literal
• [SPARK-23366]Tingkatkan jalur membaca panas di ReadAheadInputStream
• [SPARK-22624][PYSPARK] Ekspos pengacakan pemartisian rentang

Pembaruan Pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 4.1.

Lingkungan Sistem

• Sistem Operasi: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 untuk kluster Python 2 dan 3.5.2 untuk kluster Python 3.
• R: R versi 3.4.4 (15-03-2018)
• Kluster GPU: Pustaka GPU NVIDIA berikut diinstal:
  • Driver Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Pustaka Python yang Diinstal

Pustaka R yang Diinstal

Pustaka Java dan Scala yang dipasang(versi kluster Scala 2.11)