Databricks Runtime 7.0 (EoS)

Databricks merilis versi ini pada Juni 2020.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 7.0, didukung oleh Apache Spark 3.0.

Fitur baru

Databricks Runtime 7.0 mencakup fitur-fitur baru berikut:

• Scala 2.12

  Databricks Runtime 7.0 meningkatkan Scala dari 2.11.12 ke 2.12.10. Daftar perubahan antara Scala 2.12 dan 2.11 ada di catatan rilis Scala 2.12.0.

• Auto Loader (Pratinjau Umum), dirilis dalam Databricks Runtime 6.4, telah ditingkatkan di Databricks Runtime 7.0

  Auto Loader memberi Anda cara yang lebih efisien untuk memproses file data baru secara bertahap saat tiba di penyimpanan blob cloud selama ETL. Ini adalah peningkatan melalui streaming terstruktur berbasis file, yang mengidentifikasi file baru dengan berulang kali mencantumkan direktori cloud dan melacak file yang telah dilihat, dan bisa sangat tidak efisien seiring dengan pertumbuhan direktori. Auto Loader juga lebih mudah dan efektif daripada streaming terstruktur berbasis pemberitahuan file, yang mengharuskan Anda mengonfigurasi layanan pemberitahuan file secara manual di cloud dan tidak membiarkan Anda mengisi ulang (backfill) file yang ada. Untuk detailnya, lihat Apa itu Pemuat Otomatis?.

  Pada Databricks Runtime 7.0 Anda tidak perlu lagi meminta gambar Databricks Runtime kustom untuk menggunakan Auto Loader.

• COPY INTO (Pratinjau Umum), yang memungkinkan Anda memuat data ke Delta Lake dengan percobaan ulang idempotent, telah ditingkatkan di Databricks Runtime 7.0

  Dirilis sebagai Pratinjau Umum di Databricks Runtime 6.4, perintah SQL COPY INTO memungkinkan Anda memuat data ke Delta Lake dengan percobaan ulang idempotent. Untuk memuat data ke Delta Lake kini Anda harus menggunakan API Apache Spark DataFrame. Jika ada kegagalan selama pemuatan, Anda harus menanganinya secara efektif. Perintah COPY INTO yang baru menyediakan antarmuka deklaratif yang dikenali untuk memuat data dalam SQL. Perintah melacak file yang dimuat sebelumnya dan Anda menjalankannya kembali dengan aman jika terjadi kegagalan. Untuk detailnya, lihat COPY INTO.

Penyempurnaan

• Konektor Azure Synapse (sebelumnya SQL Data Warehouse) mendukung pernyataan COPY.

  Manfaat utama COPY adalah bahwa pengguna dengan hak istimewa yang lebih rendah dapat menulis data ke Azure Synapse tanpa memerlukan izin CONTROL yang ketat di Azure Synapse.

• Perintah sihir %matplotlib inline tidak lagi diperlukan untuk menampilkan objek Matplolib secara inline dalam sel notebook. Ini selalu ditampilkan inline secara default.

• Angka matplolib sekarang dirender dengan transparent=False, sehingga latar belakang yang ditentukan pengguna tidak hilang. Perilaku ini dapat ditimpa dengan mengatur konfigurasi Spark spark.databricks.workspace.matplotlib.transparent true.

• Saat menjalankan pekerjaan produksi Streaming Terstruktur pada kluster mode Konkurensi Tinggi, memulai kembali pekerjaan terkadang akan gagal, karena pekerjaan yang berjalan sebelumnya tidak dihentikan dengan benar. Databricks Runtime 6.3 memperkenalkan kemampuan untuk mengatur konfigurasi SQL spark.sql.streaming.stopActiveRunOnRestart true pada kluster Anda untuk memastikan bahwa eksekusi sebelumnya berhenti. Konfigurasi ini diatur secara default di Databricks Runtime 7.0.

Perubahan pustaka utama

Paket Python

Paket Phyton Utama meningkatkan:

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 -> 3.1.3
• numpy 1.16.2 -> 1.18.1
• pandas 0.24.2 -> 1.0.1
• pip 19.0.3 -> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 -> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

Paket Python menghapus:

• boto (gunakan boto3)
• pycurl

Paket R

Paket R yang menambahkan:

• broom
• highr
• isoband
• knitr
• markdown
• modelr
• reprex
• rmarkdown
• rvest
• selectr
• tidyverse
• tinytex
• xfun

Paket R menghapus:

• abind
• bitops
• car
• carData
• doMC
• gbm
• h2o
• littler
• lme4
• mapproj
• Peta
• maptools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• rio
• sp
• SparseM
• statmod
• zip

Pustaka Java dan Scala

• Versi Apache Hive digunakan untuk menangani fungsi yang ditentukan pengguna Hive dan Hive SerDes ditingkatkan menjadi 2.3.
• Sebelumnya Azure Storage dan jar Key Vault dikemas sebagai bagian dari Databricks Runtime, yang akan mencegah Anda menggunakan berbagai versi pustaka yang dilampirkan ke kluster. Kelas di com.microsoft.azure.storage dan com.microsoft.azure.keyvault tidak lagi berada di jalur kelas dalam Runtime Databricks. Jika Anda bergantung pada salah satu jalur kelas tersebut, Anda sekarang harus melampirkan SDK Azure Storage atau SDK Azure Key Vault ke kluster Anda.

Perubahan perilaku

Bagian ini mencantumkan perubahan perilaku dari Databricks Runtime 6.6 ke Databricks Runtime 7.0. Anda harus menyadari hal ini saat Anda memigrasikan beban kerja dari rilis Runtime Databricks yang lebih rendah ke Databricks Runtime 7.0 dan versi yang lebih baru.

Perubahan perilaku Spark

Karena Databricks Runtime 7.0 adalah Runtime Databricks pertama yang dibuat di Spark 3.0, ada banyak perubahan yang harus Anda ketahui ketika memigrasikan beban kerja dari Databricks Runtime 5.5 LTS atau 6.x, yang dibuat di Spark 2.4. Perubahan ini tercantum di bagian "Perubahan perilaku" dari setiap area fungsional di bagian Apache Spark dari artikel catatan rilis ini:

• Perubahan perilaku untuk Spark Core, SQL Spark, dan Streaming Terstruktur
• Perubahan perilaku untuk MLlib
• Perubahan perilaku untuk SparkR

Perubahan perilaku lainnya

• Peningkatan ke Scala 2.12 melibatkan perubahan berikut:

  • Serialisasi sel paket ditangani secara berbeda. Contoh berikut menggambarkan perubahan perilaku dan cara menanganinya.

    Menjalankan foo.bar.MyObjectInPackageCell.run() seperti yang ditentukan dalam sel paket berikut akan memicu kesalahan java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    Untuk mengatasi kesalahan ini, Anda dapat membungkus MyObjectInPackageCell di dalam kelas yang dapat diserialkan.

  • Kasus tertentu yang menggunakan DataStreamWriter.foreachBatch akan memerlukan pembaruan kode sumber. Perubahan ini disebabkan oleh fakta bahwa Scala 2.12 memiliki konversi otomatis dari ekspresi lambda ke jenis SAM dan dapat menyebabkan ambiguitas.

    Misalnya, kode Scala berikut tidak dapat dikompilasi:

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    Untuk memperbaiki kesalahan kompilasi, ubah foreachBatch { (df, id) => myFunc(df, id) } ke foreachBatch(myFunc _) atau gunakan API Java secara eksplisit: foreachBatch(new VoidFunction2 ...).

• Karena versi Apache Hive yang digunakan untuk menangani fungsi yang ditentukan pengguna Apache Hive dan Apache Hive SerDes ditingkatkan ke 2.3, diperlukan dua perubahan:

  • Antarmuka SerDe Apache Hive digantikan oleh kelas abstrak AbstractSerDe. Untuk setiap implementasi SerDe Apache Hive kustom, migrasi ke AbstractSerDe diperlukan.
  • Mengatur spark.sql.hive.metastore.jars ke builtin berarti bahwa klien metastore Apache Hive 2.3 akan digunakan untuk mengakses metastore untuk Databricks Runtime 7.0. Jika Anda perlu mengakses metastore eksternal berbasis Apache Hive 1.2, atur spark.sql.hive.metastore.jars ke folder yang berisi jar Apache Hive 1.2.

Penghentian dan penghapusan

• Indeks melewatkan data tidak digunakan lagi di Databricks Runtime 4.3 dan dihapus di Databricks Runtime 7.0. Kami menyarankan agar Anda menggunakan tabel Delta sebagai gantinya, yang menawarkan kemampuan melewatkan data yang ditingkatkan.
• Dalam Databricks Runtime 7.0, versi Apache Spark yang mendasari menggunakan Scala 2.12. Karena pustaka yang dikompilasi terhadap Scala 2.11 dapat menonaktifkan kluster Databricks Runtime 7.0 dengan cara yang tidak terduga, kluster yang menjalankan Databricks Runtime 7.0 dan versi yang lebih baru tidak menginstal pustaka yang dikonfigurasi untuk dipasang pada semua kluster. Tab pustaka kluster menampilkan status Skipped dan pesan penghentian yang menjelaskan perubahan dalam penanganan pustaka. Namun, jika Anda memiliki kluster yang dibuat pada versi Databricks Runtime yang lebih lama sebelum platform Azure Databricks versi 3.20 dirilis ke ruang kerja Anda, dan Anda sekarang mengedit kluster tersebut untuk menggunakan Databricks Runtime 7.0, pustaka apa pun yang dikonfigurasi untuk diinstal pada semua kluster akan diinstal pada kluster tersebut. Dalam hal ini, setiap JAR yang tidak kompatibel di pustaka yang diinstal dapat menyebabkan kluster dinonaktifkan. Solusinya adalah mengkloning kluster atau membuat kluster baru.

Apache Spark

Databricks Runtime 7.0 menyertakan Apache Spark 3.0.

Di bagian ini:

• Core, SQL Spark, Streaming Terstruktur
• MLlib
• SparkR
• Penghentian
• Masalah yang diketahui

Core, SQL Spark, Streaming Terstruktur

Sorotan

• Scheduler Sadar Akselerator (Project Hydrogen) (SPARK-24615)
• Eksekusi Kueri Adaptif (SPARK-31412)
• Pemangkasan Partisi Dinamis (SPARK-11150)
• Pandas API UDF yang didesain ulang dengan petunjuk jenis (SPARK-28264)
• UI Streaming Terstruktur (SPARK-29543)
• Plugin API katalog (SPARK-31121)
• Kompatibilitas SQL ANSI yang lebih baik

peningkatan performa

• Eksekusi Kueri Adaptif (SPARK-31412)
  • Kerangka kerja dasar (SPARK-23128)
  • Penyesuaian nomor partisi setelah pengacakan (SPARK-28177)
  • Penggunaan kembali subkueri dinamis (SPARK-28753)
  • Pembaca acak lokal (SPARK-28560)
  • Pengoptimalan gabungan condong (SPARK-29544)
  • Optimalkan membaca blok acak yang berdampingan (SPARK-9853)
• Pemangkasan Partisi Dinamis (SPARK-11150)
• Aturan pengoptimal lainnya
  • Aturan Rule ReuseSubquery (SPARK-27279)
  • Aturan PushDownLeftsemiAntiJoin (SPARK-19712)
  • Aturan PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • Aturan ReplaceNullWithFalse (SPARK-25860)
  • Aturan Hilangkan pengurutan tanpa batas dalam subkueri Gabungan/Agregasi (SPARK-29343)
  • Aturan PruneHiveTablePartitions (SPARK-15616)
  • Memangkas bidang bertingkat yang tidak perlu dari Generate (SPARK-27707)
  • Aturan RewriteNonCorrelatedExists (SPARK-29800)
• Minimalkan biaya sinkronisasi cache tabel (SPARK-26917), (SPARK-26617), (SPARK-26548)
• Pemisahan kode agregasi menjadi fungsi kecil (SPARK-21870)
• Tambahkan batching dalam perintah ADD INSERT dan ALTER TABLEPARTITION (SPARK-29938)

Peningkatan ekstentibilitas

• API plugin katalog (SPARK-31121)
• Refactoring API Sumber data V2 (SPARK-25390)
• Dukungan metastore Apache Hive 3.0 dan 3.1 (SPARK-27970),(SPARK-24360)
• Perluasan antarmuka plugin Spark ke driver (SPARK-29396)
• Perluasan sistem metrik Spark dengan metrik yang ditentukan pengguna menggunakan plugin eksekutor (SPARK-28091)
• API Pengembang untuk Dukungan Pemrosesan Kolumnar yang diperluas (SPARK-27396)
• Migrasi sumber bawaan menggunakan DSV2: parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
• Izinkan FunctionInjection di SparkExtensions (SPARK-25560)
• Izinkan Agregator agar terdaftar sebagai UDAF (SPARK-27296)

Peningkatan konektor

• Pemangkasan kolom melalui ekspresi nondeterministik (SPARK-29768)
• Mendukung spark.sql.statistics.fallBackToHdfs dalam tabel sumber data (SPARK-25474)
• Izinkan pemangkasan partisi dengan filter subkueri pada sumber file (SPARK-26893)
• Hindari pushdown subkueri dalam filter sumber data (SPARK-25482)
• Pemuatan data rekursif dari sumber file (SPARK-27990)
• Parquet/ORC
  • Pushdown predikat disjunktif (SPARK-27699)
  • Menggeneralisasi Pemangkasan Kolom Bersarang (SPARK-25603) dan diaktifkan secara default (SPARK-29805)
  • Parquet saja
    • Pushdown predikat parquet untuk bidang berlapis (SPARK-17636)
  • ORC saja
    • Mendukung skema penggabungan untuk ORC (SPARK-11412)
    • Pemangkasan skema berlapis untuk ORC (SPARK-27034)
    • Pengurangan kompleksitas konversi predikat untuk ORC (SPARK-27105, SPARK-28108)
    • Peningkatan Orc Apache ke 1.5.9 (SPARK-30695)
• CSV
  • Dukungan pushdown filter di sumber data CSV (SPARK-30323)
• Hive SerDe
  • Tidak ada inferensi skema saat membaca tabel serde Apache Hive dengan sumber data asli (SPARK-27119)
  • Perintah Apache Hive CTAS harus menggunakan sumber data jika dapat dikonversi (SPARK-25271)
  • Gunakan sumber data asli untuk mengoptimalkan penyisipan tabel Apache Hive yang dipartisi (SPARK-28573)
• Apache Kafka
  • Penambahan dukungan untuk header Kafka (SPARK-23539)
  • Penambahan dukungan token delegasi Kafka (SPARK-25501)
  • Memperkenalkan opsi baru ke sumber Kafka: offset menurut tanda waktu (awal/akhir) (SPARK-26848)
  • Dukungan opsi minPartitions dalam sumber batch Kafka dan sumber streaming v1 (SPARK-30656)
  • Peningkatan Kafka ke 2.4.1 (SPARK-31126)
• Sumber data bawaan baru
  • Sumber data file biner bawaan baru (SPARK-25348)
  • Sumber data batch no-op baru (SPARK-26550) dan sink streaming no-op (SPARK-26649)

Penyempurnaan fitur

• Scheduler Sadar Akselerator [Hydrogen] (SPARK-24615)
• Memperkenalkan serangkaian Petunjuk Gabungan lengkap (SPARK-27225)
• Menambahkan petunjuk PARTITION BY untuk kueri SQL (SPARK-28746)
• Penanganan Metadata di Thrift Server (SPARK-28426)
• Penambaha fungsi urutan yang lebih tinggi ke API scala (SPARK-27297)
• Dukungan sederhana pengumpulan semua dalam konteks tugas penghalang (SPARK-30667)
• Apache Hive UDF mendukung jenis UDT (SPARK-28158)
• Dukungan untuk Operator DELETE/UPDATE/MERGE di Catalyst (SPARK-28351, SPARK-28892, SPARK-28893)
• Penerapan DataFrame.tail (SPARK-30185)
• Fungsi bawaan baru
  • sinh, cosh, tanh, asinh, acosh, atanh (SPARK-28133)
  • any, every, some (SPARK-19851)
  • bit_and, bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and, bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • extract (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by, min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • version (SPARK-29554)
  • xxhash64 (SPARK-27099)
• Penyempurnaan pada fungsi bawaan yang ada
  • Peningkatan fungsi/operasi tanggal-waktu bawaan (SPARK-31415)
  • Dukungan mode FAILFAST untuk from_json (SPARK-25243)
  • array_sort menambahkan parameter pembanding baru (SPARK-29020)
  • Filter kini dapat mengambil indeks sebagai input serta elemen (SPARK-28962)

Peningkatan kompatibilitas SQL

• Beralih ke kalender Gregorian Proleptik (SPARK-26651)
• Pembuatan definisi pola datetime Spark sendiri (SPARK-31408)
• Memperkenalkan kebijakan penetapan penyimpanan ANSI untuk penyisipan tabel (SPARK-28495)
• Ikuti aturan penetapan penyimpanan ANSI dalam penyisipan tabel secara default (SPARK-28885)
• Penambahan SQLConf spark.sql.ansi.enabled (SPARK-28989)
• Dukungan klausul filter SQL ANSI untuk ekspresi agregat (SPARK-27986)
• Mendukung fungsi OVERLAY SQL ANSI (SPARK-28077)
• Mendukung komentar bertanda kurung dan berlapis ANSI (SPARK-28880)
• Pelemparan pengecualian pada luapan untuk bilangan bulat (SPARK-26218)
• Pemeriksaan luapan untuk operasi aritmatika interval (SPARK-30341)
• Pelemparan Pengecualian saat string tidak valid ditransmisikan ke jenis numerik (SPARK-30292)
• Membuat perilaku luapan pembagian dan perkalian interval konsisten dengan operasi lain (SPARK-30919)
• Penambahan alias jenis ANSI untuk char dan desimal (SPARK-29941)
• SQL Parser menentukan kata kunci yang dicadangankan yang sesuai dengan ANSI (SPARK-26215)
• Melarang kata kunci yang dicadangkan sebagai pengidentifikasi saat mode ANSI aktif (SPARK-26976)
• Dukungan sintaks LIKE ... ESCAPE SQL ANSI (SPARK-28083)
• Dukungan sintaks Predikat Boolean SQL ANSI (SPARK-27924)
• Dukungan yang lebih baik untuk pemrosesan subkueri berkorelasi (SPARK-18455)

Peningkatan pemantauan dan kemampuan debug

• UI Streaming Terstruktur Baru (SPARK-29543)
• SHS: Izinkan log peristiwa untuk menjalankan aplikasi streaming untuk rollover (SPARK-28594)
• Penambahan API yang memungkinkan pengguna untuk menentukan dan mengamati metrik arbitrer pada kueri batch dan streaming (SPARK-29345)
• Instrumentasi untuk melacak waktu perencanaan per kueri (SPARK-26129)
• Peletakan metrik acak dasar di operator pertukaran SQL (SPARK-26139)
• Pernyataan SQL ditampilkan di Tab SQL, bukan callsite (SPARK-27045)
• Penambahan tooltip ke SparkUI (SPARK-29449)
• Meningkatkan kinerja bersamaan dari History Server (SPARK-29043)
• Perintah EXPLAIN FORMATTED (SPARK-27395)
• Mendukung rencana terpotong Dumping dan kode yang dihasilkan ke file (SPARK-26023)
• Peningkatan kerangka kerja gambar untuk menggambarkan output kueri (SPARK-26982)
• Penambahan perintah SHOW VIEWS (SPARK-31113)
• Memperbaiki pesan kesalahan SQL parser (SPARK-27901)
• Mendukung pemantauan Prometheus secara native (SPARK-29429)

Peningkatan PySpark

• Pandas UDF yang didesain ulang dengan petunjuk jenis (SPARK-28264)
• Alur Pandas UDF (SPARK-26412)
• Mendukung StructType sebagai argumen dan jenis pengembalian untuk Scalar Pandas UDF (SPARK-27240 )
• Mendukung Dataframe Cogroup melalui PANDAS UDF (SPARK-27463)
• Tambahkan mapInPandas untuk memungkinkan iterator DataFrames (SPARK-28198)
• Fungsi SQL tertentu juga harus mengambil nama kolom (SPARK-26979)
• Menjadikan pengecualian PySpark SQL lebih Pythonic (SPARK-31849)

Peningkatan cakupan pengujian dan dokumentasi

• Membuat Referensi SQL (SPARK-28588)
• Membuat panduan pengguna untuk WebUI (SPARK-28372)
• Membuat halaman untuk dokumentasi konfigurasi SQL (SPARK-30510)
• Menambahkan informasi versi untuk konfigurasi Spark (SPARK-30839)
• Uji regresi port dari PostgreSQL (SPARK-27763)
• Cakupan uji Thrift-server (SPARK-28608)
• Cakupan uji UDF (python UDF, pandas UDF, scala UDF) (SPARK-27921)

Perubahan penting lainnya

• Peningkatan eksekusi Apache Hive bawaan dari 1.2.1 ke 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
• Penggunaan dependensi Apache Hive 2.3 secara default (SPARK-30034)
• GA Scala 2.12 dan hapus 2.11 (SPARK-26132)
• Meningkatkan logika untuk mengatur waktu eksekutor dalam alokasi dinamis (SPARK-20286)
• Blok RDD yang dipertahakan Disk dilayani oleh layanan acak dan diabaikan untuk Alokasi Dinamis (SPARK-27677)
• Mendapatkan eksekutor baru untuk menghindari hang karena blocklisting (SPARK-22148)
• Mengizinkan berbagi alokator kumpulan memori Netty (SPARK-24920)
• Memperbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter$SpillableIterator (SPARK-27338)
• Memperkenalkan API AdmissionControl untuk StructuredStreaming (SPARK-30669)
• Peningkatan performa halaman Utama Riwayat Spark (SPARK-25973)
• Mempercepat dan menurunkan agregasi metrik di pendengar SQL (SPARK-29562)
• Menghindari jaringan saat blok acak diambil dari host yang sama (SPARK-27651)
• Meningkatkan daftar file untuk DistributedFileSystem (SPARK-27801)

Perubahan perilaku untuk Spark Core, SQL Spark, dan Streaming Terstruktur

Panduan migrasi berikut mencantumkan perubahan perilaku antara Apache Spark 2.4 dan 3.0. Perubahan ini mungkin memerlukan pembaruan untuk pekerjaan yang telah Anda jalankan pada versi Databricks Runtime yang lebih rendah:

• Panduan Migrasi: Spark Core
• Panduan Migrasi: SQL, Himpunan Data, dan DataFrame
• Panduan Migrasi: Streaming Terstruktur
• Panduan Migrasi: PySpark (Python on Spark)

Perubahan perilaku berikut tidak tercakup dalam panduan migrasi ini:

• Di Spark 3.0, kelas org.apache.spark.sql.streaming.ProcessingTime yang tidak digunakan lagi telah dihapus. Gunakan org.apache.spark.sql.streaming.Trigger.ProcessingTime sebagai gantinya. Demikian juga, org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger telah dihapus demi Trigger.Continuous, dan org.apache.spark.sql.execution.streaming.OneTimeTrigger telah disembunyikan demi Trigger.Once. (SPARK-28199)
• Di Databricks Runtime 7.0, saat membaca tabel Apache Hive SerDe, secara default Spark melarang membaca file di bawah subdirektori yang bukan partisi tabel. Untuk mengaktifkannya, atur konfigurasi spark.databricks.io.hive.scanNonpartitionedDirectory.enabled sebagai true. Ini tidak memengaruhi pembaca tabel asli Spark dan pembaca file.

MLlib

Sorotan

• Dukungan beberapa kolom ditambahkan ke Binarizer (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) dan PySpark QuantileDiscretizer (SPARK-22796)
• Mendukung transformasi fitur berbasis pohon (SPARK-13677)
• Dua evaluator baru MultilabelClassificationEvaluator (SPARK-16692) dan RankingEvaluator (SPARK-28045) ditambahkan
• Dukungan bobot sampel ditambahkan di DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) dan GaussianMixture (SPARK-30102)
• API R untuk PowerIterationClustering ditambahkan (SPARK-19827)
• Menambahkan pendengar Spark ML untuk melacak status alur ML (SPARK-23674)
• Kecocokan dengan set validasi ditambahkan ke Gradient Boosted Trees di Python (SPARK-24333)
• Transformator RobustScaler ditambahkan (SPARK-28399)
• Pengklasifikasi dan regresi Mesin Faktorisasi ditambahkan (SPARK-29224)
• Gaussian Naive Bayes (SPARK-16872) dan Complement Naive Bayes (SPARK-29942) ditambahkan
• Paritas fungsi ML antara Scala dan Python (SPARK-28958)
• predictRaw dipublikasikan di semua model Klasifikasi. PredictProbability dipublikasikan di semua model Klasifikasi kecuali LinearSVCModel (SPARK-30358)

Perubahan perilaku untuk MLlib

Panduan migrasi berikut mencantumkan perubahan perilaku antara Apache Spark 2.4 dan 3.0. Perubahan ini mungkin memerlukan pembaruan untuk pekerjaan yang telah Anda jalankan pada versi Databricks Runtime yang lebih rendah:

• Panduan Migrasi: MLlib (Pembelajaran Mesin)

Perubahan perilaku berikut tidak tercakup dalam panduan migrasi ini:

• Di Spark 3.0, regresi logistik multikelas di Pyspark sekarang akan (dengan benar) mengembalikan LogisticRegressionSummary, bukan subkelas BinaryLogisticRegressionSummary. Metode tambahan yang diekspos oleh BinaryLogisticRegressionSummary tidak akan bekerja dalam kasus ini pula. (SPARK-31681)
•  Di Spark 3.0, mixins pyspark.ml.param.shared.Has* tidak menyediakan metode setter set*(self, value) lagi, gunakan masing-masing self.set(self.*, value) sebagai gantinya. Lihat SPARK-29093 untuk detailnya. (SPARK-29093)

SparkR

• Pengoptimalan panah dalam interoperabilitas SparkR (SPARK-26759)
• Peningkatan performa melalui vectorized R gapply(), dapply(), createDataFrame, collect()
• "Eager execution" untuk R shell, IDE (SPARK-24572)
• API R untuk Pengklusteran Iterasi Daya (SPARK-19827)

Perubahan perilaku untuk SparkR

Panduan migrasi berikut mencantumkan perubahan perilaku antara Apache Spark 2.4 dan 3.0. Perubahan ini mungkin memerlukan pembaruan untuk pekerjaan yang telah Anda jalankan pada versi Databricks Runtime yang lebih rendah:

• Panduan Migrasi: SparkR (R on Spark)

Penghentian

• Menghentikan dukungan Python 2 (SPARK-27884)
• Menghentikan dukungan R < 3.4 (SPARK-26014)

Masalah umum

• Penguraan hari dalam setahun menggunakan huruf pola 'D' mengembalikan hasil yang salah jika bidang tahun hilang. Ini dapat terjadi dalam fungsi SQL, contohnya to_timestamp, yang memproses string tanggalwaktu menjadi nilai tanggalwaktu menggunakan string pola. (SPARK-31939)
• Join/Window/Agregat di dalam sub-kueri dapat menyebabkan hasil yang salah jika kunci memiliki nilai -0,0 dan 0,0. (SPARK-31958)
• Kueri jendela mungkin gagal dengan kesalahan gabungan mandiri yang ambigu secara tak terduga. (SPARK-31956)
• Kueri streaming dengan operator dropDuplicates mungkin tidak dapat dimulai ulang dengan titik pemeriksaan yang ditulis oleh Spark 2.x. (SPARK-31990)

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 7.0.

Lingkungan sistem

• Sistem Operasi: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R versi 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada tanggal 22-04-2020.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)