Databricks Runtime 3.5 LTS (EoS)

Databricks merilis versi ini pada Desember 2017. Itu dinyatakan sebagai Dukungan Jangka Panjang (LTS) pada Januari 2018. Dukungan berakhir pada 2 Januari 2020.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 3.5, yang didukung oleh Apache Spark.

Perubahan dan peningkatan

• Menambahkan repartitionByRange ke Dataset API.

• Menambahkan "Heap Histogram" ke halaman Pelaksana UI Spark untuk driver dan pelaksana. Histogram heap menunjukkan ukuran total dan jumlah instans untuk setiap kelas di heap, yang memungkinkan penggunaan untuk dengan mudah memahami cara berbagai jenis kelas menggunakan memori heap dari driver atau eksekutor.

  

  

• Peningkatan performa fungsi jendela.

• Alat penyiapan pustaka Python yang ditingkatkan dari 36.6.0 menjadi 38.2.3.
• Meningkatkan beberapa pustaka R yang diinstal sebelumnya. Untuk detailnya, lihat Pustaka R Prainstal.
• Perbaikan bug dan peningkatan stabilitas.

Apache Spark

Databricks Runtime 3.5 termasuk Apache Spark 2.2.1. Rilis ini mencakup semua perbaikan dan peningkatan yang disertakan dalam Databricks Runtime 3.4 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-20557][SQL] Hanya mendukung TIMESTAMP WITH TIME ZONE untuk Oracle Dialect
• [SPARK-21652][SQL] Memperbaiki konflik aturan antara InferFiltersFromConstraints dan Aturan Pengurangan Filter lainnya
• [SPARK-22721] Memori puncak BytesToBytesMap tidak diperbarui.
• [SPARK-22431][SQL] Pastikan bahwa jenis data dalam skema untuk metadata tabel/tampilan dapat diurai oleh Spark sebelum mempertahankannya
• [SPARK-22686][SQL] DROP TABLE IF EXISTS seharusnya tidak menampilkan AnalysisException
• [SPARK-21652][SQL] Memperbaiki konflik aturan antara InferFiltersFromConstraints dan ConstantPropagation
• [SPARK-22162] Pelaksana dan driver harus menggunakan JobID yang konsisten dalam protokol commit RDD
• [SPARK-22635][SQL][ORC] FileNotFoundException saat membaca file ORC yang berisi karakter khusus
• [SPARK-22601][SQL] Pemuatan data berhasil ditampilkan dengan menyediakan jalur file nonlokal yang tidak ada
• [SPARK-22653] executorAddress terdaftar di CoarseGrainedSchedulerBac…
• [SPARK-22373] Versi ketergantungan Bump Janino untuk memperbaiki masalah keamanan utas…
• [SPARK-22637][SQL] Hanya refresh rencana logis sekali.
• [SPARK-22603][SQL] Perbaiki masalah batas bytecode JVM 64KB dengan FormatString
• [SPARK-22595][SQL] perbaiki uji coba yang tidak konsisten: CastSuite.SPARK-22500: cast untuk struct seharusnya tidak menghasilkan kode melebihi 64KB
• [SPARK-22591][SQL] GenerateOrdering seharusnya tidak mengubah CodegenContext.INPUT_ROW
• [SPARK-17920][SPARK-19580][SPARK-19878][SQL] Dukungan menulis ke tabel Apache Hive yang menggunakan url skema Avro 'avro.schema.url'
• [SPARK-22548][SQL] Ekspresi DAN bersarang salah didorong ke sumber data JDBC
• [SPARK-22500][SQL] Perbaiki masalah batasan bytecode JVM 64KB dengan cast
• [SPARK-22550][SQL] Perbaiki masalah batas bytecode JVM 64KB dengan elt
• [SPARK-22508][SQL] Perbaiki masalah batas bytecode JVM 64KB dengan GenerateUnsafeRowJoiner.create()
• [SPARK-22549][SQL] Perbaiki masalah batas bytecode JVM 64KB dengan concat_ws
• [SPARK-22498][SQL] Perbaiki masalah batas bytecode JVM 64KB dengan concat
• [SPARK-22544][SS] FileStreamSource harus menggunakan hadoop conf-nya sendiri untuk memanggil globPathIfNecessary
• [SPARK-22538][ML] SQLTransformer tidak boleh menghentikan set data input yang mungkin di-cache
• [SPARK-22540][SQL] Memastikan HighCompressedMapStatus menghitung avgSize yang benar
• [SPARK-22535][PYSPARK] Tidur sebelum menghentikan pekerja python di PythRunner.MonitorThread (cabang-2.2)
• [SPARK-22501][SQL] Perbaiki masalah batas bytecode JVM 64KB dengan di
• [SPARK-22494][SQL] Perbaiki pengecualian batas 64KB dengan Coalesce dan AtleastNonNonNulls
• [SPARK-22499][SQL] Perbaiki masalah batas bytecode JVM 64KB dengan fungsi least dan greatest
• [SPARK-22479][SQL] Mengecualikan kredensial dari SaveintoDataSourceCommand.simpleString
• [SPARK-22469][SQL] Masalah akurasi dibandingkan dengan string dan numerik
• [SPARK-22721] penggunaan memori puncak BytesToBytesMap tidak akurat setelah reset()
• [SPARK-22614] API Kumpulan Data: repartitionByRange(…)
• [SPARK-22471][SQL] SQLListener menghabiskan banyak memori yang menyebabkan OutOfMemoryError
• [SPARK-22442][SQL] ScalaReflection harus menghasilkan nama bidang yang benar untuk karakter khusus
• [SPARK-21694][R][ML] Mengurangi iterasi maksimal dalam pengujian SVM Linear di R untuk mempercepat pembuatan AppVeyor
• [SPARK-22464][SQL] Tidak dilakukan pushdown untuk predikat partisi metastore Apache Hive yang mengandung kesetaraan null-safe
• [SPARK-22488][SQL] Perbaiki masalah resolusi tampilan di API tabel internal SparkSession ()
• [SPARK-21720][SQL] Perbaiki masalah batas bytecode JVM 64KB dengan AND atau OR
• [SPARK-21667][STREAMING] ConsoleSink tidak boleh menggagalkan kueri streaming dengan opsi checkpointLocation
• [SPARK-19644][SQL] Membersihkan sampah refleksi Scala setelah membuat Encoder (cabang-2.2)
• [SPARK-22284][SQL] Perbaiki masalah batas bytecode JVM 64KB dalam menghitung hash untuk struktur berlapis
• [SPARK-22243][DSTREAM] spark.yarn.jars harus memuat ulang dari konfigurasi saat pemulihan pos pemeriksaan
• [SPARK-22344][SPARKR] membersihkan direktori instal jika menjalankan tes sebagai paket sumber
• [SPARK-22472][SQL] tambahkan pemeriksaan null untuk nilai primitif tingkat atas
• [SPARK-22403][SS] Menambahkan argumen checkpointLocation opsional ke contoh StructuredKafkaWordCount
• [SPARK-22281][SPARKR] Menangani metode R yang melanggar perubahan tanda tangan
• [SPARK-22417][PYTHON] Memperbaiki untuk createDataFrame dari pandas.DataFrame dengan stempel waktu
• [SPARK-22315][SPARKR] Peringatkan jika versi paket SparkR tidak cocok dengan SparkContext
• [SPARK-22429][STREAMING] Kode titik pemeriksaan streaming tidak mencoba lagi setelah gagal
• [SPARK-22211][SQL] Hapus pushdown batas FOJ yang salah
• [SPARK-22306][SQL] mengubah skema tabel tidak boleh menghapus metadata wadah di sisi sarang
• [SPARK-22333][SQL] timeFunctionCall(CURRENT_DATE, CURRENT_TIMESTAMP) memiliki konflik dengan columnReference
• [SPARK-19611][SQL] mengatur dataSchema dengan benar di HiveMetastoreCatalog.convertToLogicalRelation
• [SPARK-22291][SQL] Kesalahan konversi saat mengubah tipe larik uuid, inet, dan cidr ke StingType di PostgreSQL
• [SPARK-22344][SPARKR] Atur java.io.tmpdir untuk pengujian SparkR
• [SPARK-19727][SQL] Fix untuk fungsi bulat yang memodifikasi kolom asli
• [SPARK-22445][SQL] Menghormati kebutuhan turunan sisi aliranCopyResult di BroadcastHashJoin
• [SPARK-22542][SQL] menghapus fitur yang tidak digunakan di ColumnarBatch
• [SPARK-17310] Menambahkan opsi untuk menonaktifkan filter tingkat rekaman di sisi Parket
• [SPARK-22514][SQL] memindahkan ColumnVector.Array dan ColumnarBatch.Row ke file individual
• [SPARK-22222][SPARK-22033] Memperbaiki ARRAY_MAX di BufferHolder dan tambahkan tes
• [SPARK-10365][SQL] Mendukung tipe logika Parket TIMESTAMP_MICROS
• [SPARK-22356]tabel sumber data [SQL] harus mendukung kolom yang tumpang tindih antara skema data dan partisi
• [SPARK-22355][SQL] Dataset.collect bukan threadsafe
• [SPARK-22328][CORE] ClosureCleaner tidak boleh melewatkan bidang superkelas yang dirujuk
• [SPARK-17902][R] Menghidupkan kembali opsi stringsAsFactors untuk collect() di SparkR
• [SPARK-22227][CORE] DiskBlockManager.getAllBlocks sekarang mentoleransi file temp
• [SPARK-22319][CORE] memanggil loginUserFromKeytab sebelum mengakses hdfs
• [SPARK-21551][PYTHON] Menambah batas waktu untuk PythonRDD.serveIterator
• [SPARK-22249][SQL] Periksa apakah daftar nilai untuk IN kosong di pengoptimal
• [SPARK-22271][SQL] berarti luapan dan mengembalikan nol untuk beberapa variabel desimal
• [SPARK-22249][SQL] isin dengan daftar kosong menghasilkan pengecualian pada DataFrame yang di-cache
• [SPARK-22223][SQL] ObjectHashAggregate seharusnya tidak memperkenalkan pergantian yang tidak perlu
• [SPARK-21549][CORE] Menghormati OutputFormats dengan direktori keluaran tidak/tidak valid disediakan
• [SPARK-22273][SQL] Perbaiki nama bidang skema kunci/nilai di HashMapGenerators.
• [SPARK-14387][SPARK-16628][SPARK-18355][SQL] Gunakan skema Spark untuk membaca tabel ORC alih-alih skema file ORC
• [SPARK-22252][SQL] FileFormatWriter harus menghormati skema kueri input
• [SPARK-22217][SQL] ParquetFileFormat untuk mendukung OutputCommitters arbitrer
• [SPARK-21907][CORE] oom selama peluapan
• [SPARK-22218] layanan gerak acak spark gagal memperbarui kode rahasia pada percobaan ulang aplikasi
• [SPARK-21549][CORE] Menghormati OutputFormats tanpa direktori output yang disediakan
• [SPARK-22445][SQL] memindahkan CodegenContext.copyResult ke CodegenSupport
• [SPARK-22408][SQL] RelationalGroupedDataset perhitungan nilai pivot yang berbeda meluncurkan tahapan yang tidak perlu
• [SPARK-17788][SPARK-21033][SQL] memperbaiki potensi OOM di UnsafeExternalSorter dan ShuffleExternalSorter
• [SPARK-22385][SQL] MapObjects tidak boleh mengakses elemen daftar menurut indeks
• [SPARK-22355][SQL] Dataset.collect bukan threadsafe
• [SPARK-21055][SQL] ganti grouping__id dengan grouping_id()
• [SPARK-21762][SQL] Kumpulan metrik FileFormatWriter/BasicWriteTaskStatsTracker gagal jika file baru belum terlihat

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 3.5.

Lingkungan sistem

• Sistem Operasi: Ubuntu 16.04.3 LTS
• Java: 1.8.0_151
• Scala: 2.10.6 (versi kluster Scala 2.10)/2.11.8 (versi kluster Scala 2.11)
• Python: 2.7.12 (atau 3.5.2 jika menggunakan Python 3)
• R: R versi 3.4.2 (28-09-2017)
• Kluster GPU: Pustaka GPU NVIDIA berikut diinstal:
• Driver Tesla 375.66
• CUDA 8.0
• CUDNN 6.0

Pustaka Python yang sudah diinstal sebelumnya

Pustaka R Prainstal

Pustaka Java dan Scala yang telah diinstal sebelumnya (versi kluster Scala 2.10)

Pustaka Java dan Scala yang telah diinstal sebelumnya (versi kluster Scala 2.11)