Databricks Runtime 9.0 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 9.0 dan Databricks Runtime 9.0 Photon, didukung oleh Apache Spark 3.1.2. Databricks merilis versi ini pada Agustus 2021. Photon berada pada Pratinjau Umum.

Koreksi

Versi sebelumnya dari catatan rilis ini salah menyatakan bahwa dependensi Apache Parquet ditingkatkan dari 1.10 ke 1.12. Faktanya, dependensi Parquet tetap pada versi 1.10. Catatan rilis yang salah telah dihapus.

Fitur dan peningkatan baru

• API baru untuk statistik ringkasan himpunan data (Pratinjau Umum)
• Mengonfigurasi sumber data eksternal yang lebih mudah untuk konektor Azure Synapse
• Secara opsional, membatasi sesi ke durasi yang ditentukan untuk konektor Amazon Redshift
• Auto Loader
• SQL
• Dukungan R
• Menghindari pengulangan dengan menetapkan status awal untuk pemrosesan stateful Streaming Terstruktur
• Implementasi acak rendah dari perintah delta MERGE INTO sekarang tersedia (Pratinjau Umum)

API baru untuk statistik ringkasan kumpulan data (Pratinjau Umum)

Perintah dbutils.data.summarize baru di Databricks Utilities memungkinkan Anda meluncurkan pekerjaan Spark yang secara otomatis menghitung statistik ringkasan pada kolom Spark DataFrame dan kemudian menampilkan hasilnya secara interaktif. Fungsi ini tersedia di Scala dan Python. Lihat Utilitas data (dbutils.data).

Mengonfigurasi sumber data eksternal yang lebih mudah untuk konektor Azure Synapse

Opsi baru externalDataSource dalam data Kueri di konektor Azure Synapse Analytics memungkinkan Anda menggunakan sumber data eksternal yang telah disediakan sebelumnya untuk dibaca dari database Azure Synapse. Opsi externalDataSource menghilangkan kebutuhan akan izin CONTROL yang sebelumnya diperlukan.

Saat mengatur externalDataSource, sumber data eksternal dan opsi tempDir yang digunakan untuk mengonfigurasi penyimpanan sementara harus merujuk ke penampung yang sama di akun penyimpanan.

Secara opsional, membatasi sesi ke durasi yang ditentukan untuk konektor Amazon Redshift

Opsi baru fs.s3a.assumed.role.session.duration di Query Amazon Redshift menggunakan konektor Azure Databricks memungkinkan Anda mengatur durasi sesi secara opsional saat Redshift mengakses wadah S3 sementara dengan peran yang diasumsikan .

Loader Otomatis

• Daftar file yang dioptimalkan
• Penyimpanan data citra yang dioptimalkan
• Gambar mini untuk file biner (Pratinjau Umum)
• Kejadian DirectoryRename memungkinkan pemrosesan atom beberapa file

Daftar file yang dioptimalkan

Pengoptimalan Auto Loader memberikan peningkatan performa dan penghematan biaya saat mencantumkan direktori berlapis di penyimpanan cloud, termasuk AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2), dan Google Cloud Storage (GCS).

Misalnya, jika Anda memiliki file yang diunggah sebagai /some/path/YYYY/MM/DD/HH/fileName, untuk menemukan semua file di direktori ini, Auto Loader melakukan pencatatan paralel untuk semua subdirektori, menyebabkan 365 (per hari) * 24 (per jam) = 8760 LIST panggilan direktori API ke penyimpanan dasar untuk setiap direktori tahun. Dengan menerima respons rata dari sistem penyimpanan ini, Auto Loader mengurangi jumlah panggilan API ke jumlah file dalam sistem penyimpanan dibagi dengan jumlah hasil yang dikembalikan oleh setiap panggilan API (1000 untuk S3, 5000 untuk ADLS Gen2, dan 1024 untuk GCS), sangat mengurangi biaya cloud Anda.

Penyimpanan data citra yang dioptimalkan

Auto Loader kini dapat mendeteksi data citra secara otomatis yang sedang diserap dan mengoptimalkan penyimpanannya di tabel Delta untuk meningkatkan performa baca dan tulis. Lihat Menyerap data gambar atau biner ke Delta Lake untuk ML.

Gambar mini untuk file biner (Pratinjau Publik)

Gambar dalam format binaryFile dimuat atau disimpan sebagai tabel Delta menggunakan Auto Loader memiliki anotasi yang dilampirkan sehingga gambar mini muncul saat Anda menampilkan tabel di notebook Azure Databricks. Untuk informasi selengkapnya, lihat Gambar.

DirectoryRename peristiwa memungkinkan pemrosesan atom beberapa file

Aliran Auto Loader yang dibuat di Databricks Runtime 9.0 dan yang lebih baru di Azure Data Lake Storage Gen2 menyiapkan notifikasi kejadian file untuk menyertakan penggantian nama direktori dan mendengarkan peristiwa RenameDirectory. Anda dapat menggunakan penggantian nama direktori untuk membuat beberapa file muncul secara atomis ke Auto Loader.

SQL

• Mengecualikan kolom di SELECT * (Pratinjau Umum)
• Fungsi bernilai skalar SQL (Pratinjau Umum)
• Mereferensikan alias dan kolom sebelumnya di FROM subkueri (Pratinjau Umum)

Pengecualian kolom di SELECT * (Pratinjau Umum)

SELECT * sekarang mendukung kata kunci EXCEPT, yang memungkinkan Anda mengecualikan kolom tingkat atas yang ditentukan dari perluasan. Misalnya, SELECT * EXCEPT (b) FROM tbl dari tabel dengan skema (a, b, c) diperluas menjadi (a, c).

Fungsi bernilai skalar SQL (Pratinjau Umum)

CREATE FUNCTION sekarang mendukung fungsi bernilai skalar SQL. Anda dapat membuat fungsi bernilai skalar yang mengambil sekumpulan argumen dan mengembalikan satu nilai tipe skalar. Badan fungsi SQL dapat berupa ekspresi apa pun. Contohnya:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Untuk detailnya, lihat (SQL dan Python).

Referensi alias dan kolom sebelumnya di subkueri FROM (Pratinjau Umum)

Subkueri dalam klausa FROM dari kueri sekarang dapat didahului oleh kata kunci LATERAL yang memungkinkannya merujuk alias dan kolom di item FROM sebelumnya. Contohnya:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Kata kunci LATERAL mendukung INNER, CROSS, dan LEFT (OUTER) JOIN.

Lihat Parameter dan Parameter.

Dukungan R

Pustaka R cakupan notebook (Pratinjau Umum)

Pustaka cakupan notebook memungkinkan Anda menginstal pustaka dan membuat lingkungan yang dicakup ke sesi notebook. Pustaka ini tidak memengaruhi buku catatan lain yang berjalan di kluster yang sama. Pustaka tersedia baik di node driver dan pekerja, sehingga Anda dapat mereferensikannya dalam fungsi yang ditentukan pengguna. Lihat Pustaka R cakupan notebook.

Pesan peringatan di notebook R

Nilai default opsi warn sekarang diatur ke 1 di dalam notebook R. Akibatnya, semua peringatan sekarang ditampilkan sebagai bagian dari hasil perintah. Untuk mempelajari lebih lanjut opsi warn, lihat Pengaturan Opsi.

Menghindari pengulangan dengan menentukan status awal untuk pemrosesan stateful Streaming Terstruktur

Anda sekarang dapat menentukan status awal yang ditentukan pengguna untuk pemrosesan stateful streaming terstruktur menggunakan operator [flat]MapGroupsWithState.

Lihat Menentukan status awal untuk mapGroupsWithState.

Implementasi acak rendah dari perintah Delta MERGE INTO sekarang tersedia (Pratinjau Umum)

Perintah Delta MERGE INTO memiliki implementasi baru yang tersedia yang mengurangi pengacakan baris yang tidak dimodifikasi. Ini meningkatkan performa perintah dan membantu mempertahankan pengklusteran yang ada pada tabel, seperti pengurutan Z. Untuk mengaktifkan penggabungan acak rendah, atur spark.databricks.delta.merge.enableLowShuffle ke true. Harap lihat Penggabungan shuffle rendah pada Azure Databricks.

Perbaikan bug

• Anda tidak dapat lagi menimpa tampilan dengan membuat tampilan dengan nama yang sama.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • certifi dari 2021.5.30 ke 2020.12.5
  • chardet dari 3.0.4 ke 4.0.0
  • Cython dari 0.29.21 ke 0.29.23
  • decorator dari 4.4.2 ke 5.0.6
  • ipython dari 7.19.0 ke 7.22.0
  • joblib dari 0.17.0 ke 1.0.1
  • jupyter-client dari 6.1.7 ke 6.1.12
  • jupyter-core dari 4.6.3 ke 4.7.1
  • kiwisolver dari 1.3.0 ke 1.3.1
  • matplotlib dari 3.2.2 ke 3.4.2
  • pandas dari 1.1.5 ke 1.2.4
  • pip dari 20.2.4 ke 21.0.1
  • prompt-toolkit dari 3.0.8 ke 3.0.17
  • protobuf dari 3.17.3 ke 3.17.2
  • ptyprocess dari 0.6.0 ke 0.7.0
  • pyarrow dari 1.0.1 ke 4.0.0
  • Pygments dari 2.7.2 ke 2.8.1
  • pyzmq dari 19.0.2 ke 20.0.0
  • requests dari 2.24.0 ke 2.25.1
  • s3transfer dari 0.3.6 ke 0.3.7
  • scikit-learn dari 0.23.2 ke 0.24.1
  • scipy dari 1.5.2 ke 1.6.2
  • seaborn dari 0.10.0 ke 0.11.1
  • setuptools dari 50.3.1 ke 52.0.0
  • statsmodels dari 0.12.0 ke 0.12.2
  • tornado dari 6.0.4 ke 6.1
  • virtualenv dari 20.2.1 ke 20.4.1
  • roda dari 0.35.1 ke 0.36.2
• Pustaka R yang ditingkatkan:
  • Matriks dari 1,3-3 ke 1,3-4

Apache Spark

Databricks Runtime 9.0 menyertakan Apache Spark 3.1.2. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 8.4 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-35886] [SQL][3.1] PromotePrecision tidak boleh menimpa genCodePromotePrecision tidak boleh menimpa genCode
• [SPARK-35879] [CORE][SHUFFLE] Memperbaiki regresi performa yang disebabkan oleh collectFetchRequests
• [SPARK-35817] [SQL][3.1] Memulihkan performa kueri terhadap tabel Avro lebar
• [SPARK-35841] [SQL] Mentransmisikan string ke tipe desimal tidak berfungsi jika…
• [SPARK-35783] [SQL] Mengatur daftar kolom baca dalam konfigurasi tugas untuk mengurangi pembacaan data ORC
• [SPARK-35576][SQL][3.1] Menyusun info sensitif dalam hasil perintah Set
• [SPARK-35449] [SQL][3.1] Hanya mengekstrak ekspresi umum dari nilai CaseWhen jika elseValue diatur
• [SPARK-35288] [SQL] StaticInvoke harus menemukan metode tanpa kecocokan kelas argumen yang tepat
• [SPARK-34794] [SQL] Memperbaiki masalah nama variabel lambda dalam fungsi DataFrame berlapis
• [SPARK-35278] [SQL] Pemanggilan harus menemukan metode dengan jumlah parameter yang benar
• [SPARK-35226] [SQL] Mendukung opsi refreshKrb5Config di sumber data JDBC
• [SPARK-35244] [SQL] Pemanggilan harus memberikan pengecualian asli
• [SPARK-35213] [SQL] Mempertahankan urutan struct berlapis yang benar dalam operasi berantai withField
• [SPARK-35087] [UI] Beberapa kolom di tabel Agregasi Metrik menurut Executor halaman detail tahapan ditampilkan dengan tidak benar.
• [SPARK-35168] [SQL] mapred.reduce.tasks harus shuffle.partitions bukan adaptif.coalescePartitions.initialPartitionNum
• [SPARK-35127] [UI] Saat kami beralih di antara halaman detail tahapan yang berbeda, item entri di halaman yang baru dibuka mungkin kosong
• [SPARK-35142] [PYTHON][ML] Memperbaiki jenis pengembalian yang salah untuk rawPredictionUDF di OneVsRestModel
• [SPARK-35096] [SQL] SchemaPruning harus mematuhi konfigurasi spark.sql.caseSensitive
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias tidak boleh membuat UnresolvedAlias
• [SPARK-35080] [SQL] Hanya mengizinkan subset predikat kesetaraan berkorelasi ketika kueri bertumpuk dikumpulkan
• [SPARK-35117] [UI] Mengubah bilah kemajuan kembali untuk menyoroti rasio tugas yang sedang berlangsung
• [SPARK-35136] Menghapus nilai null awal LiveStage.info
• [SPARK-34834] [NETWORK] Memperbaiki potensi kebocoran memori Netty di TransportResponseHandler
• [SPARK-35045][SQL] Menambahkan opsi internal untuk mengontrol buffer input dalam univocity
• [SPARK-35014] Perbaiki pola PhysicalAggregation untuk tidak menulis ulang ekspresi yang dapat dilipat
• [SPARK-35019] [PYTHON][SQL] Memperbaiki jenis petunjuk ketidakcocokan di pyspark.sql.*
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() harus menghormati nilai partisi adalah null
• [SPARK-34630] [PYTHON] Menambahkan typehint untuk versi pyspark.
• [SPARK-34963] [SQL] Memperbaiki pemangkasan kolom berlapis untuk mengekstraksi bidang penataan yang tidak sensitif dari berbagai struktur
• [SPARK-34988] [CORE][3.1] Meningkatkan Jetty untuk CVE-2021-28165
• [SPARK-34922] [SQL][3.1] Menggunakan fungsi perbandingan biaya relatif di CBO
• [SPARK-34970] [SQL][SECURITY][3.1] Menyusun opsi tipe peta dalam output dari explain()
• [SPARK-34923] [SQL] Output metadata harus kosong untuk lebih banyak paket
• [SPARK-34949] [CORE] Mencegah pendaftaran ulang BlockManager saat Executor dimatikan
• [SPARK-34939] [CORE] Memberikan pengecualian kegagalan pengambilan saat tidak dapat membatalkan serialisasi status peta yang disiarkan
• [SPARK-34909] [SQL] Memperbaiki konversi negatif menjadi tidak ditandatangani di conv()
• [SPARK-34845] [CORE] ProcfsMetricsGetter seharusnya tidak mengembalikan metrik procfs parsial
• [SPARK-34814] [SQL] LikeSimplification seharusnya menangani NULL
• [SPARK-34876] [SQL] Mengisi defaultResult dari agregat yang tidak dapat dibatalkan
• [SPARK-34829] [SQL] Memperbaiki hasil fungsi urutan yang lebih tinggi
• [SPARK-34840] [SHUFFLE] Memperbaiki kasus korupsi dalam penggabungan shuffle …
• [SPARK-34833] [SQL] Menerapkan pengisi kanan dengan benar untuk subkueri berkorelasi
• [SPARK-34630] [PYTHON][SQL] Menambahkan typehint untuk pyspark.sql.Column.contains
• [SPARK-34763] [SQL] col(), $"name" dan df("name") harus menangani nama kolom yang dikutip dengan benar
• [SPARK-33482][SPARK-34756] [SQL] Perbaiki pemeriksaan kesetaraan FileScan
• [SPARK-34790] [CORE] Menonaktifkan pengambilan blok acak dalam batch saat enkripsi io diaktifkan
• [SPARK-34803] [PYSPARK] Meneruskan ImportError yang muncul jika pandas atau pyarrow gagal diimpor
• [SPARK-34225] [CORE] Jangan menyandikan lebih lanjut saat string formulir URI diteruskan ke addFile atau addJar
• [SPARK-34811] [CORE] Menyusun fs.s3a.access.key seperti rahasia dan token
• [SPARK-34796] [SQL][3.1] Menginisialisasi variabel penghitung untuk LIMIT code-gen di doProduce()
• [SPARK-34128] [SQL] Menekan peringatan TTransportException yang tidak diinginkan yang terlibat dalam THRIFT-4805
• [SPARK-34776] [SQL] Pemangkasan kolom berlapis tidak boleh memangkas atribut yang dihasilkan Jendela
• [SPARK-34087] [3.1][SQL] Memperbaiki kebocoran memori ExecutionListenerBus
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords harus menggunakan Spark classloader alih-alih konteks
• [SPARK-34719] [SQL][3.1] Menyelesaikan kueri tampilan dengan benar dengan nama kolom duplikat
• [SPARK-34766] [SQL][3.1] Jangan mengambil konfigurasi maven untuk tampilan
• [SPARK-34731] [CORE] Menghindari ConcurrentModificationException saat menyusun properti di EventLoggingListener
• [SPARK-34737] [SQL][3.1] Memasukkan float input menjadi dua kali lipat di TIMESTAMP_SECONDS
• [SPARK-34749] [SQL][3.1] Menyederhanakan ResolveCreateNamedStruct
• [SPARK-34768][SQL] Menghormati ukuran buffer input default di Univocity
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists tidak boleh gagal jika database tidak ada
• [SPARK-34504] [SQL] Menghindari penyelesaian tampilan SQL yang tidak perlu untuk perintah DDL
• [SPARK-34727] [SQL] Memperbaiki perbedaan dalam transmisi float ke stempel waktu
• [SPARK-34723] [SQL] Jenis parameter yang benar untuk eliminasi subekspresi di seluruh tahap
• [SPARK-34724] [SQL] Memperbaiki evaluasi yang ditafsirkan dengan menggunakan getMethod alih-alih getDeclaredMethod
• [SPARK-34713] [SQL] Memperbaiki grup oleh CreateStruct dengan ExtractValue
• [SPARK-34697] [SQL] Izinkan DESCRIBE FUNCTION dan SHOW FUNCTIONS menjelaskan tentang || (operator penggabungan string)
• [SPARK-34682] [SQL] Menggunakan PrivateMethodTester alih-alih refleksi
• [SPARK-34682] [SQL] Memperbaiki regresi dalam pemeriksaan kesalahan kanonisasi di CustomShuffleReaderExec
• [SPARK-34681] [SQL] Memperbaiki bug untuk gabungan hash diacak luar penuh saat membangun sisi kiri dengan kondisi yang tidak sama
• [SPARK-34545] [SQL] Memperbaiki masalah dengan fitur valueCompare dari pyrolite
• [SPARK-34607] [SQL][3.1] Menambahkan Utils.isMemberClass untuk memperbaiki kesalahan nama kelas yang salah pada jdk8u
• [SPARK-34596] [SQL] Menggunakan Utils.getSimpleName untuk menghindari menabrak nama kelas yang salah di NewInstance.doGenCode
• [SPARK-34613] [SQL] Tampilan perbaikan tidak menangkap konfigurasi petunjuk penonaktifan
• [SPARK-32924] [WEBUI] Membuat kolom durasi di UI master diurutkan dalam urutan yang benar
• [SPARK-34482] [SS] Memperbaiki SparkSession aktif untuk StreamExecution.logicalPlan
• [SPARK-34567] [SQL] CreateTableAsSelect juga harus memperbarui metrik
• [SPARK-34599] [SQL] Perbaiki masalah yang INSERT INTO OVERWRITE tidak mendukung kolom partisi yang berisi titik untuk DSv2
• [SPARK-34577] [SQL] Memperbaiki hapus/tambahkan kolom ke himpunan data DESCRIBE NAMESPACE
• [SPARK-34584] [SQL] Partisi statis juga harus mengikuti StoreAssignmentPolicy saat dimasukkan ke tabel v2
• [SPARK-34555] [SQL] Menyelesaikan output metadata dari DataFrame
• [SPARK-34534] Perbaiki urutan blockIds saat menggunakan FetchShuffleBlocks untuk mengambil blok
• [SPARK-34547] [SQL] Hanya menggunakan kolom metadata untuk resolusi sebagai upaya terakhir
• [SPARK-34417] [SQL] org.Apache.spark.sql.DataFrameNaFunctions.fillMap gagal untuk nama kolom yang memiliki titik
• [SPARK-34561] [SQL] Perbaiki hapus/tambahkan kolom dari/ke himpunan data dari DESCRIBE TABLE v2
• [SPARK-34556] [SQL] Memeriksa duplikat kolom partisi statis harus menghormati konfigurasi peka huruf besar-kecil
• [SPARK-34392][SQL] Dukungan ZoneOffset +h:mm di DateTimeUtils. getZoneId
• [SPARK-34550] [SQL] Melompati nilai nol InSet selama filter push ke metastore Apache Hive
• [SPARK-34543] [SQL] Hormati konfigurasi spark.sql.caseSensitive saat menyelesaikan spesifikasi partisi di SET LOCATION v1
• [SPARK-34436][SQL] Dukungan DPP SEPERTI APA PUN/SEMUA ekspresi
• [SPARK-34531] [CORE] Hapus tag API Eksperimental di PrometheusServlet
• [SPARK-34497] [SQL] Memperbaiki penyedia sambungan JDBC bawaan untuk memulihkan perubahan konteks keamanan JVM
• [SPARK-34515] [SQL] Memperbaiki NPE jika InSet berisi nilai null selama getPartitionsByFilter
• [SPARK-34490] [SQL] Analisis akan gagal jika tampilan merujuk pada tabel yang dihapus
• [SPARK-34473] [SQL] Menghindari NPE di DataFrameReader.schema(StructType)
• [SPARK-34384] [CORE] Menambahkan dokumen yang hilang untuk API ResourceProfile
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext mungkin bertahan dengan masalah ras
• [SPARK-20977] [CORE] Menggunakan bidang non-final untuk status CollectionAccumulator
• [SPARK-34421] [SQL] Selesaikan fungsi dan tampilan sementara dalam tampilan dengan CFT
• [SPARK-34431] [CORE] Hanya memuat hive-site.xml sekali
• [SPARK-34405] [CORE] Memperbaiki nilai rata-rata timersLabels di kelas PrometheusServlet
• [SPARK-33438] [SQL] Inisiasi objek dengan SQL Confs yang ditentukan untuk perintah set -v
• [SPARK-34158] URL salah dari satu-satunya pengembang Matei di pom.xml
• [SPARK-34346] [CORE][SQL][3.1] io.file.buffer.size yang diatur oleh spark.buffer.size akan mengambil alih dengan memuat hive-site.xml secara tidak sengaja dapat menyebabkan regresi performa
• [SPARK-34359] [SQL][3.1] Tambahkan konfigurasi warisan untuk memulihkan skema output SHOW DATABASES
• [SPARK-34331] [SQL] Mempercepat resolusi col metadata DS v2
• [SPARK-34318] [SQL][3.1] Dataset.colRegex harus bekerja dengan nama kolom dan kualifikasi yang berisi baris baru
• [SPARK-34326] [CORE][SQL] Memperbaiki UT yang ditambahkan di SPARK-31793 bergantung pada panjang jalur temp
• [SPARK-34319] [SQL] Menyelesaikan atribut duplikat untuk FlatMapCoGroupsInPandas/MapInPandas
• [SPARK-34310] [CORE][SQL] Mengganti peta dan meratakan dengan flatMap
• [SPARK-34083] [SQL][3.1] Menggunakan definisi asli TPCDS untuk kolom char/varchar
• [SPARK-34233] [SQL][3.1] FIX NPE untuk pelapisan char dalam perbandingan biner
• [SPARK-34270] [SS] Combine StateStoreMetrics tidak boleh mengambil alih StateStoreCustomMetric
• [SPARK-34144] [SQL] Pengecualian diberikan saat mencoba menulis nilai LocalDate dan Instan ke relasi JDBC
• [SPARK-34273] [CORE] Jangan daftar ulang BlockManager saat SparkContext dihentikan
• [SPARK-34262] [SQL][3.1] Refresh data cache tabel v1 di ALTER TABLE .. SET LOCATION
• [SPARK-34275] [CORE][SQL][MLLIB] Mengganti filter dan ukuran dengan hitungan
• [SPARK-34260] [SQL] Memperbaiki UnresolvedException saat membuat tampilan temp dua kali
• [SPARK-33867] [SQL] Nilai Instant dan LocalDate tidak ditangani saat membuat kueri SQL
• [SPARK-34193] [CORE] TorrentBroadcast memblokir pengelola yang menonaktifkan perbaikan race
• [SPARK-34221] [WEBUI] Memastikan jika suatu tahap gagal di halaman UI, pesan kesalahan yang sesuai dapat ditampilkan dengan benar
• [SPARK-34236] [SQL] Memperbaiki v2 Timpa dengan peningkatan partisi statis null Tidak dapat menerjemahkan ekspresi ke filter sumber: null
• [SPARK-34212] [SQL] Memperbaiki pembacaan desimal yang salah dari file Parquet
• [SPARK-34244] [SQL] Menghapus versi fungsi Scala dari regexp_extract_all
• [SPARK-34235] [SS] Menjadikan spark.sql.hive sebagai paket pribadi
• [SPARK-34232] [CORE] Menyusun peristiwa SparkListenerEnvironmentUpdate di log
• [SPARK-34229] [SQL] Avro harus membaca nilai desimal dengan skema file
• [SPARK-34223] [SQL] FIX NPE untuk partisi statis dengan null di InsertIntoHadoopFsRelationCommand
• [SPARK-34192] [SQL] Memindahkan pelapisan char ke sisi tulis dan menghapus cek panjang di sisi baca juga
• [SPARK-34203] [SQL] Mengubah nilai partisi null menjadi __HIVE_DEFAULT_PARTITION__ di katalog v1 In-Memory
• [SPARK-33726] [SQL] Perbaikan untuk nama bidang Duplikat selama Agregasi
• [SPARK-34133] [AVRO] Menghormati sensitivitas huruf besar-kecil saat melakukan pencocokan bidang Catalyst-to-Avro
• [SPARK-34187] [SS] Menggunakan rentang offset yang tersedia yang diperoleh selama polling saat memeriksa validasi offset
• [SPARK-34052] [SQL][3.1] menyimpan teks SQL untuk tampilan sementara yang dibuat menggunakan "CACHE TABLE .. AS SELECT ..."
• [SPARK-34213] [SQL] Merefresh data cache tabel v1 di LOAD DATA
• [SPARK-34191] [PYTHON][SQL] Menambahkan pengetikan untuk kelebihan beban udf
• [SPARK-34200] [SQL] Referensi kolom ambigu harus mempertimbangkan ketersediaan atribut
• [SPARK-33813] [SQL][3.1] Memperbaiki masalah bahwa sumber JDBC tidak dapat menangani jenis spasial MS SQL Server
• [SPARK-34178] [SQL] Menyalin tag untuk simpul baru yang dibuat oleh MultiInstanceRelation.newInstance
• [SPARK-34005] [CORE][3.1] Memperbarui metrik memori puncak untuk setiap Executor di akhir tugas
• [SPARK-34115] [CORE] Mencentang SPARK_TESTING sebagai lazy val untuk menghindari pelambatan
• [SPARK-34153] [SQL][3.1][3.0] Menghapus getRawTable() yang tidak digunakan dari HiveExternalCatalog.alterPartitions()
• [SPARK-34130] [SQL] Meningkatkan kinerja untuk lapisan char varchar dan pemeriksaan panjang dengan StaticInvoke
• [SPARK-34027] [SQL][3.1] Refresh cache di ALTER TABLE .. RECOVER PARTITIONS
• [SPARK-34151] [SQL] Mengganti java.io.File.toURL dengan java.io.File.toURI.toURL
• [SPARK-34140] [SQL][3.1] Memindahkan QueryCompilationErrors.scala ke org/Apache/spark/sql/errors
• [SPARK-34080] [ML][PYTHON] Menambahkan UnivariateFeatureSelector
• [SPARK-33790] [CORE][3.1] Mengurangi panggilan rpc dari getFileStatus di SingleFileEventLogFileReader
• [SPARK-34118] [CORE][SQL][3.1] Mengganti filter dan memeriksa kekosongan dengan yang ada atau untuk semua
• [SPARK-34114] [SQL] tidak boleh dipangkas dengan benar untuk pemeriksaan dan pelapisan panjang karakter sisi baca
• [SPARK-34086] [SQL][3.1] RaiseError menghasilkan terlalu banyak kode dan mungkin gagal dalam pemeriksaan panjang kode untuk char varchar
• [SPARK-34075] [SQL][CORE] Direktori tersembunyi terdaftar untuk inferensi partisi
• [SPARK-34076] [SQL] SQLContext.dropTempTable gagal jika cache tidak kosong
• [SPARK-34084] [SQL][3.1] Memperbaiki pembaruan otomatis statistik tabel di ALTER TABLE .. ADD PARTITION
• [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled hasil yang digunakan di KafkaTokenUtil.needTokenUpdate
• [SPARK-34069] [CORE] Mengakhiri tugas penghalang harus menghormati SPARK_JOB_INTERRUPT_ON_CANCEL
• [SPARK-34091] [SQL] Pengambilan batch acak harus dapat dinonaktifkan setelah diaktifkan
• [SPARK-34059] [SQL][CORE][3.1] Menggunakan for/foreach daripada map untuk memastikan mengeksekusinya dengan benar
• [SPARK-34002] [SQL] Memperbaiki penggunaan encoder di ScalaUDF
• [SPARK-34060] [SQL][3.1] Memperbaiki penembolokan tabel Hive saat memperbarui statistik dengan ALTER TABLE .. DROP PARTITION
• [SPARK-31952] [SQL] Memperbaiki metrik peluapan memori yang salah saat melakukan Agregat
• [SPARK-33591] [SQL][3.1] Mengenali null dalam nilai spesifikasi partisi
• [SPARK-34055] [SQL][3.1] Merefresh cache di ALTER TABLE .. ADD PARTITION
• [SPARK-34039] [SQL][3.1] ReplaceTable akan membatalkan cache
• [SPARK-34003] [SQL] Memperbaiki konflik Aturan antara PaddingAndLengthCheckForCharVarchar dan ResolveAggregateFunctions
• [SPARK-33938] [SQL][3.1] Mengoptimalkan Like Any/All dengan LikeSimplification
• [SPARK-34021] [R] Memperbaiki tautan hiper dalam dokumentasi SparkR untuk pengiriman CRAN
• [SPARK-34011] [SQL][3.1][3.0] Refresh cache di ALTER TABLE .. RENAME TO PARTITION
• [SPARK-33948] [SQL] Memperbaiki kesalahan CodeGen dari metode MapObjects.doGenCode di Scala 2.13
• [SPARK-33635] [SS] Menyesuaikan urutan pemeriksaan di KafkaTokenUtil.needTokenUpdate untuk memperbaiki regresi performa
• [SPARK-33029] [CORE][WEBUI] Memperbaiki halaman pelaksana UI yang salah menandai driver sebagai dikecualikan
• [SPARK-34015] [R] Memperbaiki pengaturan waktu input di gapply
• [SPARK-34012] [SQL] Mempertahankan perilaku yang konsisten saat konfigurasi spark.sql.legacy.parser.havingWithoutGroupByAsWhere benar dengan panduan migrasi
• [SPARK-33844] [SQL][3.1] Perintah InsertIntoHiveDir juga harus memeriksa nama col
• [SPARK-33935] [SQL] Memperbaiki fungsi biaya CBO
• [SPARK-33100] [SQL] Mengabaikan titik koma di dalam komentar tanda kurung di spark-sql
• [SPARK-34000] [CORE] Memperbaiki stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
• [SPARK-33992] [SQL] menimpa transformUpWithNewOutput untuk menambahkan allowInvokingTransformsInAnalyzer
• [SPARK-33894] [SQL] Ubah visibilitas kelas kasus pribadi di mllib untuk menghindari kesalahan kompilasi runtime dengan Scala 2.13
• [SPARK-33950] [SQL][3.1][3.0] Refresh cache di v1 ALTER TABLE .. DROP PARTITION
• [SPARK-33980] [SS] Membatalkan char/varchar di spark.readStream.schema
• [SPARK-33945] [SQL][3.1] Menangani benih acak yang terdiri dari pohon expr
• [SPARK-33398] Memperbaiki pemuatan model pohon sebelum Spark 3.0
• [SPARK-33963] [SQL] Menganonikalisasi HiveTableRelation tanpa statistik tabel
• [SPARK-33906] [WEBUI] Memperbaiki bug halaman Executor UI yang macet karena peakMemoryMetrics yang tidak ditentukan
• [SPARK-33944] [SQL] Pengelogan salah untuk kunci gudang di opsi SharedState
• [SPARK-33936] [SQL][3.1] Menambahkan versi saat antarmuka konektor ditambahkan
• [SPARK-33916] [CORE] Memperbaiki offset penyimpanan cadangan dan meningkatkan cakupan uji codec pemadatan
• [SPARK-33899] [SQL][3.1] Perbaiki kegagalan pernyataan dalam v1 SHOW TABLES/VIEWS pada spark_catalog
• [SPARK-33901] [SQL] Memperbaiki kesalahan tampilan Char dan Varchar setelah DDL
• [SPARK-33897] [SQL] Tidak dapat mengatur opsi 'cross' dalam metode gabung
• [SPARK-33907] [SQL][3.1] Hanya memangkas kolom JsonToStructs jika opsi penguraian kosong
• [SPARK-33621][SPARK-33784] [SQL][3.1] Tambahkan cara untuk menyuntikkan aturan penulisan ulang sumber data
• [SPARK-33900] [WEBUI] Menmpilkan ukuran / catatan baca acak dengan benar ketika hanya remotebytesread yang tersedia
• [SPARK-33892] [SQL] Tampilkan char/varchar di DESC dan SHOW CREATE TABLE
• [SPARK-33895] [SQL] Char dan Varchar gagal di MetaOperation of ThriftServer
• [SPARK-33659] [SS] Mendokumentasikan perilaku saat ini untuk DataStreamWriter.toTable API
• [SPARK-33893] [CORE] Mengecualikan pengelola blok cadangan dari executorList
• [SPARK-33277] [PYSPARK][SQL] Menggunakan ContextAwareIterator untuk berhenti menggunakan setelah tugas berakhir
• [SPARK-33889] [SQL][3.1] Memperbaiki NPE dari SHOW PARTITIONS pada tabel V2
• [SPARK-33879] [SQL] Nilai Char Varchar gagal dengan kesalahan pencocokan sebagai kolom partisi
• [SPARK-33877] [SQL] Dokumen referensi SQL untuk INSERT dengan daftar kolom
• [SPARK-33876] [SQL] Menambahkan pemeriksaan panjang untuk membaca char/varchar dari tabel dengan lokasi eksternal
• [SPARK-33846] [SQL] Menyertakan Komentar untuk skema berlapis di StructType.toDDL
• [SPARK-33860] [SQL] Menjadikan CatalystTypeConverters.convertToCatalyst cocok dengan nilai Array khusus
• [SPARK-33834] [SQL] Verifikasi ALTER TABLE PERUBAHAN COLUMN dengan Char dan Varchar
• [SPARK-33853] [SQL] EXPLAIN CODEGEN dan BenchmarkQueryTest tidak menampilkan kode subkueri
• [SPARK-33836] [SS][PYTHON] Mengekspos DataStreamReader.table dan DataStreamWriter.toTable
• [SPARK-33829] [SQL][3.1] Mengganti nama tabel v2 harus membuat ulang cache
• [SPARK-33756] [SQL] Menjadikan MapIterator BytesToBytesMap idempoten
• [SPARK-33850] [SQL] EXPLAIN FORMATTED tidak menampilkan rencana untuk subkueri jika AQE diaktifkan
• [SPARK-33841] [CORE][3.1] Perbaiki masalah dengan pekerjaan yang terputus-putus dari SHS di bawah beban tinggi
• [SPARK-33593] [SQL] Pembaca vektor mendapatkan data yang salah dengan nilai partisi biner
• [SPARK-26341] [WEBUI] Mengekspos metrik memori pelaksana di tingkat tahapan, di tab Tahapan
• [SPARK-33831] [UI] Memperbarui ke jetty 9.4.34
• [SPARK-33822] [SQL] Menggunakan metode CastSupport.cast di HashJoin
• [SPARK-33774] [UI][CORE] Back to Master” mengembalikan 500 kesalahan di kluster Standalone
• [SPARK-26199][SPARK-31517] [R] Perbaiki strategi untuk penanganan ... nama-nama dalam mutasi
• [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader harus package private
• [SPARK-33697] [SQL] RemoveRedundantProjects harus memerlukan pengurutan kolom secara default
• [SPARK-33752] [SQL][3.1] Menghindari getSimpleMessage dari AnalysisException menambahkan titik koma berulang kali
• [SPARK-33788] [SQL][3.1][3.0][2.4] Memberikan NoSuchPartitionsException dari HiveExternalCatalog.dropPartitions()
• [SPARK-33803] [SQL] Urutkan properti tabel menurut kunci dalam perintah DESCRIBE TABLE
• [SPARK-33786] [SQL] Tingkat penyimpanan untuk cache harus diperhatikan saat nama tabel diubah
• [SPARK-33273] [SQL] Memperbaiki kondisi race dalam eksekusi kueri bertumpuk
• [SPARK-33653] [SQL][3.1] DSv2: REFRESHREFRESH TABLE harus mencache ulang tabel itu sendiri
• [SPARK-33777] [SQL] Mengurutkan keluaran V2 SHOW PARTITIONS
• [SPARK-33733] [SQL] PullOutNondeterministic akan memeriksa dan mengumpulkan bidang deterministik
• [SPARK-33764] [SS] Menjadikan interval pemeliharaan penyimpanan status sebagai konfigurasi SQL
• [SPARK-33729] [SQL] Saat refresh cache, Spark tidak boleh menggunakan paket yang di-cache saat menyimpan ulang data
• [SPARK-33742] [SQL][3.1] Memberikan PartitionsAlreadyExistException dari HiveExternalCatalog.createPartitions()
• [SPARK-33706] [SQL] Memerlukan pengidentifikasi partisi yang ditentukan sepenuhnya di partitionExists()
• [SPARK-33740] [SQL] konfigurasi hadoop di hive-site.xml dapat menggantikan hadoop yang sudah ada sebelumnya
• [SPARK-33692] [SQL] Tampilan harus menggunakan katalog dan ruang nama yang diambil untuk fungsi pencarian
• [SPARK-33669] Pesan kesalahan salah dari monitor status aplikasi YARN saat sc.stop dalam mode klien yarn
• [SPARK-32110] [SQL] menormalkan bilangan float khusus di HyperLogLog++
• [SPARK-33677] [SQL] Melewati Aturan LikeSimplification jika pola berisi escapeChar apa pun
• [SPARK-33693] [SQL] menghentikan penggunaan spark.sql.hive.convertCTAS
• [SPARK-33641] [SQL] Membatalkan jenis char/varchar baru di API publik yang menghasilkan hasil yang salah
• [SPARK-32680] [SQL] Jangan lakukan Pra-proses pada CTAS V2 dengan Kueri yang Belum Terselesaikan
• [SPARK-33676] [SQL] Memerlukan pencocokan persis dari spesifikasi partisi dengan skema di V2 ALTER TABLE .. ADD/DROP PARTITION
• [SPARK-33670] [SQL] Verifikasi bahwa penyedia partisi adalah Apache Hive di v1 SHOW TABLE EXTENDED
• [SPARK-33663] [SQL] Uncaching tidak boleh dipanggil pada tampilan temp yang tidak ada
• [SPARK-33667] [SQL] Memauhi konfigurasi spark.sql.caseSensitive saat menyelesaikan spesifikasi partisi di v1 SHOW PARTITIONS
• [SPARK-33652] [SQL] DSv2: DeleteFrom harus merefresh cache

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 9.0.

Lingkungan sistem

• Sistem Operasi: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.0 (2021-05-18)
• Delta Lake 1.0.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada 28-07-2021.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)