Databricks Runtime 8.1 (EoS)

Databricks merilis versi ini pada Maret 2021.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 8.1, yang didukung oleh Apache Spark 3.1.1.

Fitur dan peningkatan baru

• Operator SQL baru mengurangi ETL kompleks pada untai (karakter) JSON
• Mengontrol visibilitas daftar kontrol akses tabel
• Opsi Auto Loader baru memungkinkan performa yang lebih baik
• Autentikasi ke Azure Synapse Analytics dengan OAuth 2.0 dan perwakilan layanan (Pratinjau Umum)
• Menyisipkan kolom IDENTITY secara manual di tabel Azure Synapse Analytics
• Azure Auto Loader sekarang mendukung autentikasi dengan perwakilan layanan untuk operasi antrean
• Lacak kemajuan stream dengan metrik Kafka
• Lacak kemajuan stream dengan metrik sumber stream Delta Lake

Operator SQL baru mengurangi ETL kompleks pada untai (karakter) JSON

Dua operator SQL baru—:: dan :—memungkinkan Anda mengekstrak data dari untai (karakter) JSON dengan mudah.

• Untuk mentransmisikan ekspresi Anda ke jenis data, gunakan titik dua ganda ::. Misalnya, alih-alih menentukan cast(col as int), Anda sekarang dapat mengatakan col::int.
• Untuk mengekstrak bidang dari data semi-terstruktur, gunakan titik dua tunggal :. Jika Anda memiliki kolom STRING yang berisi data JSON, Anda dapat mengekstrak bidang dari JSON string tersebut menggunakan sintaks <json-column>:<field> yang mengekstrak kunci field dari JSON <json-column> Anda sebagai STRING. Anda dapat menggabungkan ini dengan sintaks :: untuk mentransmisikan data ke jenis tertentu.

Misalnya, jika Anda memiliki data JSON:

{
  "store":{
    "bicycle":{
      "price":19.95,
      "color":"red"
    }
  }
}

dan Anda membuat tabel store_data dari data:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

pernyataan SELECT raw:store.bicycle.price::double FROM store_data mengembalikan:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Untuk detailnya, lihat Mengkueri string JSON.

Mengendalikan visibilitas dari daftar kontrol akses tabel

Untuk menghindari kebocoran informasi dengan mencantumkan semua izin yang ditentukan pada tabel, Anda sekarang dapat menjalankan pernyataan SHOW GRANTS [<user>] <object> hanya jika Anda:

• Administrator SQL Databricks atau pemilik <object>.
• Pengguna yang ditentukan dalam [<user>].

Opsi Auto Loader baru memungkinkan performa yang lebih baik

Auto Loader sekarang mendukung opsi baru cloudFiles.fetchParallelism untuk menentukan paralelisme untuk mengambil pesan dari layanan antrean.

Lihat Apa itu Pemuat Otomatis?.

Mengautentikasi ke Azure Synapse Analytics dengan OAuth 2.0 dan perwakilan layanan (Pratinjau Umum)

Konektor Azure Synapse Analytics sekarang mendukung autentikasi dengan OAuth 2.0 dan perwakilan layanan MICROSOFT Entra ID, memungkinkan aplikasi yang memerlukan autentikasi dengan perwakilan layanan, bukan nama pengguna dan kata sandi. Untuk mempelajari selengkapnya, lihat Bagaimana cara kerja autentikasi antara Azure Databricks dan Synapse? untuk konektor Azure Synapse Analytics.

Menyisipkan kolom IDENTITY secara manual di tabel Azure Synapse Analytics

Konektor Azure Synapse Analytics sekarang mendukung penyisipan nilai secara eksplisit ke dalam kolom IDENTITY di tabel Azure Synapse Analytics berdasarkan nilai yang ditetapkan di DataFrames. Dukungan ini tersedia untuk memasukkan data secara batch dan streaming, memungkinkan penggunaan yang memerlukan nilai kolom IDENTITY kustom. Untuk detailnya, lihat identityInsert parameter di referensi opsi konektor Azure Synapse Analytics konektor Azure Databricks Synapse.

Azure Auto Loader sekarang mendukung autentikasi dengan perwakilan layanan untuk operasi antrean

Anda sekarang dapat mengautentikasi dengan perwakilan layanan ID Microsoft Entra yang diberikan izin terkait antrean untuk operasi antrean dengan Auto Loader. Perubahan ini menghapus persyaratan sebelumnya untuk menggunakan string koneksi untuk operasi antrean dan perwakilan layanan untuk operasi peristiwa dan memungkinkan Anda untuk menggunakan perwakilan layanan untuk kedua jenis operasi. Untuk detail selengkapnya, lihat Apa itu Pemuat Otomatis?.

Lacak kemajuan stream dengan metrik Kafka

Sumber streaming Kafka sekarang melaporkan berapa banyak offset yang tertinggal dari konsumen setelah setiap batch. Anda dapat menggunakan metrik ini untuk melacak progres stream. Untuk detail tentang cara melihat metrik, lihat Mengambil metrik Kafka.

Lacak kemajuan stream dengan metrik sumber streaming Delta Lake

Sumber streaming Delta Lake sekarang melaporkan seberapa besar backlog dan berapa banyak file yang ada di backlog setelah setiap batch. Anda dapat menggunakan metrik ini untuk melacak progres stream. Untuk detail tentang cara melihat metrik, lihat Metrik.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • koala ditingkatkan dari 1.5.0 menjadi 1.6.0.
• Pustaka Python yang baru diinstal:
  • plotly 4.14.3
  • retrying 1.3.3
• Meningkatkan R ke 4.0.4 dari 4.0.3.
• Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Diinstal.
• Pustaka Java yang ditingkatkan:
  • jetty dari 9.4.34.v20201102 ke 9.4.36.v20210114
• OpenJDK 8 build ditingkatkan ke Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)

Apache Spark

Databricks Runtime 8.1 menyertakan Apache Spark 3.1.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 8.0 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-34534] Perbaiki urutan blockIds saat menggunakan FetchShuffleBlocks untuk mengambil blok
• [SPARK-34613] [SQL] Tampilan perbaikan tidak menangkap konfigurasi petunjuk penonaktifan
• [SPARK-34392][SQL] Dukungan ZoneOffset +h:mm di DateTimeUtils. getZoneId
• [SPARK-34436][SQL] Dukungan DPP SEPERTI APA PUN/SEMUA ekspresi
• [SPARK-34497] [SQL] Perbaiki penyedia koneksi JDBC bawaan untuk memulihkan perubahan konteks keamanan JVM
• [SPARK-34543] [SQL] Hormati konfigurasi spark.sql.caseSensitive sambil menyelesaikan spesifikasi partisi di v1 SET LOCATION
• [SPARK-34550] [SQL] Melompati nilai nol InSet selama filter push ke metastore Apache Hive
• [SPARK-34531] [CORE] Hapus tag API Eksperimental di PrometheusServlet

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 8.1.

Lingkungan sistem

• Sistem Operasi: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8 (diperbarui dari 3.8.6 pada pembaruan pemeliharaan 26 Mei 2021)
• R: R versi 4.0.4 (2021-02-15)
• Delta Lake 0.8.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada 02-11-2020.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)