Apa yang akan terjadi?

Pelajari tentang fitur dan perubahan perilaku dalam rilis Azure Databricks mendatang.

Azure Databricks memperbarui rentang IP publik keluar untuk layanan sarana kontrol kami mulai 20 Mei 2025.

Pada 20 Mei 2025, Azure Databricks akan menyebarkan komponen baru untuk layanan sarana kontrol kami. Perubahan ini akan meningkatkan keamanan dan ketersediaan dukungan zona untuk layanan bidang kontrol kami. Secara khusus, kami akan memperbarui IP publik sarana kontrol Azure Databricks keluar (keluar) dan tag layanan Azure terkait. Berikut adalah alamat IP yang tercantum untuk setiap wilayah di bawah Service Control Plane NAT.

Ini memengaruhi pelanggan yang menggunakan firewall sumber daya untuk mengontrol akses masuk ke sumber daya mereka. Jika firewall sumber daya Anda secara langsung mereferensikan tag layanan Azure Databricks, tidak ada tindakan yang diperlukan. Jika firewall sumber daya Anda saat ini secara eksplisit mengizinkan IP Publik Pesawat Kontrol Azure Databricks, Anda perlu:

• Tambahkan IP publik pesawat kontrol Azure Databricks keluar tambahan pada 20 Mei 2025. Anda dapat mulai menggunakan IP ini pada 4 Agustus 2025.
• Antara 4 Agustus 2025 dan 30 September 2025, hapus IP publik dari jaringan kontrol luar Azure Databricks untuk wilayah Databricks yang relevan. IP ini digunakan oleh Azure Databricks hingga 4 Agustus, jadi jangan hapus sebelum itu.

Penyempurnaan antarmuka profil kueri

Antarmuka pengguna profil kueri sedang diperbarui untuk meningkatkan kegunaan dan memberikan akses yang lebih cepat ke wawasan utama.

• Panel ringkasan akan menyertakan metrik utama, pratinjau profil kueri yang diminimalkan, dan tautan cepat ke bagian utama halaman profil kueri.
• Panel operator teratas baru akan mencantumkan daftar operator paling intensif sumber daya dengan opsi pemfilteran dan memperlihatkan penyorotan pada tampilan grafik.
• Tata letak yang diperbarui dirancang untuk meningkatkan keterbacaan dan navigasi dari metrik ringkasan ke wawasan terperinci.
• Peningkatan tambahan termasuk penyorotan simpul berbasis kata kunci, daftar eksekusi yang disempurnakan, dan penyempurnaan alur kerja analisis performa kueri.

Perubahan cara kerja untuk opsi daftar direktori inkremental Auto Loader

Dalam rilis Databricks Runtime mendatang, nilai opsi Auto Loader cloudFiles.useIncrementalListing yang tidak digunakan lagi akan, secara default, diatur ke false. Mengatur nilai ini ke false menyebabkan Auto Loader melakukan daftar direktori lengkap setiap kali dijalankan. Saat ini, nilai default opsi cloudFiles.useIncrementalListing adalah auto, menginstruksikan Auto Loader untuk melakukan upaya terbaik dalam mendeteksi apakah daftar inkremental dapat digunakan dengan direktori.

Untuk terus menggunakan fitur daftar bertahap, atur opsi cloudFiles.useIncrementalListing ke auto. Ketika Anda mengatur nilai ini ke auto, Auto Loader akan berupaya keras untuk melakukan pencatatan penuh satu kali setiap tujuh pencatatan bertahap, yang menyerupai perilaku opsi ini sebelum perubahan ini.

Untuk mempelajari selengkapnya tentang opsi daftar direktori Auto Loader, silakan lihat opsi Auto Loader.

Komputasi tanpa server untuk mendapatkan dukungan Scala SDK untuk kredensial layanan

Pembaruan untuk komputasi tanpa server akan mendukung autentikasi yang diatur Katalog Unity ke layanan cloud eksternal menggunakan kredensial layanan dengan Scala SDK. Dukungan Scala untuk autentikasi perwakilan layanan, yang sudah tersedia di Databricks Runtime 16.2 ke atas, menambahkan dukungan untuk mengautentikasi dengan kredensial layanan menggunakan Python SDK. Lihat Mengelola akses ke layanan cloud eksternal menggunakan kredensial layanan.

Perubahan perilaku saat definisi himpunan data dihapus dari alur DLT

Rilis DLT yang akan datang akan mengubah perilaku saat tampilan materialisasi atau tabel streaming dihapus dari alur. Dengan perubahan ini, tampilan materialisasi yang dihapus atau tabel streaming tidak akan dihapus secara otomatis ketika pembaruan alur berikutnya berjalan. Sebagai gantinya, Anda akan dapat menggunakan perintah DROP MATERIALIZED VIEW untuk menghapus tampilan materialisasi atau perintah DROP TABLE untuk menghapus tabel streaming. Setelah menghilangkan objek, menjalankan pembaruan alur tidak akan memulihkan objek secara otomatis. Objek baru dibuat jika tampilan materialisasi atau tabel streaming dengan definisi yang sama ditambahkan kembali ke alur. Namun, Anda dapat memulihkan objek menggunakan perintah UNDROP.

Mengurangi biaya dan memberikan Anda lebih banyak kontrol atas performa vs. biaya untuk komputasi tanpa server dalam alur kerja Anda.

Selain pengoptimalan performa otomatis yang saat ini didukung, peningkatan komputasi tanpa server untuk fitur pengoptimalan alur kerja akan memberi Anda lebih banyak kontrol atas apakah beban kerja dioptimalkan untuk performa atau biaya. Untuk mempelajari selengkapnya, lihat Penghematan biaya pada komputasi tanpa server untuk Notebook, Tugas, dan Alur Kerja.

Perubahan pada atribusi beban kerja komputasi tanpa server

Saat ini, tabel sistem penggunaan yang dapat ditagihkan mungkin menyertakan catatan penagihan SKU serverless dengan nilai null untuk , run_as, job_id, dan job_run_id. Catatan ini mewakili biaya yang terkait dengan sumber daya bersama yang tidak dapat didistribusikan langsung ke beban kerja tertentu.

Untuk membantu menyederhanakan pelaporan biaya, Databricks akan segera mengaitkan biaya bersama ini dengan beban kerja tertentu yang menimbulkannya. Anda tidak akan lagi melihat rekaman penagihan dengan nilai null di bidang pengidentifikasi beban kerja. Saat Anda meningkatkan penggunaan komputasi serverless dan menambahkan lebih banyak beban kerja, proporsi biaya bersama ini pada tagihan Anda akan berkurang saat dibagi di antara lebih banyak beban kerja.

Untuk informasi selengkapnya tentang memantau biaya komputasi tanpa server, lihat Memantau biaya komputasi tanpa server.

Akhir masa dukungan untuk dasbor lama

• 7 April 2025: Dukungan resmi untuk versi terdahulu dashboard akan dihentikan. Hanya masalah keamanan penting dan pemadaman layanan yang akan diatasi.
• 3 November 2025: Databricks akan mulai mengarsipkan dasbor warisan yang belum diakses dalam enam bulan terakhir. Dasbor yang diarsipkan tidak akan lagi dapat diakses, dan proses pengarsipan akan terjadi secara bergulir. Akses ke dasbor yang digunakan secara aktif tidak akan berubah.

Databricks akan bekerja sama dengan pelanggan untuk mengembangkan rencana migrasi untuk dasbor warisan aktif setelah 3 November 2025.

Untuk membantu transisi ke dasbor AI/BI, alat peningkatan tersedia di antarmuka pengguna dan API. Untuk petunjuk tentang cara menggunakan alat migrasi bawaan di UI, lihat Mengkloning dasbor warisan ke dasbor AI/BI. Untuk tutorial tentang membuat dan mengelola dasbor menggunakan REST API di Menggunakan API Azure Databricks untuk mengelola dasbor.

Bidang sourceIpAddress dalam log audit tidak akan lagi menyertakan nomor port

Karena bug, log audit otorisasi dan autentikasi tertentu menyertakan nomor port selain IP di sourceIPAddress bidang (misalnya, "sourceIPAddress":"10.2.91.100:0"). Nomor port, yang dicatat sebagai 0, tidak memberikan nilai nyata dan tidak konsisten dengan sisa log audit Databricks. Untuk meningkatkan konsistensi log audit, Databricks berencana untuk mengubah format alamat IP untuk peristiwa log audit ini. Perubahan ini secara bertahap akan diluncurkan mulai awal Agustus 2024.

Jika log audit berisi sourceIpAddress dari 0.0.0.0, Databricks mungkin berhenti mencatatnya.