Juli 2019
Fitur-fitur ini dan peningkatan platform Azure Databricks dirilis pada Juli 2019.
Catatan
Rilis dilakukan bertahap. Akun Azure Databricks Anda mungkin tidak diperbarui hingga seminggu setelah tanggal rilis awal.
Segera hadir: Databricks 6.0 tidak akan mendukung Python 2
Untuk mengantisipasi akhir masa pakai Python 2 yang akan datang, yang diumumkan untuk tahun 2020, Python 2 tidak akan didukung di Databricks Runtime 6.0. Versi Databricks Runtime sebelumnya akan terus mendukung Python 2. Kami berharap untuk merilis Databricks Runtime 6.0 nanti pada tahun 2019.
Muat lebih dulu versi Databricks Runtime pada instans {i>pool idle
30 Juli-6 Agustus 2019: Versi 2.103
Anda sekarang dapat mempercepat peluncuran kluster yang didukung kumpulan dengan memilih versi Databricks Runtime yang akan dimuat pada instans {i>idlepoolPreloaded Spark Version.
Tag kluster kustom dan tag kumpulan bermain lebih baik bersama
30 Juli-6 Agustus 2019: Versi 2.103
Awal bulan ini, Azure Databricks memperkenalkan fitur kumpulan, yaitu sekumpulan instans yang menganggur yang membantu Anda memulai kluster dengan cepat. Dalam rilis asli, kluster yang didukung kumpulan mewarisi tag default dan kustom dari konfigurasi kumpulan, dan Anda tidak dapat memodifikasi tag ini di tingkat kluster. Sekarang Anda dapat mengonfigurasi tag kustom khusus untuk kluster yang didukung kumpulan, dan kluster itu akan menerapkan semua tag kustom, baik yang diwarisi dari kumpulan atau ditetapkan ke kluster tersebut secara khusus. Anda tidak dapat menambahkan tag kustom khusus kluster dengan nama kunci yang sama dengan tag kustom yang diwarisi dari kumpulan (yaitu, Anda tidak dapat mengganti tag kustom yang diwarisi dari kumpulan). Untuk detailnya, lihat Tag kumpulan.
MLflow 1.1 menghadirkan beberapa peningkatan antarmuka pengguna dan API
30 Juli-6 Agustus 2019: Versi 2.103
MLflow 1.1 memperkenalkan beberapa fitur baru untuk meningkatkan kegunaan antarmuka pengguna dan API:
Antarmuka pengguna gambaran umum eksekusi sekarang memungkinkan Anda menelusuri beberapa halaman berjalan jika jumlah eksekusi melebihi 100. Setelah eksekusi ke-100, klik tombol Muat lebih banyak untuk memuat 100 eksekusi berikutnya.
![Eksekusi bernomor]()
Antarmuka pengguna eksekusi perbandingan sekarang menyediakan plot koordinat paralel. Plot ini memungkinkan Anda mengamati hubungan antara sekumpulan parameter dan metrik n-dimensi. Ini memvisualisasikan semua eksekusi sebagai baris yang dikodekan warna berdasarkan nilai metrik (misalnya, akurasi), dan menunjukkan nilai parameter yang diambil setiap eksekusi.
![Plot koordinat paralel]()
Sekarang Anda dapat menambahkan dan mengedit tag dari antarmuka pengguna ikhtisar eksekusi dan melihat tag dalam tampilan pencarian eksperimen.
API MLflowContext yang baru memungkinkan Anda membuat dan mencatat eksekusi dengan cara yang mirip dengan API Python. API ini kontras dengan API tingkat rendah yang MlflowClient ada, yang hanya membungkus API REST.
Anda sekarang dapat menghapus tag dari eksekusi MLflow menggunakan DELETETAG API.
Untuk detailnya, lihat posting blog MLflow 1.1. Untuk daftar lengkap fitur dan perbaikan, lihat MLflow Changelog.
pandas DataFrame menampilkan render seperti di Jupyter
30 Juli-6 Agustus 2019: Versi 2.103
Sekarang ketika Anda memanggil panda DataFrame, itu akan merender dengan cara yang sama seperti di Jupyter.
![Menampilkan DataFrame pandas]()
Wilayah Baru
30 Juli 2019
Azure Databricks sekarang tersedia di wilayah tambahan berikut:
- Korea Tengah
- Afrika Selatan Utara
Batas koneksi metastore yang diperbarui
16 - 23 Juli 2019: Versi 2.102
Ruang kerja Azure Databricks baru di eastus, eastus2, centralus, westus, westus2, westeurope, northeurope akan memiliki batas koneksi metastore yang lebih tinggi sebesar 250. Ruang kerja yang ada akan terus menggunakan metastore saat ini tanpa gangguan dan terus memiliki batas koneksi 100.
Mengatur izin pada kumpulan (Pratinjau Publik)
16 - 23 Juli 2019: Versi 2.102
Antarmuka pengguna kumpulan sekarang mendukung pengaturan izin tentang siapa yang dapat mengelola kumpulan dan siapa yang dapat melampirkan kluster ke kumpulan.
Untuk detailnya, lihat Izin kumpulan.
Databricks Runtime 5.5 untuk Pembelajaran Mesin
15 Juli 2019
Databricks Runtime 5.5 ML dibangun di atas Databricks Runtime 5.5 LTS (EoS). Ini berisi banyak perpustakaan pembelajaran mesin populer, termasuk TensorFlow, PyTorch, Keras, dan XGBoost, dan menyediakan pelatihan TensorFlow terdistribusi menggunakan Horovod.
Rilis ini mencakup fitur dan peningkatan baru berikut:
- Menambahkan paket MLflow 1.0 Python
- Pustaka pembelajaran mesin yang ditingkatkan
- TensorFlow ditingkatkan dari 1.12.0 ke 1.13.1
- PyTorch ditingkatkan dari 0.4.1 ke 1.1.0
- scikit-learn ditingkatkan dari 0.19.1 ke 0.20.3
- Operasi node tunggal untuk HorovodRunner
Untuk detailnya, lihat Databricks Runtime 5.5 LTS untuk ML (EoS).
Runtime Databricks 5.5
15 Juli 2019
Databricks Runtime 5.5 sekarang tersedia. Databricks Runtime 5.5 mencakup Apache Spark 2.4.3, pustaka Python, R, Java, dan Scala yang ditingkatkan, dan fitur-fitur baru berikut:
- Delta Lake di Azure Databricks dengan Pengoptimalan Otomatis Ketersediaan Umum
- Delta Lake di Azure Databricks meningkatkan performa kueri agregasi minimal, maksimal, dan hitungan
- Alur inferensi model yang lebih cepat dengan sumber data file biner yang ditingkatkan dan pandas iterator skalar UDF (Pratinjau Umum)
- API Rahasia di buku catatan R
Untuk detailnya, lihat Databricks Runtime 5.5 LTS (EoS).
Tetap siagakan kumpulan instans untuk peluncuran kluster cepat (Pratinjau Umum)
9 - 11 Juli 2019: Versi 2.101
Untuk mengurangi waktu mulai kluster, Azure Databricks sekarang mendukung melampirkan kluster ke kumpulan instans idle yang telah ditentukan sebelumnya. Ketika dilampirkan ke kumpulan, kluster mengalokasikan {i>node driver idle
Azure Databricks tidak menagih biaya DBU saat instans tidak aktif di kumpulan. Tagihan penyedia instans tetap berlaku. Lihat harga.
Untuk detailnya, lihat Referensi konfigurasi kumpulan.
Metrik Ganglia
9 - 11 Juli 2019: Versi 2.101
Ganglia adalah sistem pemantauan terdistribusi yang dapat diskalakan yang sekarang tersedia di kluster Azure Databricks. Metrik Ganglia membantu Anda memantau performa dan kesehatan kluster. Anda dapat mengakses metrik Ganglia dari halaman detail kluster:
Untuk detail tentang menggunakan dan mengonfigurasi metrik, lihat metrik Ganglia.
Warna seri global
9 - 11 Juli 2019: Versi 2.101
Anda sekarang dapat menentukan bahwa warna seri harus konsisten di semua bagan di {i>notebookKonsistensi warna di seluruh bagan.
![Warna seri global]()
30 Juli-6 Agustus 2019: Versi 2.103
Anda sekarang dapat mempercepat peluncuran kluster yang didukung kumpulan dengan memilih versi Databricks Runtime yang akan dimuat pada instans {i>idle
Tag kluster kustom dan tag kumpulan bermain lebih baik bersama
30 Juli-6 Agustus 2019: Versi 2.103
Awal bulan ini, Azure Databricks memperkenalkan fitur kumpulan, yaitu sekumpulan instans yang menganggur yang membantu Anda memulai kluster dengan cepat. Dalam rilis asli, kluster yang didukung kumpulan mewarisi tag default dan kustom dari konfigurasi kumpulan, dan Anda tidak dapat memodifikasi tag ini di tingkat kluster. Sekarang Anda dapat mengonfigurasi tag kustom khusus untuk kluster yang didukung kumpulan, dan kluster itu akan menerapkan semua tag kustom, baik yang diwarisi dari kumpulan atau ditetapkan ke kluster tersebut secara khusus. Anda tidak dapat menambahkan tag kustom khusus kluster dengan nama kunci yang sama dengan tag kustom yang diwarisi dari kumpulan (yaitu, Anda tidak dapat mengganti tag kustom yang diwarisi dari kumpulan). Untuk detailnya, lihat Tag kumpulan.
MLflow 1.1 menghadirkan beberapa peningkatan antarmuka pengguna dan API
30 Juli-6 Agustus 2019: Versi 2.103
MLflow 1.1 memperkenalkan beberapa fitur baru untuk meningkatkan kegunaan antarmuka pengguna dan API:
Antarmuka pengguna gambaran umum eksekusi sekarang memungkinkan Anda menelusuri beberapa halaman berjalan jika jumlah eksekusi melebihi 100. Setelah eksekusi ke-100, klik tombol Muat lebih banyak untuk memuat 100 eksekusi berikutnya.
Antarmuka pengguna eksekusi perbandingan sekarang menyediakan plot koordinat paralel. Plot ini memungkinkan Anda mengamati hubungan antara sekumpulan parameter dan metrik n-dimensi. Ini memvisualisasikan semua eksekusi sebagai baris yang dikodekan warna berdasarkan nilai metrik (misalnya, akurasi), dan menunjukkan nilai parameter yang diambil setiap eksekusi.
Sekarang Anda dapat menambahkan dan mengedit tag dari antarmuka pengguna ikhtisar eksekusi dan melihat tag dalam tampilan pencarian eksperimen.
API MLflowContext yang baru memungkinkan Anda membuat dan mencatat eksekusi dengan cara yang mirip dengan API Python. API ini kontras dengan API tingkat rendah yang
MlflowClientada, yang hanya membungkus API REST.Anda sekarang dapat menghapus tag dari eksekusi MLflow menggunakan DELETETAG API.
Untuk detailnya, lihat posting blog MLflow 1.1. Untuk daftar lengkap fitur dan perbaikan, lihat MLflow Changelog.
pandas DataFrame menampilkan render seperti di Jupyter
30 Juli-6 Agustus 2019: Versi 2.103
Sekarang ketika Anda memanggil panda DataFrame, itu akan merender dengan cara yang sama seperti di Jupyter.
Wilayah Baru
30 Juli 2019
Azure Databricks sekarang tersedia di wilayah tambahan berikut:
- Korea Tengah
- Afrika Selatan Utara
Batas koneksi metastore yang diperbarui
16 - 23 Juli 2019: Versi 2.102
Ruang kerja Azure Databricks baru di eastus, eastus2, centralus, westus, westus2, westeurope, northeurope akan memiliki batas koneksi metastore yang lebih tinggi sebesar 250. Ruang kerja yang ada akan terus menggunakan metastore saat ini tanpa gangguan dan terus memiliki batas koneksi 100.
Mengatur izin pada kumpulan (Pratinjau Publik)
16 - 23 Juli 2019: Versi 2.102
Antarmuka pengguna kumpulan sekarang mendukung pengaturan izin tentang siapa yang dapat mengelola kumpulan dan siapa yang dapat melampirkan kluster ke kumpulan.
Untuk detailnya, lihat Izin kumpulan.
Databricks Runtime 5.5 untuk Pembelajaran Mesin
15 Juli 2019
Databricks Runtime 5.5 ML dibangun di atas Databricks Runtime 5.5 LTS (EoS). Ini berisi banyak perpustakaan pembelajaran mesin populer, termasuk TensorFlow, PyTorch, Keras, dan XGBoost, dan menyediakan pelatihan TensorFlow terdistribusi menggunakan Horovod.
Rilis ini mencakup fitur dan peningkatan baru berikut:
- Menambahkan paket MLflow 1.0 Python
- Pustaka pembelajaran mesin yang ditingkatkan
- TensorFlow ditingkatkan dari 1.12.0 ke 1.13.1
- PyTorch ditingkatkan dari 0.4.1 ke 1.1.0
- scikit-learn ditingkatkan dari 0.19.1 ke 0.20.3
- Operasi node tunggal untuk HorovodRunner
Untuk detailnya, lihat Databricks Runtime 5.5 LTS untuk ML (EoS).
Runtime Databricks 5.5
15 Juli 2019
Databricks Runtime 5.5 sekarang tersedia. Databricks Runtime 5.5 mencakup Apache Spark 2.4.3, pustaka Python, R, Java, dan Scala yang ditingkatkan, dan fitur-fitur baru berikut:
- Delta Lake di Azure Databricks dengan Pengoptimalan Otomatis Ketersediaan Umum
- Delta Lake di Azure Databricks meningkatkan performa kueri agregasi minimal, maksimal, dan hitungan
- Alur inferensi model yang lebih cepat dengan sumber data file biner yang ditingkatkan dan pandas iterator skalar UDF (Pratinjau Umum)
- API Rahasia di buku catatan R
Untuk detailnya, lihat Databricks Runtime 5.5 LTS (EoS).
Tetap siagakan kumpulan instans untuk peluncuran kluster cepat (Pratinjau Umum)
9 - 11 Juli 2019: Versi 2.101
Untuk mengurangi waktu mulai kluster, Azure Databricks sekarang mendukung melampirkan kluster ke kumpulan instans idle yang telah ditentukan sebelumnya. Ketika dilampirkan ke kumpulan, kluster mengalokasikan {i>node driver
Azure Databricks tidak menagih biaya DBU saat instans tidak aktif di kumpulan. Tagihan penyedia instans tetap berlaku. Lihat harga.
Untuk detailnya, lihat Referensi konfigurasi kumpulan.
Metrik Ganglia
9 - 11 Juli 2019: Versi 2.101
Ganglia adalah sistem pemantauan terdistribusi yang dapat diskalakan yang sekarang tersedia di kluster Azure Databricks. Metrik Ganglia membantu Anda memantau performa dan kesehatan kluster. Anda dapat mengakses metrik Ganglia dari halaman detail kluster:
Untuk detail tentang menggunakan dan mengonfigurasi metrik, lihat metrik Ganglia.
Warna seri global
9 - 11 Juli 2019: Versi 2.101
Anda sekarang dapat menentukan bahwa warna seri harus konsisten di semua bagan di {i>notebook