Catatan rilis yang diarsipkan

Artikel
01/24/2025

Ringkasan

Azure HDInsight adalah salah satu layanan paling populer di kalangan konsumen perusahaan untuk analitik sumber terbuka pada Azure. Berlangganan Catatan Rilis HDInsight untuk informasi terbaru tentang HDInsight dan semua versi HDInsight.

Untuk berlangganan, klik tombol "watch" di banner dan perhatikan Rilis HDInsight.

Informasi Rilis

Tanggal rilis: 22 Okt 2024

Catatan

Ini adalah Hotfix / rilis pemeliharaan untuk Penyedia Sumber Daya. Untuk informasi selengkapnya lihat, Penyedia Sumber Daya.

Azure HDInsight secara berkala merilis pembaruan pemeliharaan untuk memberikan perbaikan bug, peningkatan performa, dan patch keamanan yang memastikan Anda tetap terkini dengan pembaruan ini menjamin performa dan keandalan yang optimal.

Catatan rilis ini berlaku untuk

Versi HDInsight 5.1.

Versi HDInsight 5.0.

Versi HDInsight 4.0.

Rilis HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Catatan rilis ini berlaku untuk nomor gambar 2409240625. Bagaimana cara memeriksa nomor gambar?

HDInsight menggunakan praktik penyebaran yang aman yang melibatkan penyebaran wilayah secara bertahap. Mungkin perlu waktu hingga 10 hari kerja agar rilis baru atau versi baru tersedia di semua wilayah.

Versi OS

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Catatan

Ubuntu 18.04 didukung di bawah Extended Security Maintenance (ESM) oleh tim Azure Linux untuk Azure HDInsight Juli 2023, rilis dan seterusnya.

Untuk versi tertentu beban kerja, lihat Versi komponen HDInsight 5.x.

Diperbarui

Dukungan autentikasi berbasis MSI tersedia untuk penyimpanan blob Azure.
- Azure HDInsight sekarang mendukung autentikasi berbasis OAuth untuk mengakses penyimpanan Azure Blob dengan memanfaatkan Azure Active Directory (AAD) dan identitas terkelola (MSI). Dengan peningkatan ini, HDInsight menggunakan identitas terkelola yang ditetapkan pengguna untuk mengakses penyimpanan blob Azure. Untuk informasi selengkapnya, lihat identitas terkelola untuk sumber daya Azure.
Layanan HDInsight beralih untuk menggunakan load balancer standar untuk semua konfigurasi klusternya karena pengumuman penghentian load balancer dasar Azure.

Catatan

Perubahan ini tersedia di semua wilayah. Buat ulang kluster Anda untuk menggunakan perubahan ini. Untuk bantuan apa pun, hubungi dukungan.

Penting

Saat menggunakan Virtual Network (VNet kustom) Anda sendiri selama pembuatan kluster, perhatikan bahwa pembuatan kluster tidak akan berhasil setelah perubahan ini diaktifkan. Sebaiknya lihat panduan migrasi untuk membuat ulang kluster. Untuk bantuan apa pun, hubungi dukungan.

Segera datang

Penghentian VM seri A Dasar dan Standar.
- Pada 31 Agustus 2024, kami akan menghentikan VM dasar dan seri A Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD).
- Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.
Pemberitahuan Penghentian untuk HDInsight 4.0 dan HDInsight 5.0.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Microsoft Q&A.

Kami mendengarkan: Anda dipersilakan untuk menambahkan lebih banyak ide dan topik lain di sini dan memilihnya - HDInsight Ideas dan mengikuti kami untuk pembaruan lebih lanjut di Komunitas AzureHDInsight.

Catatan

Kami menyarankan pelanggan untuk menggunakan versi terbaru Gambar HDInsight saat mereka membawa pembaruan sumber terbuka terbaik, pembaruan Azure, dan perbaikan keamanan. Untuk informasi selengkapnya, lihat Praktik terbaik.

Tanggal rilis: 30 Agu 2024

Catatan

Ini adalah Hotfix / rilis pemeliharaan untuk Penyedia Sumber Daya. Untuk informasi selengkapnya lihat, Penyedia Sumber Daya.

Catatan rilis ini berlaku untuk

Versi HDInsight 5.1.

Versi HDInsight 5.0.

Versi HDInsight 4.0.

Rilis HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Catatan rilis ini berlaku untuk nomor gambar 2407260448. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Catatan

Ubuntu 18.04 didukung di bawah Extended Security Maintenance (ESM) oleh tim Azure Linux untuk Azure HDInsight Juli 2023, rilis dan seterusnya.

Untuk versi tertentu beban kerja, lihat Versi komponen HDInsight 5.x.

Masalah diperbaiki

Perbaikan bug DB default.

Segera datang

Penghentian VM seri A Dasar dan Standar.
- Pada 31 Agustus 2024, kami akan menghentikan VM dasar dan seri A Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD).
- Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.
Pemberitahuan Penghentian untuk HDInsight 4.0 dan HDInsight 5.0.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Microsoft Q&A.

Catatan

Tanggal rilis: 09 Agustus 2024

Catatan rilis ini berlaku untuk

Versi HDInsight 5.1.

Versi HDInsight 5.0.

Versi HDInsight 4.0.

Rilis HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Catatan rilis ini berlaku untuk nomor gambar 2407260448. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Catatan

Ubuntu 18.04 didukung di bawah Extended Security Maintenance (ESM) oleh tim Azure Linux untuk Azure HDInsight Juli 2023, rilis dan seterusnya.

Untuk versi tertentu beban kerja, lihat Versi komponen HDInsight 5.x.

Pembaruan

Penambahan Agen Azure Monitor untuk Analitik Log di HDInsight

Penambahan SystemMSI dan DCR Otomatis untuk analitik Log, mengingat penghentian pengalaman Azure Monitor Baru (pratinjau).

Catatan

Nomor Gambar efektif 2407260448, pelanggan yang menggunakan portal untuk analitik log akan memiliki pengalaman Agen Azure Monitor default. Jika Anda ingin beralih ke pengalaman Azure Monitor (pratinjau), Anda dapat menyematkan kluster Anda ke gambar lama dengan membuat permintaan dukungan.

Tanggal rilis: 05 Jul 2024

Catatan

Ini adalah Hotfix / rilis pemeliharaan untuk Penyedia Sumber Daya. Untuk informasi selengkapnya lihat, Penyedia Sumber Daya

Memperbaiki masalah

Tag HOBO menimpa tag pengguna.
- Tag HOBO menimpa tag pengguna pada sub-sumber daya dalam pembuatan kluster HDInsight.

Tanggal rilis: 19 Jun 2024

Catatan rilis ini berlaku untuk

Versi HDInsight 5.1.

Versi HDInsight 5.0.

Versi HDInsight 4.0.

Rilis HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Catatan rilis ini berlaku untuk nomor gambar 2406180258. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Catatan

Ubuntu 18.04 didukung di bawah Extended Security Maintenance (ESM) oleh tim Azure Linux untuk Azure HDInsight Juli 2023, rilis dan seterusnya.

Untuk versi tertentu beban kerja, lihat Versi komponen HDInsight 5.x.

Memperbaiki masalah

Peningkatan keamanan
- Peningkatan penggunaan Tag untuk kluster sejalan dengan persyaratan SFI .
- Peningkatan skrip pemeriksaan sesuai persyaratan SFI .
Peningkatan dalam HDInsight Log Analytics dengan dukungan Identitas Terkelola Sistem untuk Penyedia Sumber Daya HDInsight.
Penambahan aktivitas baru untuk meningkatkan mdsd versi agen untuk gambar lama (dibuat sebelum 2024).
Mengaktifkan MISE di gateway sebagai bagian dari peningkatan berkelanjutan untuk Migrasi MSAL.
Masukkan Spark Thrift Server Httpheader hiveConf ke Jetty HTTP ConnectionFactory.
Kembalikan RANGER-3753 dan RANGER-3593.

Implementasi setOwnerUser yang diberikan dalam rilis Ranger 2.3.0 memiliki masalah regresi kritis saat digunakan oleh Apache Hive. Di Ranger 2.3.0, ketika HiveServer2 mencoba mengevaluasi kebijakan, Klien Ranger mencoba mendapatkan pemilik tabel hive dengan memanggil Metastore dalam fungsi setOwnerUser yang pada dasarnya melakukan panggilan ke penyimpanan untuk memeriksa akses untuk tabel tersebut. Masalah ini menyebabkan kueri berjalan lambat saat Apache Hive berjalan pada 2.3.0 Ranger.

Wilayah baru ditambahkan

Italia Utara
Israel Tengah
Spanyol Tengah
Meksiko Tengah
Jio India Tengah

Tambahkan ke Catatan Arsip Juni 2024

Segera datang

Penghentian VM seri A Dasar dan Standar.
- Pada 31 Agustus 2024, kami akan menghentikan VM dasar dan seri A Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD).
- Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.
Pemberitahuan Penghentian untuk HDInsight 4.0 dan HDInsight 5.0.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Microsoft Q&A.

Catatan

Tanggal rilis: 16 Mei 2024

Catatan rilis ini berlaku untuk

Versi HDInsight 5.0.

Versi HDInsight 4.0.

Rilis HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Catatan rilis ini berlaku untuk nomor gambar 2405081840. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Catatan

Ubuntu 18.04 didukung di bawah Extended Security Maintenance (ESM) oleh tim Azure Linux untuk Azure HDInsight Juli 2023, rilis dan seterusnya.

Untuk versi tertentu beban kerja, lihat Versi komponen HDInsight 5.x.

Masalah yang diperbaiki

Menambahkan API di gateway untuk mendapatkan token untuk Keyvault, sebagai bagian dari inisiatif SFI.
Di tabel Monitor HDInsightSparkLogs log baru, untuk jenis SparkDriverLoglog , beberapa bidang hilang. Contohnya,LogLevel & Message. Rilis ini menambahkan bidang yang hilang ke skema dan pemformatan tetap untuk SparkDriverLog.
Log Livy tidak tersedia dalam tabel pemantauan SparkDriverLog Analitik Log, yang disebabkan oleh masalah dengan jalur sumber log Livy dan regex penguraian log dalam SparkLivyLog konfigurasi.
Setiap kluster HDInsight, yang menggunakan ADLS Gen2 sebagai akun penyimpanan utama dapat memanfaatkan akses berbasis MSI ke salah satu sumber daya Azure (misalnya, SQL, Keyvaults) yang digunakan dalam kode aplikasi.

Segera datang

Penghentian VM seri A Dasar dan Standar.
- Pada 31 Agustus 2024, kami akan menghentikan VM dasar dan seri A Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD).
- Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.
Pemberitahuan Penghentian untuk HDInsight 4.0 dan HDInsight 5.0.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Microsoft Q&A.

Catatan

Tanggal rilis: 15 April 2024

Catatan rilis ini berlaku untuk versi HDInsight 5.1.

Rilis HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Catatan rilis ini berlaku untuk nomor gambar 2403290825. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Catatan

Ubuntu 18.04 didukung di bawah Extended Security Maintenance (ESM) oleh tim Azure Linux untuk Azure HDInsight Juli 2023, rilis dan seterusnya.

Untuk versi tertentu beban kerja, lihat Versi komponen HDInsight 5.x.

Masalah yang diperbaiki

Perbaikan bug untuk Ambari DB, Apache Hive Warehouse Controller (HWC), Spark, HDFS
Perbaikan bug untuk modul analitik log untuk HDInsightSparkLogs
Perbaikan CVE untuk Penyedia Sumber Daya HDInsight.

Segera datang

Penghentian VM seri A Dasar dan Standar.
- Pada 31 Agustus 2024, kami akan menghentikan VM dasar dan seri A Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD).
- Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.
Pemberitahuan Penghentian untuk HDInsight 4.0 dan HDInsight 5.0.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Microsoft Q&A.

Catatan

Tanggal rilis: 15 Februari 2024

Rilis ini berlaku untuk versi HDInsight 4.x dan 5.x. Rilis HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Rilis ini berlaku untuk nomor gambar 2401250802. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Catatan

Ubuntu 18.04 didukung di bawah Extended Security Maintenance (ESM) oleh tim Azure Linux untuk Azure HDInsight Juli 2023, rilis dan seterusnya.

Untuk versi tertentu beban kerja, lihat

Versi komponen HDInsight 5.x

Fitur baru

Dukungan Apache Ranger untuk Spark SQL di Spark 3.3.0 (HDInsight versi 5.1) dengan paket keamanan Enterprise. Baca selengkapnya mengenai hal ini di sini.

Masalah yang diperbaiki

Perbaikan keamanan dari komponen Ambari dan Oozie

Segera datang

Penghentian VM seri A Dasar dan Standar.
- Pada 31 Agustus 2024, kami akan menghentikan VM dasar dan seri A Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD).
- Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Tanya Jawab Microsoft

Catatan

Langkah berikutnya

Azure HDInsight: Pertanyaan yang sering diajukan
Mengonfigurasi jadwal patching OS untuk kluster HDInsight berbasis Linux
Catatan rilis sebelumnya

Azure HDInsight adalah salah satu layanan paling populer di kalangan konsumen perusahaan untuk analitik sumber terbuka pada Azure. Jika Anda ingin berlangganan catatan rilis, tonton rilis di repositori GitHub ini.

Tanggal rilis: 10 Januari 2024

Rilis perbaikan ini berlaku untuk versi HDInsight 4.x dan 5.x. Rilis HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Rilis ini berlaku untuk nomor gambar 2401030422. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Catatan

Ubuntu 18.04 didukung di bawah Extended Security Maintenance (ESM) oleh tim Azure Linux untuk Azure HDInsight Juli 2023, rilis dan seterusnya.

Untuk versi tertentu beban kerja, lihat

Versi komponen HDInsight 5.x

Memperbaiki masalah

Perbaikan keamanan dari komponen Ambari dan Oozie

Segera datang

Penghentian VM seri A Dasar dan Standar.
- Pada 31 Agustus 2024, kami akan menghentikan VM dasar dan seri A Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD).
- Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Tanya Jawab Microsoft

Catatan

Tanggal rilis: 26 Oktober 2023

Rilis ini berlaku untuk rilis HDInsight 4.x dan 5.x HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Rilis ini berlaku untuk nomor gambar 2310140056. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Untuk versi tertentu beban kerja, lihat

Versi komponen HDInsight 5.x

Yang baru

HDInsight mengumumkan Ketersediaan umum HDInsight 5.1 mulai 1 November 2023. Rilis ini membawa refresh tumpukan penuh ke komponen sumber terbuka dan integrasi dari Microsoft.
- Versi Sumber Terbuka Terbaru – HDInsight 5.1 dilengkapi dengan versi sumber terbuka stabil terbaru yang tersedia. Pelanggan dapat memperoleh manfaat dari semua fitur sumber terbuka terbaru, peningkatan performa Microsoft, dan perbaikan Bug.
- Aman - Versi terbaru dilengkapi dengan perbaikan keamanan terbaru, baik perbaikan keamanan sumber terbuka maupun peningkatan keamanan oleh Microsoft.
- TCO yang lebih rendah - Dengan peningkatan performa, pelanggan dapat menurunkan biaya pengoperasian, bersama dengan skala otomatis yang ditingkatkan.
Izin kluster untuk penyimpanan aman
- Pelanggan dapat menentukan (selama pembuatan kluster) apakah saluran aman harus digunakan untuk node kluster HDInsight untuk menghubungkan akun penyimpanan.
Pembuatan Kluster HDInsight dengan VNet Kustom.
- Untuk meningkatkan postur keamanan keseluruhan kluster HDInsight, kluster HDInsight menggunakan VNET kustom perlu memastikan bahwa pengguna perlu memiliki izin untuk Microsoft Network/virtualNetworks/subnets/join/action melakukan operasi pembuatan. Pelanggan mungkin menghadapi kegagalan pembuatan jika pemeriksaan ini tidak diaktifkan.
Kluster ABFS Non-ESP [Izin Kluster untuk Word Readable]
- Kluster ABFS non-ESP membatasi pengguna grup non-Hadoop untuk menjalankan perintah Hadoop untuk operasi penyimpanan. Perubahan ini meningkatkan postur keamanan kluster.
Pembaruan kuota dalam baris.
- Sekarang Anda dapat meminta penambahan kuota langsung dari halaman Kuota Saya, dengan panggilan API langsung jauh lebih cepat. Jika panggilan API gagal, Anda dapat membuat permintaan dukungan baru untuk penambahan kuota.

Segera datang

Panjang maksimal nama kluster akan diubah menjadi 45 dari 59 karakter, untuk meningkatkan postur keamanan kluster. Perubahan ini akan diluncurkan ke semua wilayah yang memulai rilis mendatang.
Penghentian VM seri A Dasar dan Standar.
- Pada 31 Agustus 2024, kami akan menghentikan VM seri A Dasar dan Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD).
- Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Tanya Jawab Microsoft

Catatan

Rilis ini membahas CVE berikut yang dirilis oleh MSRC pada 12 September 2023. Tindakannya adalah memperbarui ke gambar terbaru 2308221128 atau 2310140056. Pelanggan disarankan untuk merencanakan yang sesuai.

CVE	Tingkat keparahan	Judul CVE	Komentar
CVE-2023-38156	Penting	Azure HDInsight Apache Ambari Elevasi Kerentanan Hak Istimewa	Disertakan pada 2308221128 gambar atau 2310140056
CVE-2023-36419	Penting	Azure HDInsight Apache Oozie Workflow Scheduler Elevation of Privilege Vulnerability	Terapkan Tindakan skrip pada kluster Anda, atau perbarui ke gambar 2310140056

Catatan

Tanggal rilis: 7 September 2023

Rilis ini berlaku untuk rilis HDInsight 4.x dan 5.x HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Rilis ini berlaku untuk nomor gambar 2308221128. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Untuk versi tertentu beban kerja, lihat

Versi komponen HDInsight 5.x

Penting

Rilis ini membahas CVE berikut yang dirilis oleh MSRC pada 12 September 2023. Tindakannya adalah memperbarui ke gambar terbaru 2308221128. Pelanggan disarankan untuk merencanakan yang sesuai.

CVE	Tingkat keparahan	Judul CVE	Komentar
CVE-2023-38156	Penting	Azure HDInsight Apache Ambari Elevasi Kerentanan Hak Istimewa	Disertakan pada gambar 2308221128
CVE-2023-36419	Penting	Azure HDInsight Apache Oozie Workflow Scheduler Elevation of Privilege Vulnerability	Menerapkan tindakan Skrip pada kluster Anda

Segera hadir

Panjang maksimal nama kluster akan diubah menjadi 45 dari 59 karakter, untuk meningkatkan postur keamanan kluster. Perubahan ini akan diterapkan pada 30 September 2023.
Izin kluster untuk penyimpanan aman
- Pelanggan dapat menentukan (selama pembuatan kluster) apakah saluran aman harus digunakan untuk node kluster HDInsight untuk menghubungi akun penyimpanan.
Pembaruan kuota dalam baris.
- Kuota permintaan meningkat langsung dari halaman Kuota Saya, yang akan menjadi panggilan API langsung, yang lebih cepat. Jika panggilan APdI gagal, maka pelanggan perlu membuat permintaan dukungan baru untuk penambahan kuota.
Pembuatan Kluster HDInsight dengan VNet Kustom.
- Untuk meningkatkan postur keamanan keseluruhan kluster HDInsight, kluster HDInsight menggunakan VNET kustom perlu memastikan bahwa pengguna perlu memiliki izin untuk Microsoft Network/virtualNetworks/subnets/join/action melakukan operasi pembuatan. Pelanggan perlu merencanakan karena perubahan ini akan menjadi pemeriksaan wajib untuk menghindari kegagalan pembuatan kluster sebelum 30 September 2023. 
Penghentian VM seri A Dasar dan Standar.
- Pada 31 Agustus 2024, kami akan menghentikan VM dasar dan seri A Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD). Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.
Kluster ABFS Non-ESP [Izin Kluster untuk Word Readable]
- Rencanakan untuk memperkenalkan perubahan kluster ABFS non-ESP, yang membatasi pengguna grup non-Hadoop untuk menjalankan perintah Hadoop untuk operasi penyimpanan. Perubahan ini untuk meningkatkan postur keamanan kluster. Pelanggan harus merencanakan pembaruan sebelum 30 September 2023.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Tanya Jawab Microsoft

Anda dipersilakan untuk menambahkan lebih banyak proposal dan ide dan topik lain di sini dan memilihnya - Komunitas HDInsight (azure.com).

Catatan

Tanggal rilis: 25 Juli 2023

Rilis ini berlaku untuk rilis HDInsight 4.x dan 5.x HDInsight akan tersedia untuk semua wilayah selama beberapa hari. Rilis ini berlaku untuk nomor gambar 2307201242. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Untuk versi tertentu beban kerja, lihat

Versi komponen HDInsight 5.x

Apa yang baru

HDInsight 5.1 sekarang didukung dengan kluster ESP.
Versi Ranger 2.3.0 dan Oozie 5.2.1 yang ditingkatkan sekarang menjadi bagian dari HDInsight 5.1
Kluster Spark 3.3.1 (HDInsight 5.1) dilengkapi dengan Apache Hive Warehouse Connector (HWC) 2.1, yang bekerja sama dengan kluster Interactive Query (HDInsight 5.1).
Ubuntu 18.04 didukung di bawah ESM(Extended Security Maintenance) oleh tim Azure Linux untuk Azure HDInsight Juli 2023, rilis dan seterusnya.

Penting

Rilis ini membahas CVE berikut yang dirilis oleh MSRC pada 8 Agustus 2023. Tindakannya adalah memperbarui ke gambar terbaru 2307201242. Pelanggan disarankan untuk merencanakan yang sesuai.

CVE	Tingkat keparahan	Judul CVE
CVE-2023-35393	Penting	Kerentanan Spoofing Azure Apache Hive
CVE-2023-35394	Penting	Azure HDInsight Jupyter Notebook Spoofing Kerentanan
CVE-2023-36877	Penting	Kerentanan Spoofing Azure Apache Oozie
CVE-2023-36881	Penting	Kerentanan Spoofing Azure Apache Ambari
CVE-2023-38188	Penting	Kerentanan Spoofing Azure Apache Hadoop

Segera datang

Panjang maksimal nama kluster akan diubah menjadi 45 dari 59 karakter, untuk meningkatkan postur keamanan kluster. Pelanggan perlu merencanakan pembaruan sebelum 30 September 2023.
Izin kluster untuk penyimpanan aman
- Pelanggan dapat menentukan (selama pembuatan kluster) apakah saluran aman harus digunakan untuk node kluster HDInsight untuk menghubungi akun penyimpanan.
Pembaruan kuota dalam baris.
- Kuota permintaan meningkat langsung dari halaman Kuota Saya, yang akan menjadi panggilan API langsung, yang lebih cepat. Jika panggilan API gagal, maka pelanggan perlu membuat permintaan dukungan baru untuk penambahan kuota.
Pembuatan Kluster HDInsight dengan VNet Kustom.
- Untuk meningkatkan postur keamanan keseluruhan kluster HDInsight, kluster HDInsight menggunakan VNET kustom perlu memastikan bahwa pengguna perlu memiliki izin untuk Microsoft Network/virtualNetworks/subnets/join/action melakukan operasi pembuatan. Pelanggan perlu merencanakan karena perubahan ini akan menjadi pemeriksaan wajib untuk menghindari kegagalan pembuatan kluster sebelum 30 September 2023. 
Penghentian VM seri A Dasar dan Standar.
- Pada tanggal 31 Agustus 2024, kami akan memensiunkan VM Seri A Dasar dan Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD). Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.
Kluster ABFS Non-ESP [Izin Kluster untuk Word Readable]
- Rencanakan untuk memperkenalkan perubahan kluster ABFS non-ESP, yang membatasi pengguna grup non-Hadoop untuk menjalankan perintah Hadoop untuk operasi penyimpanan. Perubahan ini untuk meningkatkan postur keamanan kluster. Pelanggan perlu merencanakan pembaruan sebelum 30 September 2023.

Jika Anda memiliki pertanyaan lagi, hubungi Dukungan Azure.

Anda selalu dapat bertanya kepada kami tentang HDInsight di Azure HDInsight - Tanya Jawab Microsoft

Anda dipersilakan untuk menambahkan lebih banyak proposal dan ide dan topik lain di sini dan memilihnya - Komunitas HDInsight (azure.com) dan mengikuti kami untuk pembaruan lebih lanjut tentang X

Catatan

Tanggal rilis: 08 Mei 2023

Rilis ini berlaku untuk rilis HDInsight 4.x dan 5.x HDInsight tersedia untuk semua wilayah selama beberapa hari. Rilis ini berlaku untuk nomor gambar 2304280205. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Untuk versi tertentu beban kerja, lihat

Versi komponen HDInsight 5.x

Azure HDInsight 5.1 diperbarui dengan
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. Apache Spark 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0.5
8. Apache Kafka 3.2.0
Catatan
- Semua komponen terintegrasi dengan Hadoop 3.3.4 & ZK 3.6.3
- Semua komponen yang ditingkatkan di atas sekarang tersedia di kluster non-ESP untuk pratinjau publik.

Skala Otomatis yang Disempurnakan untuk HDInsight

Azure HDInsight telah membuat stabilitas dan latensi peningkatan penting pada Autoscale, Perubahan penting termasuk peningkatan perulangan umpan balik untuk keputusan penskalaan, peningkatan signifikan pada latensi untuk penskalaan dan dukungan untuk pengaktifan kembali simpul yang dinonaktifkan, Pelajari lebih lanjut tentang peningkatan, cara mengonfigurasi kustom dan memigrasikan kluster Anda ke skala otomatis yang ditingkatkan. Kemampuan Autoscale yang ditingkatkan tersedia efektif 17 Mei 2023 di semua wilayah yang didukung.
Azure HDInsight ESP untuk Apache Kafka 2.4.1 sekarang Tersedia Secara Umum.

Azure HDInsight ESP untuk Apache Kafka 2.4.1 telah berada di pratinjau publik sejak April 2022. Setelah peningkatan penting dalam perbaikan dan stabilitas CVE, Azure HDInsight ESP Kafka 2.4.1 sekarang menjadi tersedia secara umum dan siap untuk beban kerja produksi, pelajari detail tentang cara mengonfigurasi dan memigrasikan.
Manajemen Kuota untuk HDInsight

HDInsight saat ini mengalokasikan kuota untuk langganan pelanggan di tingkat regional. Inti yang dialokasikan untuk pelanggan bersifat umum dan tidak diklasifikasikan pada tingkat keluarga VM (Misalnya, , Dv2, Ev3Eav4, dll.).

HDInsight memperkenalkan tampilan yang ditingkatkan, yang memberikan detail dan klasifikasi kuota untuk VM tingkat keluarga, fitur ini memungkinkan pelanggan untuk melihat kuota saat ini dan sisa untuk suatu wilayah di tingkat keluarga VM. Dengan tampilan yang ditingkatkan, pelanggan memiliki visibilitas yang lebih kaya, untuk merencanakan kuota, dan pengalaman pengguna yang lebih baik. Fitur ini saat ini tersedia di HDInsight 4.x dan 5.x untuk wilayah EUAP US Timur. Wilayah lain untuk diikuti nanti.

Untuk informasi selengkapnya, lihat Perencanaan kapasitas kluster di Azure HDInsight | Microsoft Learn

Polandia Tengah

Panjang maksimum nama kluster berubah menjadi 45 dari 59 karakter, untuk meningkatkan postur keamanan kluster.
Izin kluster untuk penyimpanan aman
- Pelanggan dapat menentukan (selama pembuatan kluster) apakah saluran aman harus digunakan untuk node kluster HDInsight untuk menghubungi akun penyimpanan.
Pembaruan kuota dalam baris.
- Kuota permintaan meningkat langsung dari halaman Kuota Saya, yang merupakan panggilan API langsung, yang lebih cepat. Jika panggilan API gagal, maka pelanggan perlu membuat permintaan dukungan baru untuk penambahan kuota.
Pembuatan Kluster HDInsight dengan VNet Kustom.
- Untuk meningkatkan postur keamanan keseluruhan kluster HDInsight, kluster HDInsight menggunakan VNET kustom perlu memastikan bahwa pengguna perlu memiliki izin untuk Microsoft Network/virtualNetworks/subnets/join/action melakukan operasi pembuatan. Pelanggan perlu merencanakannya karena ini akan menjadi pemeriksaan wajib untuk menghindari kegagalan pembuatan kluster.
Penghentian VM seri A Dasar dan Standar.
- Pada tanggal 31 Agustus 2024, kami akan memensiunkan VM Seri A Dasar dan Standar. Sebelum tanggal tersebut, Anda perlu memigrasikan beban kerja Anda ke VM seri Av2, yang menyediakan lebih banyak memori per vCPU dan penyimpanan yang lebih cepat pada solid-state drive (SSD). Untuk menghindari gangguan layanan, migrasikan beban kerja Anda dari VM seri A Dasar dan Standar ke VM seri Av2 sebelum 31 Agustus 2024.
Kluster ABFS Non-ESP [Izin Kluster untuk World Readable]
- Rencanakan untuk memperkenalkan perubahan kluster ABFS non-ESP, yang membatasi pengguna grup non-Hadoop untuk menjalankan perintah Hadoop untuk operasi penyimpanan. Perubahan ini untuk meningkatkan postur keamanan kluster. Pelanggan perlu merencanakan pembaruan.

Tanggal rilis: 28 Februari 2023

Rilis ini berlaku untuk HDInsight 4.0. dan 5.0, 5.1. Rilis HDInsight tersedia untuk semua wilayah selama beberapa hari. Rilis ini berlaku untuk nomor gambar 2302250400. Bagaimana cara memeriksa nomor gambar?

Versi OS

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Untuk versi tertentu beban kerja, lihat

Versi komponen HDInsight 5.x

Penting

Microsoft telah mengeluarkan CVE-2023-23408, yang diperbaiki pada rilis saat ini dan pelanggan disarankan untuk meningkatkan kluster mereka ke gambar terbaru.

HDInsight 5.1

Kami telah mulai meluncurkan versi baru HDInsight 5.1. Semua rilis sumber terbuka baru ditambahkan sebagai rilis bertahap pada HDInsight 5.1.

Untuk informasi selengkapnya, lihat versi HDInsight 5.1.0

Peningkatan Kafka 3.2.0 (Pratinjau)

Kafka 3.2.0 mencakup beberapa fitur/peningkatan baru yang signifikan.
- Peningkatan Zookeeper ke 3.6.3
- Dukungan Kafka Streams
- Jaminan pengiriman yang lebih kuat untuk produsen Kafka diaktifkan secara default.
- log4j 1.x diganti dengan reload4j.
- Kirim petunjuk ke pemimpin partisi untuk memulihkan partisi.
- JoinGroupRequest dan LeaveGroupRequest memiliki alasan terlampir.
- Menambahkan metrik jumlah Broker8.
- Perbaikan cermin Maker2 .

Peningkatan HBase 2.4.11 (Pratinjau)

Versi ini memiliki fitur baru seperti penambahan jenis mekanisme penembolokan baru untuk cache blok, kemampuan untuk mengubah hbase:meta table dan melihat hbase:meta tabel dari UI WEB HBase.

Peningkatan Phoenix 5.1.2 (Pratinjau)

Versi Phoenix ditingkatkan ke 5.1.2 dalam rilis ini. Peningkatan ini mencakup Server Kueri Phoenix. Server Kueri Phoenix memproksi driver Phoenix JDBC standar dan menyediakan protokol kawat yang kompatibel dengan mundur untuk memanggil driver JDBC tersebut.

CVE Ambari

Beberapa CVE Ambari diperbaiki.

Catatan

ESP tidak didukung untuk Kafka dan HBase dalam rilis ini.

Selanjutnya

Skala otomatis
- Skala otomatis dengan latensi yang ditingkatkan dan beberapa peningkatan
Batasan perubahan nama kluster
- Panjang maksimum nama kluster berubah menjadi 45 dari 59 di Publik, Azure Tiongkok, dan Azure Government.
Izin kluster untuk penyimpanan aman
- Pelanggan dapat menentukan (selama pembuatan kluster) apakah saluran aman harus digunakan untuk node kluster HDInsight untuk menghubungi akun penyimpanan.
Kluster ABFS Non-ESP [Izin Kluster untuk World Readable]
- Rencanakan untuk memperkenalkan perubahan kluster ABFS non-ESP, yang membatasi pengguna grup non-Hadoop untuk menjalankan perintah Hadoop untuk operasi penyimpanan. Perubahan ini untuk meningkatkan postur keamanan kluster. Pelanggan perlu merencanakan pembaruan.
Peningkatan sumber terbuka
- Apache Spark 3.3.0 dan Hadoop 3.3.4 sedang dikembangkan pada HDInsight 5.1 dan mencakup beberapa fitur baru yang signifikan, performa, dan peningkatan lainnya.

Catatan

Tanggal rilis: 12 Desember 2022

Rilis ini berlaku untuk HDInsight 4.0. dan rilis HDInsight 5.0 tersedia untuk semua wilayah selama beberapa hari.

Versi OS

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Analitik Log - Pelanggan dapat mengaktifkan pemantauan klasik untuk mendapatkan OMS terbaru versi 14.19. Untuk menghapus versi lama, nonaktifkan dan aktifkan pemantauan klasik.
UI otomatis pengguna Ambari keluar karena tidak aktif. Untuk informasi selengkapnya, lihat di sini
Spark - Versi Spark 3.1.3 baru dan dioptimalkan disertakan dalam rilis ini. Kami menguji Apache Spark 3.1.2 (versi sebelumnya) dan Apache Spark 3.1.3(versi saat ini) menggunakan tolok ukur TPC-DS. Pengujian dilakukan menggunakan E8 V3 SKU, untuk Apache Spark pada beban kerja 1 TB. Apache Spark 3.1.3 (versi saat ini) mengungguli Apache Spark 3.1.2 (versi sebelumnya) lebih dari 40% dalam total runtime kueri untuk kueri TPC-DS menggunakan spesifikasi perangkat keras yang sama. Tim Microsoft Spark menambahkan pengoptimalan yang tersedia di Azure Synapse dengan Azure HDInsight. Untuk informasi selengkapnya, silakan merujuk ke Mempercepat beban kerja data Anda dengan pembaruan performa ke Apache Spark 3.1.2 di Azure Synapse

Qatar Tengah
Jerman Utara

HDInsight telah berpindah dari Azul Zulu Java JDK 8 ke Adoptium Temurin JDK 8, yang mendukung runtime bersertifikat TCK berkualitas tinggi, dan teknologi terkait untuk digunakan di seluruh ekosistem Java.
HDInsight telah bermigrasi ke reload4j. Perubahan log4j berlaku untuk
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Babi
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive 2.1.0
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix

HDInsight untuk mengimplementasikan TLS1.2 ke depannya, dan versi yang lebih lama diperbarui pada platform. Jika Anda menjalankan aplikasi apa pun di atas HDInsight dan menggunakan TLS 1.0 dan 1.1, tingkatkan ke TLS 1.2 untuk menghindari gangguan dalam layanan.

Untuk informasi selengkapnya, lihat Cara mengaktifkan Keamanan Lapisan Transportasi (TLS)

Akhir dukungan untuk kluster Azure HDInsight pada Ubuntu 16.04 LTS mulai 30 November 2022. HDInsight memulai rilis gambar kluster menggunakan Ubuntu 18.04 mulai 27 Juni 2021. Kami merekomendasikan pelanggan kami yang menjalankan kluster menggunakan Ubuntu 16.04 adalah membangun kembali kluster mereka dengan gambar HDInsight terbaru pada 30 November 2022.

Untuk informasi selengkapnya tentang cara memeriksa versi kluster Ubuntu, lihat di sini

Jalankan perintah "lsb_release -a" di terminal.
Jika nilai untuk properti "Deskripsi" dalam output adalah "Ubuntu 16.04 LTS", maka pembaruan ini berlaku untuk kluster.

Dukungan untuk pilihan Zona Ketersediaan untuk kluster Kafka dan HBase (akses tulis).

Perbaikan bug sumber terbuka

Perbaikan bug Apache Hive

Perbaikan Bug	Apache JIRA
HIVE-26127	KESALAHAN SISIPKAN TIMPA - File Tidak Ditemukan
HIVE-24957	Hasil yang salah ketika subkueri memiliki COALESCE dalam predikat korelasi
HIVE-24999	HiveSubQueryRemoveRule menghasilkan rencana yang tidak valid untuk subkueri IN dengan beberapa korelasi
HIVE-24322	Jika ada sisipan langsung, ID upaya harus diperiksa saat membaca manifes gagal
HIVE-23363	Meningkatkan dependensi DataNucleus ke 5.2
HIVE-26412	Membuat antarmuka untuk mengambil slot yang tersedia dan menambahkan default
HIVE-26173	Tingkatkan derby ke 10.14.2.0
HIVE-25920	Benjolan `Xerce2` ke 2.12.2.
HIVE-26300	Tingkatkan versi pengikatan data Jackson ke 2.12.6.1+ untuk menghindari CVE-2020-36518

Tanggal rilis: 10/08/2022

Rilis ini berlaku untuk HDInsight 4.0. Rilis HDInsight tersedia untuk semua wilayah selama beberapa hari.

Fitur Baru

1. Lampirkan disk eksternal di kluster HDI Hadoop/Spark

Kluster HDInsight dilengkapi dengan ruang disk yang telah ditentukan sebelumnya berdasarkan SKU. Ruang ini mungkin tidak cukup dalam skenario pekerjaan besar.

Fitur baru ini memungkinkan Anda menambahkan lebih banyak disk dalam kluster, yang digunakan sebagai direktori lokal manajer simpul. Tambahkan jumlah disk ke simpul pekerja selama pembuatan kluster HIVE dan Spark, sementara disk yang dipilih adalah bagian dari direktori lokal manajer simpul.

Catatan

Disk yang ditambahkan hanya dikonfigurasi untuk direktori lokal pengelola node.

Untuk informasi selengkapnya, lihat di sini

2. Analisis pengelogan selektif

Analisis pengelogan selektif sekarang tersedia di semua wilayah untuk pratinjau publik. Anda dapat menyambungkan kluster ke ruang kerja analitik log. Setelah diaktifkan, Anda dapat melihat log dan metrik seperti HdInsight Security Logs, Yarn Resource Manager, System Metrics, dll. Anda dapat memantau beban kerja dan melihat bagaimana beban kerja tersebut memengaruhi stabilitas kluster. Pengelogan selektif memungkinkan Anda mengaktifkan/menonaktifkan semua tabel atau mengaktifkan tabel selektif di ruang kerja analitik log. Anda dapat menyesuaikan jenis sumber untuk setiap tabel, karena dalam versi baru Jenewa memantau satu tabel memiliki beberapa sumber.

Sistem pemantauan Jenewa menggunakan mdsd (daemon MDS) yang merupakan agen pemantauan dan fasih untuk mengumpulkan log menggunakan lapisan pengelogan terpadu.
Pengelogan Selektif menggunakan tindakan skrip untuk menonaktifkan/mengaktifkan tabel dan jenis lognya. Karena pengelogan tersebut tidak membuka port baru atau mengubah pengaturan keamanan yang ada, maka tidak ada perubahan keamanan.
Tindakan Skrip berjalan secara paralel pada semua simpul yang ditentukan dan mengubah file konfigurasi untuk menonaktifkan/mengaktifkan tabel dan jenis log-nya.

Untuk informasi selengkapnya, lihat di sini

Tetap

Analitik log

Log Analytics yang terintegrasi dengan Azure HDInsight yang menjalankan OMS versi 13 memerlukan peningkatan ke OMS versi 14 untuk menerapkan pembaruan keamanan terbaru. Pelanggan yang menggunakan versi kluster yang lebih lama dengan OMS versi 13 perlu menginstal OMS versi 14 untuk memenuhi persyaratan keamanan. (Cara memeriksa versi saat ini & Instal 14)

Cara memeriksa versi OMS Anda saat ini

Masuk ke kluster menggunakan SSH.
Jalankan perintah berikut di klien SSH Anda.

sudo /opt/omi/bin/ominiserver/ --version

Cuplikan layar memperlihatkan cara memeriksa Peningkatan OMS.

Cara meningkatkan versi OMS Anda dari 13 ke 14

Masuk ke portal Microsoft Azure.
Dari grup sumber daya, pilih sumber daya kluster HDInsight
Pilih tindakan Skrip
Dari panel Kirim tindakan skrip, pilih Jenis skrip sebagai kustom
Tempelkan tautan berikut dalam kotak URL skrip Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Pilih Jenis node
Pilih Buat

Cuplikan layar memperlihatkan cara melakukan Peningkatan OMS.

Verifikasi keberhasilan penginstalan patch menggunakan langkah-langkah berikut:
Masuk ke kluster menggunakan SSH.
Jalankan perintah berikut di klien SSH Anda.

sudo /opt/omi/bin/ominiserver/ --version

Perbaikan bug lainnya

CLI log Yarn gagal mengambil log jika ada yang TFile rusak atau kosong.
Mengatasi kesalahan detail perwakilan layanan yang tidak valid saat mendapatkan token OAuth dari Azure Active Directory.
Peningkatan keandalan pembuatan kluster saat 100+ node yang berfungsi dikonfigurasi.

Perbaikan bug sumber terbuka

Perbaikan bug TEZ

Perbaikan Bug	Apache JIRA
Tez Build Failure: FileSaver.js tidak ditemukan	TEZ-4411
Pengecualian FS yang Salah ketika gudang dan `scratchdir` berada di FS yang berbeda	TEZ-4406
TezUtils.createConfFromByteString pada Konfigurasi yang lebih besar dari 32 MB melempar pengecualian com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf harus menggunakan snappy alih-alih DeflaterOutputStream	TEZ-4113
Memperbarui dependensi protobuf ke 3.x	TEZ-4363

Perbaikan bug Apache Hive

Perbaikan Bug	Apache JIRA
Optimalisasi performa dalam pembuatan terpisah ORC	HIVE-21457
Hindari membaca tabel sebagai ACID saat nama tabel dimulai dengan "delta", tetapi tabel tidak bersifat transaksional dan Strategi Pemisahan BI digunakan	HIVE-22582
Hapus panggilan FS#exists dari AcidUtils#getLogicalLength	HIVE-23533
Vektorisasi OrcAcidRowBatchReader.computeOffset dan pengoptimalan wadah	HIVE-17917

Masalah umum

HDInsight kompatibel dengan Apache HIVE 3.1.2. Karena terdapat bug dalam rilis ini, versi Apache Hive diperlihatkan sebagai 3.1.0 di antarmuka hive. Namun, tidak ada dampak pada fungsionalitas.

Tanggal rilis: 10/08/2022

Rilis ini berlaku untuk HDInsight 4.0. Rilis HDInsight tersedia untuk semua wilayah selama beberapa hari.

Fitur Baru

1. Lampirkan disk eksternal di kluster HDI Hadoop/Spark

Kluster HDInsight dilengkapi dengan ruang disk yang telah ditentukan sebelumnya berdasarkan SKU. Ruang ini mungkin tidak cukup dalam skenario pekerjaan besar.

Fitur baru ini memungkinkan Anda untuk menambahkan lebih banyak disk dalam kluster, yang akan digunakan sebagai direktori lokal pengelola node. Tambahkan jumlah disk ke simpul pekerja selama pembuatan kluster HIVE dan Spark, sementara disk yang dipilih adalah bagian dari direktori lokal manajer simpul.

Catatan

Disk yang ditambahkan hanya dikonfigurasi untuk direktori lokal pengelola node.

Untuk informasi selengkapnya, lihat di sini

2. Analisis pengelogan selektif

Sistem pemantauan Jenewa menggunakan mdsd (daemon MDS) yang merupakan agen pemantauan dan fasih untuk mengumpulkan log menggunakan lapisan pengelogan terpadu.
Pengelogan Selektif menggunakan tindakan skrip untuk menonaktifkan/mengaktifkan tabel dan jenis lognya. Karena pengelogan tersebut tidak membuka port baru atau mengubah pengaturan keamanan yang ada, maka tidak ada perubahan keamanan.
Tindakan Skrip berjalan secara paralel pada semua simpul yang ditentukan dan mengubah file konfigurasi untuk menonaktifkan/mengaktifkan tabel dan jenis log-nya.

Untuk informasi selengkapnya, lihat di sini

Tetap

Analitik log

Cara memeriksa versi OMS Anda saat ini

Masuk ke kluster menggunakan SSH.
Jalankan perintah berikut di klien SSH Anda.

sudo /opt/omi/bin/ominiserver/ --version

Cuplikan layar memperlihatkan cara memeriksa Peningkatan OMS.

Cara meningkatkan versi OMS Anda dari 13 ke 14

Masuk ke portal Microsoft Azure.
Dari grup sumber daya, pilih sumber daya kluster HDInsight
Pilih tindakan Skrip
Dari panel Kirim tindakan skrip, pilih Jenis skrip sebagai kustom
Tempelkan tautan berikut dalam kotak URL skrip Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Pilih Jenis node
Pilih Buat

Cuplikan layar memperlihatkan cara melakukan Peningkatan OMS.

Verifikasi keberhasilan penginstalan patch menggunakan langkah-langkah berikut:
Masuk ke kluster menggunakan SSH.
Jalankan perintah berikut di klien SSH Anda.

sudo /opt/omi/bin/ominiserver/ --version

Perbaikan bug lainnya

CLI log Yarn gagal mengambil log jika ada yang TFile rusak atau kosong.
Mengatasi kesalahan detail perwakilan layanan yang tidak valid saat mendapatkan token OAuth dari Azure Active Directory.
Peningkatan keandalan pembuatan kluster saat 100+ node yang berfungsi dikonfigurasi.

Perbaikan bug sumber terbuka

Perbaikan bug TEZ

Perbaikan Bug	Apache JIRA
Tez Build Failure: FileSaver.js tidak ditemukan	TEZ-4411
Pengecualian FS yang Salah ketika gudang dan `scratchdir` berada di FS yang berbeda	TEZ-4406
TezUtils.createConfFromByteString pada Konfigurasi yang lebih besar dari 32 MB melempar pengecualian com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf harus menggunakan snappy alih-alih DeflaterOutputStream	TEZ-4113
Memperbarui dependensi protobuf ke 3.x	TEZ-4363

Perbaikan bug Apache Hive

Perbaikan Bug	Apache JIRA
Optimalisasi performa dalam pembuatan terpisah ORC	HIVE-21457
Hindari membaca tabel sebagai ACID saat nama tabel dimulai dengan "delta", tetapi tabel tidak bersifat transaksional dan Strategi Pemisahan BI digunakan	HIVE-22582
Hapus panggilan FS#exists dari AcidUtils#getLogicalLength	HIVE-23533
Vektorisasi OrcAcidRowBatchReader.computeOffset dan pengoptimalan wadah	HIVE-17917

Masalah umum

HDInsight kompatibel dengan Apache HIVE 3.1.2. Karena terdapat bug dalam rilis ini, versi Apache Hive diperlihatkan sebagai 3.1.0 di antarmuka hive. Namun, tidak ada dampak pada fungsionalitas.

Tanggal rilis: 03/06/2022

Rilis ini berlaku untuk HDInsight 4.0. Rilis HDInsight tersedia untuk semua wilayah selama beberapa hari. Tanggal rilis di sini menunjukkan tanggal rilis wilayah pertama. Jika Anda tidak melihat perubahan berikut, tunggu rilis ditayangkan di wilayah Anda selama beberapa hari.

Sorotan rilis

Apache Hive Warehouse Connector (HWC) pada Spark v3.1.2

Hive Warehouse Connector (HWC) memungkinkan Anda memanfaatkan fitur unik Hive dan Spark untuk membangun aplikasi big data yang andal. HWC saat ini hanya didukung untuk Spark v2.4. Fitur ini menambahkan nilai bisnis dengan mengizinkan transaksi ACID pada Tabel Apache Hive menggunakan Spark. Fitur ini berguna bagi pelanggan yang menggunakan Apache Hive dan Spark di data estate mereka. Untuk informasi selengkapnya, lihat Apache Spark & Hive - Apache Hive Warehouse Connector - Azure HDInsight | Microsoft Docs

Ambari

Perubahan peningkatan penskalaan dan provisi
HDI hive sekarang kompatibel dengan OSS versi 3.1.2

Versi HDI Hive 3.1 ditingkatkan ke OSS Hive 3.1.2. Versi ini memiliki semua perbaikan dan fitur yang tersedia di versi sumber terbuka Apache Hive 3.1.2.

Catatan

Spark

Jika Anda menggunakan Antarmuka Pengguna Azure guna membuat Kluster Spark untuk HDInsight, Anda akan melihat versi Spark 3.1. (HDI 5.0) yang lainnya bersama dengan versi yang lebih lama di daftar dropdown. Versi ini adalah versi Spark 3.1 yang diganti namanya. (HDI 4.0). Ini hanya perubahan tingkat UI, yang tidak memengaruhi apa pun bagi pengguna dan pengguna yang sudah ada yang sudah menggunakan templat ARM.

Cuplikan spark 3.1 untuk HDI 5.0.

Catatan

Kueri Interaktif

Jika Anda membuat Kluster Interactive Query, Anda akan melihat versi lainnya sebagai Interactive Query 3.1 (HDI 5.0) di daftar dropdown.
Jika Anda akan menggunakan versi Spark 3.1 bersama dengan Apache Hive yang memerlukan dukungan ACID, Anda perlu memilih versi ini Interactive Query 3.1 (HDI 5.0).

Cuplikan_kueri interaktif 3.1 untuk HDI 5.0.

Perbaikan bug TEZ

Perbaikan Bug	Apache JIRA
TezUtils.createConfFromByteString pada Konfigurasi yang lebih besar dari 32 MB melempar pengecualian com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils createByteStringFromConf harus menggunakan snappy alih-alih DeflaterOutputStream	TEZ-4113

Perbaikan bug HBase

Perbaikan Bug	Apache JIRA
TableSnapshotInputFormat harus menggunakan ReadType.STREAM untuk pemindaian `HFiles`	HBASE-26273
Tambahkan opsi untuk menonaktifkan scanMetrics di TableSnapshotInputFormat	HBASE-26330
Perbaikan untuk ArrayIndexOutOfBoundsException saat penyeimbang dijalankan	HBASE-22739

Perbaikan bug Apache Hive

Perbaikan Bug	Apache JIRA
NPE saat menyisipkan data dengan klausa 'distribusikan menurut' dengan pengoptimalan pengurutan dynpart	HIVE-18284
Perintah MSCK REPAIR dengan Pemfilteran Partisi Gagal Saat Menghilangkan Partisi	HIVE-23851
Pengecualian salah dilemparkan jika kapasitas<=0	HIVE-25446
Mendukung beban paralel untuk HastTables - Antarmuka	HIVE-25583
Sertakan MultiDelimitSerDe di HiveServer2 Secara Default	HIVE-20619
Hapus kelas glassfish.jersey dan mssql-jdbc dari jdbc-standalone jar	HIVE-22134
Pengecualian pointer null pada pemadatan yang berjalan terhadap tabel MM.	HIVE-21280
Kueri Apache Hive dengan ukuran besar melalui `knox` gagal dengan Penulisan pipa Rusak gagal	HIVE-22231
Menambahkan kemampuan bagi pengguna untuk mengatur pengguna yang mengikat	HIVE-21009
Menerapkan UDF untuk menginterpretasikan tanggal/tanda waktu menggunakan representasi internal dan Gregorian-Julian kalender hibrid	HIVE-22241
Opsi Beeline untuk menampilkan/tidak menampilkan laporan eksekusi	HIVE-22204
Tez: SplitGenerator mencoba mencari file paket, yang tidak ada untuk Tez	HIVE-22169
Menghapus pengelogan mahal dari cache LLAP `hotpath`	HIVE-22168
UDF: FunctionRegistry disinkronkan pada kelas org.apache.hadoop.hive.ql.udf.UDFType	HIVE-22161
Mencegah pembuatan tambahan perutean kueri jika properti diatur ke false	HIVE-22115
Menghapus sinkronisasi lintas kueri untuk partition-eval	HIVE-22106
Lewati pengaturan hive scratch dir selama perencanaan	HIVE-21182
Lewati pembuatan scratch dir untuk tez jika RPC aktif	HIVE-21171
beralih UDF Apache Hive untuk menggunakan `Re2J` mesin regex	HIVE-19661
Tabel terkluster yang dimigrasikan menggunakan bucketing_version 1 pada hive 3 menggunakan bucketing_version 2 untuk penyisipan	HIVE-22429
Bucketing: Bucketing versi 1 salah mempartisi data	HIVE-21167
Menambahkan header Lisensi ASF ke file yang baru ditambahkan	HIVE-22498
Penyempurnaan alat skema untuk mendukung mergeCatalog	HIVE-22498
Apache Hive dengan TEZ UNION ALL dan UDTF mengakibatkan kehilangan data	HIVE-21915
Pisahkan file teks meskipun header/footer ada	HIVE-21924
MultiDelimitSerDe mengembalikan hasil yang salah di kolom terakhir saat file yang dimuat memiliki lebih banyak kolom daripada yang ada dalam skema tabel	HIVE-22360
Klien eksternal LLAP - Perlu mengurangi jejak LlapBaseInputFormat#getSplits()	HIVE-22221
Nama kolom dengan kata kunci yang dipesan tidak dikecualikan ketika kueri termasuk bergabung di tabel dengan kolom masker ditulis ulang (Zoltan Matyus melalui Zoltan Haindrich)	HIVE-22208
Mencegah penonaktifan LLAP pada `AMReporter` RuntimeException terkait	HIVE-22113
Driver layanan status LLAP mungkin macet dengan ID aplikasi Yarn yang salah	HIVE-21866
OperationManager.queryIdOperation tidak membersihkan beberapa queryId dengan benar	HIVE-22275
Menurunkan manajer simpul memblokir restart layanan LLAP	HIVE-22219
Stack OverflowError saat menghilangkan banyak partisi	HIVE-15956
Pemeriksaan akses gagal ketika direktori sementara dihapus	HIVE-22273
Memperbaiki hasil yang salah/Pengecualian ArrayOutOfBound di gabungan peta luar kiri pada kondisi batas tertentu	HIVE-22120
Menghapus tag manajemen distribusi dari pom.xml	HIVE-19667
Waktu penguraian bisa tinggi jika ada subkueri yang sangat berlapis	HIVE-21980
Untuk ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE'); `TBL_TYPE` perubahan atribut tidak mencerminkan untuk non-CAPS	HIVE-20057
JDBC: Antarmuka warna `log4j` HiveConnection	HIVE-18874
Memperbarui URL repositori di `poms` - versi cabang 3.1	HIVE-21786
`DBInstall` tes rusak pada master dan cabang-3.1	HIVE-21758
Memuat data ke dalam tabel yang di-bucket mengabaikan spesifikasi partisi dan memuat data ke dalam partisi default	HIVE-21564
Kueri dengan kondisi gabungan yang memiliki tanda waktu atau tanda waktu dengan zona waktu lokal secara harfiah melempar SemanticException	HIVE-21613
Menganalisis statistik komputasi untuk kolom yang meninggalkan dir penahapan pada HDFS	HIVE-21342
Perubahan komputasi kontainer Apache Hive yang tidak kompatibel	HIVE-21376
Berikan pembuat otorisasi fallback saat tidak ada otorisasi lain yang digunakan	HIVE-20420
Beberapa pemanggilan alterPartitions melempar 'NumberFormatException: null'	HIVE-18767
HiveServer2: Subjek yang telah diautentikasi sebelumnya untuk transportasi http tidak dipertahankan selama seluruh durasi komunikasi http dalam beberapa kasus	HIVE-20555

Tanggal rilis: 10/03/2022

Versi OS untuk rilis ini adalah:

HDInsight 4.0: Ubuntu 18.04.5

Spark 3.1 sekarang tersedia secara umum

Spark 3.1 sekarang tersedia secara umum pada rilis HDInsight 4.0. Rilis ini meliputi

Eksekusi Kueri Adaptif
Konversi Urutkan Gabung Bergabung ke Gabung Hash Siaran,
Pengoptimal Katalis Spark,
Pemangkasan Partisi Dinamis,
Pelanggan akan dapat membuat kluster Spark 3.1 baru dan bukan kluster Spark 3.0 (pratinjau).

Untuk lebih jelasnya, lihat Apache Spark 3.1 sekarang Tersedia Secara Umum di HDInsight - Microsoft Tech Community.

Untuk daftar lengkap perbaikan, lihat catatan rilis Apache Spark 3.1.

Untuk informasi selengkapnya, lihat panduan migrasi.

Kafka 2.4 sekarang tersedia secara umum

Kafka 2.4.1 sekarang tersedia secara umum. Untuk informasi selengkapnya, silakan lihat Catatan Rilis Kafka 2.4.1. Fitur lain termasuk ketersediaan MirrorMaker 2, kategori metrik baru partisi topik AtMinIsr, Waktu mulai broker yang ditingkatkan dengan malas sesuai permintaan mmap file indeks, Lebih banyak metrik konsumen untuk mengamati perilaku polling pengguna.

Tipe Data Peta di HWC sekarang didukung dalam HDInsight 4.0

Rilis ini mencakup Dukungan Map Datatype untuk HWC 1.0 (Spark 2.4) Melalui aplikasi spark-shell, dan semua klien spark lainnya yang didukung HWC. Perbaikan berikut disertakan seperti tipe data lainnya:

Pengguna dapat

Membuat tabel Hive dengan kolom yang berisi tipe data Peta, memasukkan data ke dalamnya dan membaca hasil darinya.
Membuat kerangka data Apache Spark dengan Jenis Peta dan melakukan pembacaan dan penulisan batch/streaming.

Wilayah Baru

HDInsight kini telah memperluas kehadiran geografisnya ke dua wilayah baru: Tiongkok Timur 3 dan Tiongkok Utara 3.

Perubahan backport OSS

Backport OSS yang termasuk dalam Hive termasuk HWC 1.0 (Spark 2.4) yang mendukung tipe data Map.

Berikut adalah Apache JIRA dengan port belakang untuk rilis ini:

Fitur yang Terkena Dampak	Apache JIRA
Kueri sql langsung Metastore dengan IN/(NOT IN) harus dibagi berdasarkan parameter maks yang diizinkan oleh SQL DB	HIVE-25659
Tingkatkan `log4j` 2.16.0 ke 2.17.0	HIVE-25825
Perbarui `Flatbuffer` versi	HIVE-22827
Mendukung tipe data Peta asli dalam format Panah	HIVE-25553
Klien eksternal LLAP - Tangani nilai bertumpuk saat struct induknya nol	HIVE-25243
Tingkatkan versi panah ke 0.11.0	HIVE-23987

Pemberitahuan penghentian

Azure Virtual Machine Scale Sets on HDInsight

HDInsight tidak akan lagi menggunakan Azure Virtual Machine Scale Sets untuk menyediakan kluster, tidak ada perubahan yang diharapkan. Kluster HDInsight yang ada pada set skala komputer virtual tidak berdampak, kluster baru apa pun pada gambar terbaru tidak akan lagi menggunakan Virtual Machine Scale Sets.

Penskalaan beban kerja Azure HDInsight HBase sekarang hanya akan didukung menggunakan skala manual

Mulai 01 Maret 2022, HDInsight hanya akan mendukung skala manual untuk HBase, tidak ada dampak pada menjalankan kluster. Kluster HBase baru tidak akan dapat mengaktifkan Autoscaling berbasis jadwal. Untuk informasi selengkapnya tentang cara menskalakan kluster HBase Anda secara manual, rujuk dokumentasi kami di kluster Azure HDInsight penskalaan secara manual

Tanggal rilis: 27/12/2021

Versi OS untuk rilis ini adalah:

HDInsight 4.0: Ubuntu 18.04.5 LTS

Gambar HDInsight 4.0 telah diperbarui untuk mengurangi Log4j kerentanan seperti yang dijelaskan dalam Respons Microsoft terhadap CVE-2021-44228 Apache Log4j 2.

Catatan

Setiap kluster HDI 4.0 yang dibuat pasca 27 Des 2021 00:00 UTC dibuat dengan versi gambar yang diperbarui yang mengurangi log4j kerentanan. Oleh karena itu, pelanggan tidak perlu melakukan patch/reboot pada kluster ini.
Untuk kluster HDInsight 4.0 baru yang dibuat antara 16 Des 2021 pukul 01:15 UTC dan 27 Des 2021 00:00 UTC, HDInsight 3.6 atau dalam langganan yang disematkan setelah 16 Des 2021, patch diterapkan secara otomatis dalam hitungan jam saat kluster dibuat, tetapi pelanggan kemudian harus me-reboot node agar patch selesai (kecuali untuk node Manajemen Kafka, yang secara otomatis di-boot ulang).

Tanggal rilis: 27/07/2021

Rilis ini berlaku untuk HDInsight 3.6 dan HDInsight 4.0. Rilis HDInsight tersedia untuk semua wilayah selama beberapa hari. Tanggal rilis di sini menunjukkan tanggal rilis wilayah pertama. Jika Anda tidak melihat perubahan berikut, tunggu rilis ditayangkan di wilayah Anda dalam beberapa hari.

Versi OS untuk rilis ini adalah:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Fitur baru

Dukungan Azure HDInsight untuk Konektivitas Publik Terbatas umumnya tersedia pada 15 Oktober 2021

Azure HDInsight sekarang mendukung konektivitas publik terbatas di semua wilayah. Berikut beberapa sorotan utama dari kemampuan ini:

Kemampuan untuk membalikkan penyedia sumber ke komunikasi kluster sehingga keluar dari kluster ke penyedia sumber daya
Dukungan untuk membawa sumber daya yang diaktifkan Private Link Anda sendiri (Misalnya, penyimpanan, SQL, brankas kunci) untuk kluster HDInsight untuk mengakses sumber daya melalui jaringan privat saja
Tidak ada alamat IP publik yang disediakan sumber daya

Dengan menggunakan kemampuan baru ini, Anda juga dapat melewati aturan tag layanan kelompok keamanan jaringan masuk (NSG) untuk IP pengelolaan HDInsight. Pelajari selengkapnya tentang membatasi konektivitas publik

Dukungan Azure HDInsight untuk Azure Private Link umumnya tersedia pada 15 Okt 2021

Anda kini dapat menggunakan titik akhir privat untuk terhubung ke kluster HDInsight Anda melalui tautan privat. Tautan privat dapat digunakan dalam skenario lintas VNET saat peering VNET tidak tersedia atau diaktifkan.

Azure Private Link memungkinkan Anda mengakses Layanan PaaS Azure (contoh, Azure Storage dan Azure SQL Database) dan layanan milik pelanggan/mitra yang di-hosting Azure melalui titik akhir privat di dalam jaringan virtual Anda.

Lalu lintas antara jaringan virtual Anda dan layanan melewati jaringan backbone Microsoft. Mengekspos layanan Anda ke internet publik tidak lagi diperlukan.

Biarkan selengkapnya di mengaktifkan tautan privat. 

Pengalaman integrasi Azure Monitor Baru (Pratinjau)

Pengalaman integrasi monitor Azure yang baru akan menjadi Pratinjau di US Timur dan Eropa Barat dengan rilis ini. Pelajari detail lebih lanjut tentang pengalaman monitor Azure baru di sini.

Penghentian

Versi HDInsight 3.6 tidak digunakan lagi efektif 01 Okt 2022.

Perubahan perilaku

Kueri Interaktif HDInsight hanya mendukung Skala otomatis berbasis jadwal

Ketika skenario pelanggan tumbuh lebih matang dan beragam, kami telah mengidentifikasi beberapa batasan dengan Skala Otomatis berbasis beban Interactive Query (LLAP). Keterbatasan ini disebabkan oleh sifat dinamika kueri LLAP, masalah akurasi prediksi muatan di masa depan, dan masalah dalam redistribusi tugas penjadwal LLAP. Karena keterbatasan ini, pengguna mungkin melihat kueri mereka berjalan lebih lambat pada kluster LLAP saat Autoscale diaktifkan. Dampak pada performa dapat melebihi manfaat biaya Skala otomatis.

Mulai Juli 2021, beban kerja Kueri Interaktif di HDInsight hanya mendukung Skala otomatis berbasis jadwal. Anda tidak dapat lagi mengaktifkan Skala otomatis pada kluster Kueri Interaktif baru. Klaster berjalan yang ada dapat terus berjalan dengan batasan yang diketahui seperti yang dijelaskan di atas.

Microsoft menyarankan agar Anda pindah ke Skala otomatis berbasis jadwal untuk LLAP. Anda dapat menganalisis pola penggunaan klaster Anda saat ini melalui dasbor Grafana Hive. Untuk informasi selengkapnya, lihat Menskalakan kluster Azure HDInsight secara otomatis.

Perubahan yang akan datang

Perubahan berikut terjadi dalam rilis mendatang.

Komponen LLAP bawaan dalam kluster ESP Spark akan dihapus

Kluster ESP Spark HDInsight 4.0 memiliki komponen bawan LLAP yang berjalan pada kedua simpul head. Komponen LLAP dalam kluster ESP Spark awalnya ditambahkan untuk HDInsight 3.6 ESP Spark, tetapi tidak memiliki kasus pengguna nyata untuk HDInsight 4.0 ESP Spark. Dalam rilis berikutnya yang dijadwalkan pada September 2021, HDInsight akan menghapus komponen LLAP bawaan dari kluster HDInsight 4.0 ESP Spark. Perubahan ini membantu membongkar beban kerja simpul kepala dan menghindari kebingungan antara jenis kluster ESP Spark dan ESP Interactive Hive.

Wilayah baru

AS Barat 3
Jio India Barat
Australia Tengah

Perubahan versi komponen

Versi komponen berikut telah diubah dengan rilis ini:

Versi ORC dari 1.5.1 hingga 1.5.9

Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini.

JIRA dengan port belakang

Berikut adalah Apache JIRA dengan port belakang untuk rilis ini:

Fitur yang Terkena Dampak	Apache JIRA
Tanggal / Tanda waktu	HIVE-25104
	HIVE-24074
	HIVE-22840
	HIVE-22589
	HIVE-22405
	HIVE-21729
	HIVE-21291
	HIVE-21290
UDF	HIVE-25268
	HIVE-25093
	HIVE-22099
	HIVE-24113
	HIVE-22170
	HIVE-22331
ORC	HIVE-21991
	HIVE-21815
	HIVE-21862
Skema tabel	HIVE-20437
	HIVE-22941
	HIVE-21784
	HIVE-21714
	HIVE-18702
	HIVE-21799
	HIVE-21296
Manajemen Beban Kerja	HIVE-24201
Pemadatan Log	HIVE-24882
	HIVE-23058
	HIVE-23046
Tampilan Materialisasi	HIVE-22566

Koreksi Harga untuk HdInsight `Dv2` Virtual Machines

Kesalahan harga dikoreksi pada 25 April 2021, untuk Dv2 seri VM di HDInsight. Kesalahan harga mengakibatkan pengurangan biaya pada beberapa tagihan pelanggan sebelum 25 April, dan dengan koreksi, harga sekarang cocok dengan apa yang telah diiklankan di halaman harga HDInsight dan kalkulator harga HDInsight. Kesalahan harga memengaruhi pelanggan di wilayah berikut yang menggunakan Dv2 VM:

Kanada Tengah
Kanada Timur
Asia Timur
Afrika Selatan Utara
Asia Tenggara
UAE Tengah

Mulai tanggal 25 April 2021, jumlah yang dikoreksi untuk Dv2 VM akan ada di akun Anda. Pemberitahuan pelanggan dikirim ke pemilik langganan sebelum perubahan. Anda dapat menggunakan Kalkulator harga, halaman harga HDInsight, atau bilah Buat kluster HDInsight di portal Azure untuk melihat biaya yang dikoreksi untuk Dv2 VM di wilayah Anda.

Anda tidak perlu melakukan tindakan apa pun. Koreksi harga hanya akan berlaku untuk penggunaan pada atau setelah 25 April 2021 di wilayah yang ditentukan, dan tidak untuk penggunaan apa pun sebelum tanggal ini. Untuk memastikan Anda memiliki solusi yang paling berkinerja dan hemat biaya, kami sarankan Anda meninjau harga, VCPU, dan RAM untuk kluster Anda Dv2 dan membandingkan Dv2 spesifikasi dengan Ev3 VM untuk melihat apakah solusi Anda akan mendapat manfaat dari memanfaatkan salah satu seri VM yang lebih baru.

Tanggal rilis: 02/06/2021

Versi OS untuk rilis ini adalah:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Fitur baru

Peningkatan versi OS

Seperti yang dirujuk dalam siklus rilis Ubuntu, kernel Ubuntu 16.04 mencapai End of Life (EOL) pada April 2021. Kami akan mulai meluncurkan gambar klaster HDInsight 4.0 baru yang berjalan pada Ubuntu 18.04 pada rilis ini. Kluster HDInsight 4.0 yang baru dibuat berjalan pada Ubuntu 18.04 secara default setelah tersedia. Kluster yang ada pada Ubuntu 16.04 berjalan apa adanya dengan dukungan penuh.

HDInsight 3.6 akan terus berjalan pada Ubuntu 16.04. Ini akan berubah menjadi Dukungan dasar (dari Dukungan standar) mulai 1 Juli 2021. Untuk informasi selengkapnya tentang tanggal dan opsi dukungan, lihat Versi Azure HDInsight. Ubuntu 18.04 tidak akan didukung untuk HDInsight 3.6. Jika Anda ingin menggunakan Ubuntu 18.04, Anda harus memigrasikan klaster ke HDInsight 4.0.

Anda harus menghentikan dan membuat ulang klaster jika Anda ingin memindahkan klaster HDInsight 4.0 yang ada ke Ubuntu 18.04. Rencanakan untuk membuat atau membuat ulang klaster Anda setelah dukungan Ubuntu 18.04 tersedia.

Setelah membuat klaster baru, Anda dapat melakukan SSH ke klaster anda dan menjalankan sudo lsb_release -a untuk memverifikasi bahwa klaster berjalan pada Ubuntu 18.04. Sebaiknya Anda menguji aplikasi Anda di langganan pengujian terlebih dahulu sebelum beralih ke produksi.

Pengoptimalan penskalaan pada kluster penulisan yang dipercepat HBase

HDInsight membuat beberapa peningkatan dan pengoptimalan pada penskalaan untuk kluster yang diaktifkan penulisan yang dipercepat HBase. Pelajari lebih lanjut tentang penulisan yang dipercepat HBase.

Penghentian

Tidak ada penghentian dalam rilis ini.

Perubahan perilaku

Nonaktifkan ukuran VM Standard_A5 sebagai Head Node untuk HDInsight 4.0

Head Node klaster HDInsight bertanggung jawab untuk menginisialisasi dan mengelola klaster. Ukuran VM Standard_A5 memiliki masalah ketahanan sebagai Head Node untuk HDInsight 4.0. Mulai dari rilis ini, pelanggan tidak akan dapat membuat kluster baru dengan ukuran VM Standard_A5 sebagai Head Node. Anda dapat menggunakan VM dua-inti lainnya seperti E2_v3 atau E2s_v3. Klaster yang ada akan berjalan apa adanya. VM empat-inti sangat disarankan untuk Simpul Kepala guna memastikan ketersediaan dan keandalan yang tinggi dari klaster HDInsight produksi Anda.

Sumber daya antarmuka jaringan tidak terlihat untuk klaster yang sedang berjalan pada set skala komputer virtual Azure

HDInsight secara bertahap bermigrasi ke set skala komputer virtual Azure. Antarmuka jaringan untuk komputer virtual tidak lagi terlihat oleh pelanggan pada kluster yang menggunakan set skala komputer virtual Azure.

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Kueri Interaktif HDInsight hanya mendukung Skala otomatis berbasis jadwal

Mulai Juli 2021, beban kerja Kueri Interaktif di HDInsight hanya mendukung Skala otomatis berbasis jadwal. Anda tidak bisa lagi mengaktifkan Autoscale pada klaster Interactive Query baru. Klaster berjalan yang ada dapat terus berjalan dengan batasan yang diketahui seperti yang dijelaskan di atas.

Penamaan host VM akan diubah pada 1 Juli 2021

HDInsight sekarang menggunakan komputer virtual Azure untuk memprovisikan kluster. Layanan ini secara bertahap bermigrasi ke set skala komputer virtual Azure. Migrasi ini akan mengubah format nama host kluster FQDN, dan angka dalam nama host tidak akan dijamin secara berurutan. Jika Anda ingin mendapatkan nama FQDN untuk setiap simpul, lihat Menemukan Nama host Simpul Klaster.

Pemindahan ke kumpulan skala komputer virtual Azure

HDInsight sekarang menggunakan komputer virtual Azure untuk memprovisikan kluster. Layanan ini secara bertahap bermigrasi ke kumpulan skala komputer virtual Azure. Seluruh proses mungkin memakan waktu berbulan-bulan. Setelah region dan langganan Anda bermigrasi, klaster HDInsight yang baru dibuat akan berjalan pada set skala komputer virtual tanpa tindakan konsumen. Tidak ada perubahan mencolok yang terduga.

Tanggal rilis: 24/03/2021

Fitur baru

Pratinjau Spark 3.0

HDInsight menambahkan dukungan Spark 3.0.0 ke HDInsight 4.0 sebagai fitur Pratinjau.

Pratinjau Kafka 2.4

HDInsight menambahkan dukungan Kafka 2.4.1 ke HDInsight 4.0 sebagai fitur Pratinjau.

`Eav4`-dukungan seri

HDInsight menambahkan Eav4dukungan -series dalam rilis ini.

Pindahkan ke set skala komputer virtual Azure

HDInsight sekarang menggunakan komputer virtual Azure untuk memprovisikan kluster. Layanan ini secara bertahap bermigrasi ke set skala komputer virtual Azure. Seluruh proses mungkin memakan waktu berbulan-bulan. Setelah region dan langganan Anda bermigrasi, klaster HDInsight yang baru dibuat akan berjalan pada set skala komputer virtual tanpa tindakan konsumen. Tidak ada perubahan mencolok yang terduga.

Penghentian

Tidak ada penghentian dalam rilis ini.

Perubahan perilaku

Versi klaster default diubah menjadi 4.0

Versi default klaster HDInsight diubah dari 3.6 menjadi 4.0. Untuk informasi selengkapnya tentang versi yang tersedia, lihat versi yang tersedia. Pelajari selengkapnya tentang apa yang baru di HDInsight 4.0.

Ukuran VM kluster default diubah menjadi `Ev3`-series

Ukuran VM kluster default diubah dari seri D menjadi Ev3-series. Perubahan ini berlaku untuk head node dan node pekerja. Untuk menghindari perubahan ini berdampak pada alur kerja yang Anda uji, tentukan ukuran VM yang ingin Anda gunakan di templat ARM.

Sumber daya antarmuka jaringan tidak terlihat untuk klaster yang sedang berjalan pada set skala komputer virtual Azure

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Kueri Interaktif HDInsight hanya mendukung Skala otomatis berbasis jadwal

Peningkatan versi OS

Klaster HDInsight saat ini berjalan pada Ubuntu 16.04 LTS. Sebagaimana dirujuk dalam siklus rilis Ubuntu, kernel Ubuntu 16.04 akan mencapai End of Life (EOL) pada April 2021. Kami akan mulai meluncurkan gambar klaster HDInsight 4.0 baru yang berjalan pada Ubuntu 18.04 pada bulan Mei 2021. Klaster HDInsight 4.0 yang baru dibuat akan berjalan pada Ubuntu 18.04 secara default setelah tersedia. Klaster yang ada pada Ubuntu 16.04 akan berjalan apa adanya dengan dukungan penuh.

HDInsight 3.6 akan terus berjalan pada Ubuntu 16.04. Ia akan mencapai akhir dukungan standar pada 30 Juni 2021, dan akan berubah menjadi dukungan Dasar mulai 1 Juli 2021. Untuk informasi selengkapnya tentang tanggal dan opsi dukungan, lihat Versi Azure HDInsight. Ubuntu 18.04 tidak akan didukung untuk HDInsight 3.6. Jika Anda ingin menggunakan Ubuntu 18.04, Anda harus memigrasikan klaster ke HDInsight 4.0.

Anda harus menghentikan dan membuat ulang klaster jika Anda ingin memindahkan klaster yang ada ke Ubuntu 18.04. Rencanakan untuk membuat atau membuat ulang kluster Anda setelah dukungan Ubuntu 18.04 tersedia. Kami akan mengirim pemberitahuan lain setelah gambar baru tersedia di semua region.

Sangat disarankan agar Anda menguji tindakan skrip dan aplikasi kustom yang diterapkan pada node tepi pada komputer virtual (VM) Ubuntu 18.04 terlebih dahulu. Anda dapat membuat VM Linux Ubuntu pada 18.04-LTS, lalu membuat dan menggunakan pasangan kunci secure shell (SSH) pada VM Anda untuk menjalankan dan menguji tindakan skrip anda dan aplikasi kustom yang disebarkan pada simpul tepi.

Nonaktifkan ukuran VM Standard_A5 sebagai Head Node untuk HDInsight 4.0

Head Node klaster HDInsight bertanggung jawab untuk menginisialisasi dan mengelola klaster. Ukuran VM Standard_A5 memiliki masalah ketahanan sebagai Head Node untuk HDInsight 4.0. Mulai dari rilis berikutnya pada Mei 2021, pelanggan tidak akan dapat membuat kluster baru dengan ukuran VM Standard_A5 sebagai Head Node. Anda dapat menggunakan VM 2-inti lainnya seperti E2_v3 atau E2s_v3. Klaster yang ada akan berjalan apa adanya. VM 4-inti sangat disarankan untuk Head Node untuk memastikan ketersediaan dan ketahanan tinggi dari klaster HDInsight produksi Anda.

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Perubahan versi komponen

Tambahan dukungan untuk Spark 3.0.0 dan Kafka 2.4.1 sebagai Pratinjau. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini.

Tanggal rilis: 05/02/2021

Fitur baru

Dukungan seri Dav4

HDInsight menambahkan dukungan seri Dav4 dalam rilis ini. Pelajari lebih lanjut tentang Dav4-series disini.

Kafka REST Proxy GA

Kafka REST Proxy memungkinkan Anda berinteraksi dengan kluster Kafka melalui REST API lewat HTTPS. Kafka Rest Proxy tersedia secara umum mulai dari rilis ini. Pelajari lebih lanjut tentang Kafka REST Proxy di sini.

Pindahkan ke set skala komputer virtual Azure

Penghentian

Ukuran VM yang dinon-fungsikan

Mulai 9 Januari 2021, HDInsight akan memblokir semua pelanggan yang membuat kluster menggunakan ukuran VM standard_A8, standard_A9, standard_A10, dan standard_A11. Klaster yang ada akan berjalan apa adanya. Pertimbangkan untuk pindah ke HDInsight 4.0 untuk menghindari potensi gangguan sistem/dukungan.

Perubahan perilaku

Perubahan ukuran VM kluster default ke `Ev3`-series

Ukuran VM kluster default akan diubah dari seri D menjadi Ev3-series. Perubahan ini berlaku untuk head node dan node pekerja. Untuk menghindari perubahan ini berdampak pada alur kerja yang Anda uji, tentukan ukuran VM yang ingin Anda gunakan di templat ARM.

Sumber daya antarmuka jaringan tidak terlihat untuk klaster yang sedang berjalan pada set skala komputer virtual Azure

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Versi kluster default akan diubah ke 4.0

Mulai Februari 2021, versi default kluster HDInsight akan diubah dari 3,6 menjadi 4,0. Untuk informasi selengkapnya tentang versi yang tersedia, lihat versi yang tersedia. Pelajari selengkapnya tentang apa yang baru di HDInsight 4.0.

Peningkatan versi OS

HDInsight meningkatkan versi OS dari Ubuntu 16.04 ke 18.04. Peningkatan akan selesai sebelum April 2021.

HDInsight 3.6 mengakhiri dukungan pada 30 Juni 2021

HDInsight 3.6 akan menjadi akhir dukungan. Mulai 30 Juni 2021, pelanggan tidak dapat membuat kluster HDInsight 3.6 baru. Kluster yang ada akan berjalan seperti biasa tanpa dukungan dari Microsoft. Pertimbangkan untuk pindah ke HDInsight 4.0 untuk menghindari potensi gangguan sistem/dukungan.

Perubahan versi komponen

Tidak ada perubahan versi komponen untuk rilis ini. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini.

Tanggal rilis: 18/11/2020

Fitur baru

Rotasi kunci otomatis untuk enkripsi kunci terkelola pelanggan saat tidak aktif

Mulai dari rilis ini, pelanggan dapat menggunakan URL kunci enkripsi tanpa versi Azure KeyVault untuk enkripsi kunci yang dikelola pelanggan saat tidak aktif. HDInsight akan secara otomatis memutar tombol saat kedaluwarsa atau diganti dengan versi baru. Pelajari detail selengkapnya di sini.

Kemampuan untuk memilih berbagai ukuran komputer virtual Zookeeper untuk Spark, Hadoop, dan ML

HDInsight sebelumnya tidak mendukung penyesuaian ukuran simpul Zookeeper untuk jenis kluster Spark, Hadoop, dan ML Services. Ini default untuk ukuran komputer virtual A2_v2 / A2, yang disediakan secara gratis. Dari rilis ini, Anda dapat memilih ukuran komputer virtual Zookeeper yang paling sesuai untuk skenario Anda. Simpul Zookeeper dengan ukuran komputer virtual selain A2_v2/A2 akan dikenakan biaya. A2_v2 dan komputer virtual A2 masih disediakan secara gratis.

Pindahkan ke set skala komputer virtual Azure

HDInsight sekarang menggunakan komputer virtual Azure untuk memprovisikan kluster. Mulai dari rilis ini, layanan akan secara bertahap bermigrasi ke set skala komputer virtual Azure. Seluruh proses mungkin memakan waktu berbulan-bulan. Setelah region dan langganan Anda bermigrasi, klaster HDInsight yang baru dibuat akan berjalan pada set skala komputer virtual tanpa tindakan konsumen. Tidak ada perubahan mencolok yang terduga.

Penghentian

Penghentian kluster HDInsight 3.6 ML Service

Tipe kluster HDInsight 3.6 ML Services akan menjadi mengakhiri dukungan pada 31 Desember 2020. Pelanggan tidak akan dapat membuat kluster ML Services 3,6 baru setelah 31 Desember 2020. Kluster yang ada akan berjalan seperti biasa tanpa dukungan dari Microsoft. Periksa kedaluwarsa dukungan untuk versi HDInsight dan jenis kluster di sini.

Ukuran VM yang dinon-fungsikan

Mulai 16 November 2020, HDInsight akan memblokir pelanggan baru yang membuat kluster menggunakan ukuran VM standard_A8, standard_A9, standard_A10, dan standard_A11. Pelanggan yang sudah ada yang telah menggunakan ukuran VM ini dalam tiga bulan terakhir tidak akan terpengaruh. Mulai 9 Januari 2021, HDInsight akan memblokir semua pelanggan yang membuat kluster menggunakan ukuran VM standard_A8, standard_A9, standard_A10, dan standard_A11. Klaster yang ada akan berjalan apa adanya. Pertimbangkan untuk pindah ke HDInsight 4.0 untuk menghindari potensi gangguan sistem/dukungan.

Perubahan perilaku

Tambahkan pemeriksaan aturan NSG sebelum operasi penskalaan

HDInsight menambahkan kelompok keamanan jaringan (NSGs) dan pemeriksaan rute yang ditentukan pengguna (UDR) dengan operasi penskalaan. Validasi yang sama dilakukan untuk penskalaan kluster selain dari pembuatan kluster. Validasi ini membantu mencegah kesalahan yang tidak dapat diprediksi. Jika validasi tidak lulus, penskalaan gagal. Pelajari lebih lanjut cara mengonfigurasi NSG dan UDR dengan benar, lihat alamat IP manajemen HDInsight.

Perubahan versi komponen

Tidak ada perubahan versi komponen untuk rilis ini. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini.

Tanggal rilis: 09/11/2020

Fitur baru

HDInsight Identity Broker (HIB) sekarang tersedia secara umum

HDInsight Identity Broker (HIB) yang memungkinkan autentikasi OAuth untuk kluster ESP sekarang tersedia secara umum dengan rilis ini. Kluster HIB yang dibuat setelah rilis ini akan memiliki fitur HIB terbaru:

Ketersediaan Tinggi (HA)
Dukungan untuk Autentikasi Multifaktor (MFA)
Pengguna federasi masuk tanpa sinkronisasi hash kata sandi ke AAD-DS Untuk informasi selengkapnya, lihat dokumentasi HIB.

Pindahkan ke set skala komputer virtual Azure

Penghentian

Penghentian kluster HDInsight 3.6 ML Service

Tipe kluster HDInsight 3.6 ML Services akan menjadi mengakhiri dukungan pada 31 Desember 2020. Pelanggan tidak akan dapat membuat kluster ML Service 3,6 baru setelah 31 Desember 2020. Kluster yang ada akan berjalan seperti biasa tanpa dukungan dari Microsoft. Periksa kedaluwarsa dukungan untuk versi HDInsight dan jenis kluster di sini.

Ukuran VM yang dinon-fungsikan

Perubahan perilaku

Tidak ada perubahan perilaku untuk rilis ini.

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Kemampuan untuk memilih berbagai ukuran komputer virtual Zookeeper untuk Spark, Hadoop, dan ML

HDInsight sebelumnya tidak mendukung penyesuaian ukuran simpul Zookeeper untuk jenis kluster Spark, Hadoop, dan ML Services. Ini default untuk ukuran komputer virtual A2_v2 / A2, yang disediakan secara gratis. Di rilis yang akan datang, Anda dapat memilih ukuran komputer virtual Zookeeper yang paling sesuai untuk skenario Anda. Simpul Zookeeper dengan ukuran komputer virtual selain A2_v2/A2 akan dikenakan biaya. A2_v2 dan komputer virtual A2 masih disediakan secara gratis.

Versi kluster default akan diubah ke 4.0

Mulai Februari 2021, versi default kluster HDInsight akan diubah dari 3,6 menjadi 4,0. Untuk informasi selengkapnya tentang versi yang tersedia, lihat versi yang tersedia. Pelajari lebih lanjut tentang apa yang baru dalam HDInsight 4.0

HDInsight 3.6 mengakhiri dukungan pada 30 Juni 2021

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Memperbaiki masalah untuk menghidupkan ulang VM dalam kluster

Masalah tentang menghidupkan ulang VM di kluster telah diperbaiki, Anda dapat menggunakan PowerShell atau REST API untuk me-reboot simpul di kluster lagi.

Perubahan versi komponen

Tidak ada perubahan versi komponen untuk rilis ini. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini.

Tanggal rilis: 08/10/2020

Fitur baru

Kluster privat HDInsight tanpa IP publik dan tautan Pribadi (Pratinjau)

HDInsight sekarang mendukung pembuatan kluster tanpa IP publik dan akses tautan pribadi ke kluster dalam pratinjau. Pelanggan dapat menggunakan pengaturan jaringan canggih baru untuk membuat kluster yang sepenuhnya terisolasi tanpa IP publik dan menggunakan titik akhir pribadi mereka sendiri untuk mengakses kluster.

Pindahkan ke set skala komputer virtual Azure

Penghentian

Penghentian kluster HDInsight 3.6 ML Service

Tipe kluster HDInsight 3.6 ML Services akan mengakhiri dukungan pada 31 Des 2020. Pelanggan tidak akan dapat membuat kluster ML Service 3,6 baru setelahnya. Kluster yang ada akan berjalan seperti biasa tanpa dukungan dari Microsoft. Periksa kedaluwarsa dukungan untuk versi HDInsight dan jenis kluster di sini.

Perubahan perilaku

Tidak ada perubahan perilaku untuk rilis ini.

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Kemampuan untuk memilih berbagai ukuran komputer virtual Zookeeper untuk Spark, Hadoop, dan ML

HDInsight sebelumnya tidak mendukung penyesuaian ukuran simpul Zookeeper untuk jenis kluster Spark, Hadoop, dan ML Services. Ini default untuk ukuran komputer virtual A2_v2 / A2, yang disediakan secara gratis. Di rilis yang akan datang, Anda dapat memilih ukuran komputer virtual Zookeeper yang paling sesuai untuk skenario Anda. Simpul Zookeeper dengan ukuran komputer virtual selain A2_v2/A2 akan dikenakan biaya. A2_v2 dan komputer virtual A2 masih disediakan secara gratis.

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Perubahan versi komponen

Tidak ada perubahan versi komponen untuk rilis ini. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini.

Tanggal rilis: 28/09/2020

Fitur baru

Skala otomatis untuk Interactive Query dengan HDInsight 4.0 sekarang tersedia secara umum

Skala otomatis untuk tipe kluster Interactive Query sekarang General Available (GA) untuk HDInsight 4.0. Semua kluster Interactive Query 4.0 yang dibuat setelah 27 Agustus 2020 akan memiliki dukungan GA untuk skala otomatis.

Kluster HBase mendukung Premium ADLS Gen2

HDInsight sekarang mendukung Premium ADLS Gen2 sebagai akun penyimpanan utama untuk kluster HDInsight HBase 3.6 dan 4.0. Bersama dengan Accelerated Writes, Anda bisa mendapatkan performa yang lebih baik untuk kluster HBase Anda.

Distribusi partisi Kafka pada domain penyimpanan Azure

Domain kesalahan adalah pengelompokan logis perangkat keras yang mendasarinya di pusat data Azure. Setiap domain penyimpanan berbagi sumber tenaga dan sakelar jaringan yang sama. Sebelum HDInsight Kafka mungkin menyimpan semua replika partisi di domain kesalahan yang sama. Mulai dari rilis ini, HDInsight sekarang mendukung distribusi partisi Kafka secara otomatis berdasarkan domain penyimpanan Azure.

Enkripsi saat transit

Pelanggan dapat mengaktifkan enkripsi saat transit antar node kluster menggunakan enkripsi IPsec dengan kunci yang dikelola platform. Opsi ini dapat diaktifkan pada waktu pembuatan kluster. Lihat detail selengkapnya tentang cara mengaktifkan enkripsi saat transit.

Enkripsi di host

Saat Anda mengaktifkan enkripsi di host, data yang disimpan di host VM dienkripsi saat tidak aktif dan aliran dienkripsi ke layanan penyimpanan. Dari rilis ini, Anda dapat Mengaktifkan enkripsi di host pada disk data sementara saat membuat kluster. Enkripsi di host hanya didukung pada SKU VM tertentu di wilayah terbatas. HDInsight mendukung konfigurasi simpul dan SKU berikut. Lihat detail selengkapnya tentang cara mengaktifkan enkripsi saat transit.

Pindahkan ke set skala komputer virtual Azure

Penghentian

Tidak ada penghentian untuk rilis ini.

Perubahan perilaku

Tidak ada perubahan perilaku untuk rilis ini.

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Kemampuan untuk memilih SKU Penjaga Kebun Binatang yang berbeda untuk Spark, Hadoop, dan ML Services

HDInsight saat ini tidak mendukung perubahan tipe kluster Zookeeper SKU for Spark, Hadoop, dan ML Services. Ini menggunakan A2_v2 / A2 SKU untuk simpul Zookeeper dan pelanggan tidak dikenakan biaya untuk mereka. Dalam rilis mendatang, pelanggan dapat mengubah Zookeeper SKU untuk Spark, Hadoop, dan ML Services sesuai kebutuhan. Simpul Zookeeper dengan SKU selain A2_v2/A2 akan dikenakan biaya. SKU default masih akan tetap A2_V2/A2 dan gratis.

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Perubahan versi komponen

Tidak ada perubahan versi komponen untuk rilis ini. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini.

Tanggal rilis: 09/08/2020

Rilis ini hanya berlaku untuk HDInsight 4.0. Rilis HDInsight tersedia untuk semua wilayah selama beberapa hari. Tanggal rilis di sini menunjukkan tanggal rilis wilayah pertama. Jika Anda tidak melihat perubahan berikut, tunggu rilis ditayangkan di wilayah Anda dalam beberapa hari.

Fitur baru

Dukungan untuk SparkCruise

SparkCruise adalah sistem penggunaan kembali komputasi otomatis untuk Spark. Sistem ini memilih subekspresi umum untuk terwujud berdasarkan beban kerja kueri sebelumnya. SparkCruise mewujudkan subekspresi ini sebagai bagian dari pemrosesan kueri dan penggunaan kembali komputasi secara otomatis diterapkan di latar belakang. Anda dapat mengambil keuntungan dari SparkCruise tanpa modifikasi apa pun pada kode Spark.

Mendukung Apache Hive View untuk HDInsight 4.0

Apache Ambari Hive View dirancang untuk membantu Anda menulis, mengoptimalkan, dan menjalankan kueri Hive dari browser web Anda. Apache Hive View didukung secara native untuk kluster HDInsight 4.0 mulai dari rilis ini. Ini tidak berlaku untuk kluster yang sudah ada. Anda perlu menghilangkan dan membuat ulang kluster untuk mendapatkan Apache Hive View bawaan.

Mendukung Tez View untuk HDInsight 4.0

Apache Tez View digunakan untuk melacak dan men-debug eksekusi pekerjaan Hive Tez. Tez View didukung secara native untuk HDInsight 4.0 mulai dari rilis ini. Ini tidak berlaku untuk kluster yang sudah ada. Anda perlu menghilangkan dan membuat ulang kluster untuk mendapatkan Tampilan Tez bawaan.

Penghentian

Penghentian Spark 2.1 dan 2.2 di kluster Spark HDInsight 3.6

Mulai 1 Juli 2020, pelanggan tidak dapat membuat kluster Spark baru dengan Spark 2.1 dan 2.2 di HDInsight 3.6. Kluster yang ada akan berjalan seperti biasa tanpa dukungan dari Microsoft. Pertimbangkan untuk pindah ke Spark 2.3 pada HDInsight 3.6 sebelum 30 Juni 2020 untuk menghindari potensi gangguan sistem/dukungan.

Penghentian Spark 2.3 di HDInsight 4.0 Spark cluster

Mulai 1 Juli 2020, pelanggan tidak dapat membuat kluster Spark baru dengan Spark 2.3 di HDInsight 4.0. Kluster yang ada akan berjalan seperti biasa tanpa dukungan dari Microsoft. Pertimbangkan untuk pindah ke Kafka 2.4 pada HDInsight 4.0 sebelum 30 Juni 2020 untuk menghindari potensi gangguan sistem/dukungan.

Penghentian Kafka 1.1 di kluster HDInsight 4.0 Kafka

Mulai 1 Juli 2020, pelanggan tidak akan dapat membuat kluster Kafka baru dengan Kafka 1.1 di HDInsight 4.0. Kluster yang ada akan berjalan seperti biasa tanpa dukungan dari Microsoft. Pertimbangkan untuk pindah ke Kafka 2.1 pada HDInsight 4.0 sebelum 30 Juni 2020 untuk menghindari potensi gangguan sistem/dukungan.

Perubahan perilaku

Perubahan versi tumpukan Ambari

Dalam rilis ini, versi Ambari berubah dari 2.x.x.x menjadi 4.1. Anda dapat memverifikasi versi tumpukan (HDInsight 4.1) di Ambari: Ambari > Pengguna > Versi.

Perubahan yang akan datang

Tidak ada perubahan mencolok yang akan datang untuk perlu Anda perhatikan.

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Di bawah JIRAs kembali di-ported untuk Apache Hive:

Di bawah JIRAs kembali di-ported untuk HBase:

Perubahan versi komponen

Tidak ada perubahan versi komponen untuk rilis ini. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini.

Masalah umum

Masalah telah diperbaiki di portal Microsoft Azure saat pengguna mengalami kesalahan ketika mereka membuat kluster Azure HDInsight menggunakan jenis kunci publik autentikasi SSH. Ketika pengguna mengklik Tinjau + Buat, mereka akan menerima kesalahan "Tidak boleh berisi tiga karakter berturut-turut dari nama pengguna SSH." Masalah ini telah diperbaiki, tetapi mungkin mengharuskan Anda menyegarkan cache browser dengan menekan CTRL + F5 untuk memuat tampilan yang dikoreksi. Solusi dari masalah ini adalah membuat kluster dengan templat ARM.

Tanggal rilis: 13/07/2020

Rilis ini berlaku baik untuk HDInsight 3.6 dan 4.0. Rilis HDInsight tersedia untuk semua wilayah selama beberapa hari. Tanggal rilis di sini menunjukkan tanggal rilis wilayah pertama. Jika Anda tidak melihat perubahan berikut, tunggu rilis ditayangkan di wilayah Anda dalam beberapa hari.

Fitur baru

Dukungan untuk Customer Lockbox untuk Microsoft Azure

Azure HDInsight sekarang mendukung Azure Customer Lockbox. Ini menyediakan antarmuka bagi pelanggan untuk meninjau dan menyetujui, atau menolak permintaan akses data pelanggan. Ini digunakan ketika teknisi Microsoft perlu mengakses data pelanggan selama permintaan dukungan. Untuk informasi selengkapnya, lihat Customer Lockbox untuk Microsoft Azure.

Kebijakan titik akhir layanan untuk penyimpanan

Pelanggan sekarang dapat menggunakan Service Endpoint Policies (SEP) pada subnet kluster HDInsight. Pelajari selengkapnya tentang kebijakan titik akhir Layanan Azure.

Penghentian

Penghentian Spark 2.1 dan 2.2 di kluster Spark HDInsight 3.6

Penghentian Spark 2.3 di HDInsight 4.0 Spark cluster

Penghentian Kafka 1.1 di kluster HDInsight 4.0 Kafka

Perubahan perilaku

Tidak ada perubahan perilaku yang perlu Anda perhatikan.

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Kemampuan untuk memilih SKU Penjaga Kebun Binatang yang berbeda untuk Spark, Hadoop, dan ML Services

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Memperbaiki masalah Apache Hive Warehouse Connector

Ada masalah pada kegunaan konektor Apache Hive Warehouse dalam rilis sebelumnya. Masalah telah diperbaiki.

Notebook Zeppelin telah memperbaiki masalah pemotongan awalan nol

Zeppelin salah memotong jarak antar baris nol dalam output tabel untuk format String. Kami telah memperbaiki masalah ini dalam rilis ini.

Perubahan versi komponen

Tidak ada perubahan versi komponen untuk rilis ini. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini.

Tanggal rilis: 11/06/2020

Fitur baru

Pindahkan ke set skala komputer virtual Azure

HDInsight sekarang menggunakan komputer virtual Azure untuk provisikan kluster. Dari rilis ini, kluster HDInsight yang baru dibuat mulai menggunakan set skala komputer virtual Azure. Perubahan diluncurkan secara bertahap. Anda harus mengharapkan tidak adanya perubahan yang mencolok. Lihat selengkapnya tentang set skala komputer virtual Azure.

Reboot VM di kluster HDInsight

Dalam rilis ini, kami mendukung reboot VM di kluster HDInsight untuk me-reboot simpul yang tidak responsif. Saat ini Anda hanya dapat melakukannya melalui API, dukungan untuk PowerShell dan CLI akan segera hadir. Untuk informasi selengkapnya tentang API, lihat dokumen ini.

Penghentian

Penghentian Spark 2.1 dan 2.2 di kluster Spark HDInsight 3.6

Penghentian Spark 2.3 di HDInsight 4.0 Spark cluster

Penghentian Kafka 1.1 di kluster HDInsight 4.0 Kafka

Perubahan perilaku

Perubahan ukuran head node kluster ESP Spark

Ukuran head node minimum yang diizinkan untuk kluster ESP Spark diubah Standard_D13_V2. VM dengan inti dan memori rendah sebagai head node dapat menyebabkan masalah kluster ESP karena kapasitas CPU dan memori yang relatif rendah. Mulai dari rilis, gunakan SKU yang lebih tinggi Standard_D13_V2 dan Standard_E16_V3 sebagai head simpul untuk kluster ESP Spark.

VM 4-core minimum diperlukan untuk Head Node

VM 4-core minimum diperlukan untuk Head Node untuk memastikan ketersediaan dan ketahanan kluster HDInsight yang tinggi. Mulai dari 6 April 2020, pelanggan hanya dapat memilih 4-core atau di atas VM sebagai Head Node untuk kluster HDInsight baru. Kluster yang ada akan tetap berjalan seperti yang diharapkan.

Perubahan provisi simpul pekerja kluster

Ketika 80% simpul pekerja siap, kluster memasuki tahap operasional. Pada tahap ini, pelanggan dapat melakukan semua operasi pesawat data seperti menjalankan skrip dan pekerjaan. Tetapi pelanggan tidak dapat melakukan operasi pesawat kontrol seperti meningkatkan/menurunkan skala. Hanya penghapusan yang didukung.

Setelah tahap operasional, kluster menunggu 60 menit lagi untuk sisa 20% simpul pekerja. Pada akhir periode 60 menit ini, kluster bergerak ke tahap berjalan , bahkan jika semua simpul pekerja masih belum tersedia. Setelah kluster memasuki tahap berjalan, Anda dapat menggunakannya seperti biasa. Kedua operasi rencana kontrol seperti meningkatkan/menurunkan skala, dan operasi rencana data seperti menjalankan skrip dan pekerjaan diterima. Jika beberapa simpul pekerja yang diminta tidak tersedia, kluster akan ditandai sebagai keberhasilan parsial. Anda ditagih untuk simpul yang berhasil disebarkan.

Buat perwakilan layanan baru melalui HDInsight

Sebelumnya, dengan pembuatan kluster, pelanggan dapat membuat prinsipal layanan baru untuk mengakses akun ADLS Gen 1 yang terhubung di portal Microsoft Azure. Mulai 15 Juni 2020, pembuatan perwakilan layanan baru tidak dimungkinkan dalam alur kerja pembuatan HDInsight, hanya perwakilan layanan yang ada yang didukung. Lihat Membuat Perwakilan Layanan dan Sertifikat menggunakan Azure Active Directory.

Waktu habis untuk tindakan skrip dengan pembuatan kluster

HDInsight mendukung menjalankan tindakan skrip dengan pembuatan kluster. Dari rilis ini, semua tindakan skrip dengan pembuatan kluster harus selesai dalam waktu 60 menit, atau waktunya habis. Tindakan skrip yang dikirimkan ke kluster yang sedang berjalan tidak terpengaruh. Pelajari detail selengkapnya di sini.

Perubahan yang akan datang

Tidak ada perubahan mencolok yang akan datang untuk perlu Anda perhatikan.

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Perubahan versi komponen

HBase 2.0 hingga 2.1.6

Versi HBase ditingkatkan dari versi 2.0 ke 2.1.6.

Spark 2.4.0 hingga 2.4.4

Versi Spark ditingkatkan dari versi 2.4.0 ke 2.4.4.

Kafka 2.1.0 hingga 2.1.1

Versi Kafka ditingkatkan dari versi 2.1.0 ke 2.1.1.

Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di dokumen ini

Masalah umum

Masalah Apache Hive Warehouse Connector

Ada masalah untuk Apache Hive Warehouse Connector dalam rilis ini. Perbaikan akan disertakan dalam rilis berikutnya. Kluster yang ada yang dibuat sebelum rilis ini tidak terpengaruh. Hindari menghilangkan dan membuat ulang kluster jika memungkinkan. Buka tiket dukungan jika Anda memerlukan bantuan lebih lanjut tentang hal ini.

Tanggal rilis: 09/01/2020

Fitur baru

Penerapan TLS 1.2

Keamanan Lapisan Transportasi atau Transport Layer Security (TLS) dan Secure Sockets Layer (SSL) adalah protokol kriptografi yang menyediakan keamanan komunikasi melalui jaringan komputer. Pelajari selengkapnya tentang TLS. HDInsight menggunakan TLS 1.2 pada titik akhir HTTP publik, tetapi TLS 1.1 masih didukung untuk kompatibilitas mundur.

Dengan rilis ini, pelanggan dapat memilih TLS 1.2 hanya untuk semua koneksi melalui titik akhir kluster publik. Untuk mendukung hal ini, properti minSupportedTlsVersion baru diperkenalkan dan dapat ditentukan selama pembuatan kluster. Jika properti belum ditetapkan, kluster masih mendukung TLS 1.0, 1.1, dan 1.2 yang sama dengan perilaku saat ini. Pelanggan dapat menetapkan nilai properti ini menjadi "1,2", yang berarti bahwa kluster hanya mendukung TLS 1.2 ke atas. Untuk informasi selengkapnya, lihat Transport Layer Security.

Bawa kunci Anda sendiri untuk enkripsi disk

Semua disk terkelola dalam HDInsight dilindungi dengan Enkripsi Layanan Microsoft Azure Storage (SSE). Data pada disk tersebut dienkripsi oleh kunci yang dikelola Microsoft secara default. Mulai dari rilis ini, Anda dapat Bring Your Own Key (BYOK) untuk enkripsi disk dan mengelolanya menggunakan Azure Key Vault. Enkripsi BYOK adalah konfigurasi satu langkah selama pembuatan kluster tanpa biaya tambahan. Cukup daftarkan HDInsight sebagai identitas terkelola dengan Azure Key Vault dan tambahkan kunci enkripsi saat Anda membuat kluster. Untuk informasi selengkapnya, lihat Enkripsi disk kunci yang dikelola konsumen.

Penghentian

Tidak ada penghentian untuk rilis ini. Untuk bersiap-siap menghadapi penghentian yang akan datang, lihat Perubahan mendatang.

Perubahan perilaku

Tidak ada perubahan perilaku untuk rilis ini. Untuk bersiap-siap menghadapi perubahan yang akan datang, lihat Perubahan mendatang.

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Penghentian Spark 2.1 dan 2.2 di kluster Spark HDInsight 3.6

Mulai 1 Juli 2020, pelanggan tidak akan dapat membuat kluster Spark baru dengan Spark 2.1 dan 2.2 di HDInsight 3.6. Kluster yang ada akan berjalan apa adanya tanpa dukungan dari Microsoft. Pertimbangkan untuk pindah ke Spark 2.3 pada HDInsight 3.6 sebelum 30 Juni 2020 untuk menghindari potensi gangguan sistem/dukungan.

Penghentian Spark 2.3 di HDInsight 4.0 Spark cluster

Mulai 1 Juli 2020, pelanggan tidak akan dapat membuat kluster Spark baru dengan Spark 2.3 di HDInsight 4.0. Kluster yang ada akan berjalan apa adanya tanpa dukungan dari Microsoft. Pertimbangkan untuk beralih ke Spark 2.4 di HDInsight 4.0 sebelum 30 Juni 2020 untuk menghindari kemungkinan gangguan sistem/dukungan.

Penghentian Kafka 1.1 di kluster HDInsight 4.0 Kafka

Mulai 1 Juli 2020, pelanggan tidak akan dapat membuat kluster Kafka baru dengan Kafka 1.1 di HDInsight 4.0. Kluster yang ada akan berjalan apa adanya tanpa dukungan dari Microsoft. Pertimbangkan untuk pindah ke Kafka 2.1 pada HDInsight 4.0 sebelum 30 Juni 2020 untuk menghindari potensi gangguan sistem/dukungan. Untuk informasi selengkapnya, lihat Melakukan migrasi beban kerja Apache Kafka ke Azure HDInsight 4.0.

HBase 2.0 hingga 2.1.6

Dalam rilis HDInsight 4.0 mendatang, versi HBase akan ditingkatkan dari versi 2.0 ke 2.1.6

Spark 2.4.0 hingga 2.4.4

Dalam rilis HDInsight 4.0 mendatang, versi Spark akan ditingkatkan dari versi 2.4.0 ke 2.4.4

Kafka 2.1.0 hingga 2.1.1

Dalam rilis HDInsight 4.0 mendatang, versi Spark akan ditingkatkan dari versi 2.1.0 ke 2.1.1

VM 4-core minimum diperlukan untuk Head Node

Perubahan ukuran simpul kluster ESP Spark

Pada rilis mendatang, ukuran simpul minimum yang diizinkan untuk kluster ESP Spark akan diubah menjadi Standard_D13_V2. VM seri A dapat menyebabkan masalah kluster ESP karena kapasitas CPU dan memori yang relatif rendah. VM seri A akan ditolak untuk membuat kluster ESP baru.

Pindahkan ke set skala komputer virtual Azure

HDInsight sekarang menggunakan komputer virtual Azure untuk memprovisikan kluster. Dalam rilis mendatang, HDInsight akan menggunakan set skala komputer virtual Azure sebagai gantinya. Lihat selengkapnya tentang set skala komputer virtual Azure.

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Perubahan versi komponen

Tidak ada perubahan versi komponen untuk rilis ini. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di sini.

Tanggal rilis: 17/12/2019

Rilis ini berlaku baik untuk HDInsight 3.6 dan 4.0.

Fitur baru

Tag layanan

Tag layanan menyederhanakan keamanan untuk komputer virtual Azure dan jaringan virtual Azure dengan memungkinkan Anda membatasi akses jaringan dengan mudah ke layanan Azure. Anda dapat menggunakan tag layanan dalam aturan kelompok keamanan jaringan (NSG) untuk mengizinkan atau menolak lalu lintas ke layanan Azure tertentu secara global atau per wilayah Azure. Azure menyediakan pemeliharaan alamat IP yang mendasari setiap tag. Tag layanan HDInsight untuk kelompok keamanan jaringan (NSGs) adalah grup alamat IP untuk layanan kesehatan dan manajemen. Grup-grup ini membantu meminimalkan kompleksitas untuk pembuatan aturan keamanan. Konsumen HDInsight dapat mengaktifkan tag layanan melalui portal Azure, PowerShell, dan REST API. Untuk informasi selengkapnya, lihat Tag layanan grup keamanan jaringan (NSG) untuk Azure HDInsight.

Ambari DB Kustom

HDInsight sekarang memungkinkan Anda untuk menggunakan SQL DB Anda sendiri untuk Apache Ambari. Anda dapat mengonfigurasi Ambari DB kustom ini dari portal Microsoft Azure atau melalui templat Resource Manager. Fitur ini memungkinkan Anda untuk memilih SQL DB yang tepat untuk kebutuhan pemrosesan dan kapasitas Anda. Anda juga dapat meningkatkan dengan mudah agar sesuai dengan kebutuhan pertumbuhan bisnis. Untuk informasi selengkapnya, lihat Siapkan kluster HDInsight dengan Ambari DB kustom.

Ambari DB kustom.

Penghentian

Tidak ada penghentian untuk rilis ini. Untuk bersiap-siap menghadapi penghentian yang akan datang, lihat Perubahan mendatang.

Perubahan perilaku

Tidak ada perubahan perilaku untuk rilis ini. Untuk bersiap-siap menghadapi perubahan prilaku yang akan datang, lihat Perubahan mendatang.

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Penegakan Transport Layer Security (TLS) 1.2

Keamanan Lapisan Transportasi atau Transport Layer Security (TLS) dan Secure Sockets Layer (SSL) adalah protokol kriptografi yang menyediakan keamanan komunikasi melalui jaringan komputer. Untuk informasi selengkapnya, lihat Transport Layer Security. Meskipun kluster Azure HDInsight menerima koneksi TLS 1.2 di titik akhir HTTPS publik, TLS 1.1 masih didukung untuk kompatibilitas mundur dengan klien yang lebih lama.

Mulai dari rilis berikutnya, Anda akan dapat memilih ikut dan mengonfigurasi kluster HDInsight baru untuk menerima koneksi TLS 1.2 saja.

Akhir tahun, mulai tanggal 30/6/2020, Azure HDInsight akan memberlakukan TLS 1.2 atau versi yang lebih baru untuk semua koneksi HTTPS. Kami menyarankan agar Anda memastikan bahwa semua klien Anda siap menangani TLS 1.2 atau versi yang lebih baru.

Pindahkan ke set skala komputer virtual Azure

HDInsight sekarang menggunakan komputer virtual Azure untuk memprovisikan kluster. Mulai Februari 2020 (tanggal pasti akan dikomunikasikan nanti), HDInsight akan menggunakan set skala komputer virtual Azure sebagai gantinya. Lihat selengkapnya tentang set skala komputer virtual Azure.

Perubahan ukuran simpul kluster ESP Spark

Dalam rilis mendatang:

Ukuran simpul minimum yang diizinkan untuk kluster ESP Spark akan diubah ke Standard_D13_V2.
VM seri A akan ditolak untuk membuat kluster ESP baru, karena VM seri A dapat menyebabkan masalah kluster ESP karena kapasitas CPU dan memori yang relatif rendah.

HBase 2.0 hingga 2.1

Dalam rilis HDInsight 4.0 mendatang, versi HBase akan ditingkatkan dari versi 2.0 ke 2.1.

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Perubahan versi komponen

Kami telah memperpanjang dukungan HDInsight 3.6 hingga 31 Desember 2020. Anda dapat menemukan detail selengkapnya dalam versi HDInsight yang didukung.

Tidak ada perubahan versi komponen untuk HDInsight 4.0.

Apache Zeppelin di HDInsight 3.6: 0.7.0-->0.7.3.

Anda dapat menemukan versi komponen terbaru dari dokumen ini.

Wilayah Baru

Arab Saudi Utara

IP manajemen UAE Utara adalah: 65.52.252.96 dan 65.52.252.97.

Tanggal rilis: 07/11/2019

Rilis ini berlaku baik untuk HDInsight 3.6 dan 4.0.

Fitur baru

HDInsight Identity Broker (HIB) (pratinjau)

HDInsight Identity Broker (HIB) memungkinkan pengguna untuk masuk ke Apache Ambari menggunakan autentikasi multifaktor (MFA) dan mendapatkan tiket Kerberos yang diperlukan tanpa memerlukan hash kata sandi di Azure Active Directory Domain Services (AAD-DS). Saat ini HIB hanya tersedia untuk kluster yang digunakan melalui templat Azure Resource Management (ARM).

Kafka REST API Proxy (Pratinjau)

Kafka REST API Proxy menyediakan penyebaran satu klik dari proksi REST yang sangat tersedia dengan kluster Kafka melalui otorisasi Azure Active Directory dan protokol OAuth yang aman.

Skala otomatis

Skala otomatis untuk Azure HDInsight kini umumnya tersedia di semua wilayah untuk tipe kluster Apache Spark dan Hadoop. Fitur ini memungkinkan untuk mengelola beban kerja analitik big data dengan cara yang lebih hemat biaya dan produktif. Sekarang Anda dapat mengoptimalkan penggunaan kluster HDInsight Anda dan hanya membayar untuk apa yang Anda butuhkan.

Bergantung pada kebutuhan Anda, Anda dapat memilih antara skala otomatis berbasis beban dan berbasis jadwal. Skala otomatis berbasis beban dapat menskalakan ukuran kluster ke atas dan ke bawah berdasarkan kebutuhan sumber daya saat ini sementara Autoscale berbasis jadwal dapat mengubah ukuran kluster berdasarkan jadwal yang telah ditentukan.

Dukungan autoscale untuk beban kerja HBase dan LLAP juga merupakan pratinjau publik. Untuk informasi selengkapnya, lihat Menskalakan kluster Azure HDInsight secara otomatis.

HDInsight Mempercepat Penulisan untuk Apache HBase

Akselerasi penulisan menggunakan disk yang dikelola Azure premium SSD untuk meningkatkan performa Apache HBase Write Ahead Log (WAL). Untuk informasi selengkapnya, lihat Akselerasi Penulisan Azure HDInsight untuk Apache HBase.

Ambari DB Kustom

HDInsight sekarang menawarkan kapasitas baru untuk memungkinkan pelanggan menggunakan SQL DB mereka sendiri untuk Ambari. Sekarang pelanggan dapat memilih SQL DB yang tepat untuk Ambari dan dengan mudah meningkatkannya berdasarkan kebutuhan pertumbuhan bisnis mereka sendiri. Penyebaran dilakukan dengan templat Azure Resource Manager. Untuk informasi selengkapnya, lihat Siapkan kluster HDInsight dengan Ambari DB kustom.

Komputer virtual seri F sekarang tersedia dengan HDInsight

Mesin virtual seri F (VM) adalah pilihan yang bagus untuk memulai dengan HDInsight dengan persyaratan pemrosesan ringan. Dengan harga daftar per jam yang lebih rendah, seri F adalah nilai terbaik dalam performa harga di portofolio Azure berdasarkan Azure Compute Unit (ACU) per vCPU. Untuk informasi selengkapnya, lihat Memilih ukuran VM yang tepat untuk kluster Azure HDInsight Anda.

Penghentian

Penghentian komputer virtual seri G

Dari rilis ini, VM seri G tidak lagi ditawarkan dalam HDInsight.

`Dv1` penghentian komputer virtual

Dari rilis ini, penggunaan Dv1 VM dengan HDInsight tidak digunakan lagi. Setiap permintaan pelanggan akan Dv1 dilayani secara Dv2 otomatis. Tidak ada perbedaan harga antara Dv1 VM dan Dv2 VM.

Perubahan perilaku

Perubahan ukuran disk terkelola kluster

HDInsight menyediakan ruang disk terkelola dengan kluster. Dari rilis ini, ukuran disk terkelola dari setiap simpul di kluster baru yang dibuat diubah menjadi 128 GB.

Perubahan yang akan datang

Perubahan berikut akan terjadi pada rilis mendatang.

Pindahkan ke set skala komputer virtual Azure

HDInsight sekarang menggunakan komputer virtual Azure untuk memprovisikan kluster. Mulai desember, HDInsight akan menggunakan set skala komputer virtual Azure sebagai gantinya. Lihat selengkapnya tentang set skala komputer virtual Azure.

HBase 2.0 hingga 2.1

Dalam rilis HDInsight 4.0 mendatang, versi HBase akan ditingkatkan dari versi 2.0 ke 2.1.

Penghentian komputer virtual seri A untuk kluster ESP

VM seri A dapat menyebabkan masalah kluster ESP karena kapasitas CPU dan memori yang relatif rendah. Pada rilis mendatang, VM seri A akan ditolak untuk membuat kluster ESP baru.

Perbaikan bug

HDInsight terus melakukan peningkatan ketahanan dan kinerja klaster.

Perubahan versi komponen

Tidak ada perubahan versi komponen untuk rilis ini. Anda dapat menemukan versi komponen saat ini untuk HDInsight 4.0 dan HDInsight 3.6 di sini.

Tanggal rilis: 07/08/2019

Versi komponen

Versi resmi Apache dari semua komponen HDInsight 4.0 telah diberikan di bawah ini. Komponen yang tercantum adalah rilis versi stabil terbaru yang tersedia.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

Versi komponen Apache yang lebih baru terkadang dibundel dalam distribusi HDP selain versi yang tercantum di atas. Dalam hal ini, versi yang lebih baru ini tercantum dalam tabel Pratinjau Teknis dan tidak boleh menggantikan versi komponen Apache dari daftar di atas di lingkungan produksi.

Informasi patch Apache

Untuk informasi selengkapnya tentang patch yang tersedia di HDInsight 4.0, lihat daftar patch untuk setiap produk dalam tabel di bawah ini.

Nama produk	Informasi patch
Ambari	Informasi patch Ambari
Hadoop	Informasi patch Hadoop
HBase	Informasi patch HBase
Hive	Rilis ini menyediakan Apache Hive 3.1.0 tanpa patch Apache tambahan.
Kafka	Rilis ini menyediakan Kafka 1.1.1 tanpa patch Apache tambahan.
Oozie	Informasi patch Oozie
Phoenix	Informasi patch Phoenix
Pig	Informasi patch Pig
Ranger	Informasi patch Ranger
Spark	Informasi patch Spark
Sqoop	Rilis ini menyediakan Sqoop 1.4.7 tanpa patch Apache tambahan.
Tez	Rilis ini menyediakan Tez 0.9.1 tanpa patch Apache tambahan.
Zeppelin	Rilis ini menyediakan Zeppelin 0.8.0 tanpa patch Apache tambahan.
Zookeeper	Informasi patch Zookeeper

Kerentanan Umum dan Paparan yang telah diperbaiki

Untuk informasi selengkapnya tentang masalah keamanan yang diselesaikan dalam rilis ini, lihat Kerentanan Umum dan Paparan yang telah diperbaiki untuk HDP 3.0.1.

Masalah umum

Replikasi rusak untuk Secure HBase dengan penginstalan default

Untuk HDInsight 4.0, lakukan langkah-langkah berikut:

Aktifkan komunikasi antar kluster.
Masuk ke headnode aktif.

Unduh skrip untuk mengaktifkan replikasi dengan perintah berikut:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Ketik perintah sudo kinit <domainuser>.

Ketik perintah berikut untuk menjalankan skrip:

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Untuk HDInsight 3.6

Masuk ke HMaster ZK aktif.

Unduh skrip untuk mengaktifkan replikasi dengan perintah berikut:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Ketik perintah sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

Ketik perintah berikut:

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Phoenix Sqlline berhenti bekerja setelah memigrasikan kluster HBase ke HDInsight 4.0

Lakukan langkah-langkah berikut:

Letakkan tabel Phoenix berikut:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
Jika Anda tidak dapat menghapus tabel apa pun, hidupkan ulang HBase untuk menghapus koneksi apa pun ke tabel.
Jalankan sqlline.py lagi. Phoenix akan membuat ulang semua tabel yang dihapus di langkah 1.
Regenerasi tabel dan tampilan Phoenix untuk data HBase Anda.

Phoenix Sqlline berhenti bekerja setelah mereplikasi metadata HBase Phoenix dari HDInsight 3.6 hingga 4.0

Lakukan langkah-langkah berikut:

Sebelum melakukan replikasi, pergi ke tujuan 4.0 cluster dan jalankansqlline.py. Perintah ini akan menghasilkan tabel Phoenix seperti SYSTEM.MUTEX dan SYSTEM.LOG yang hanya ada di 4.0.
Letakkan tabel berikut:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
Mulai replikasi HBase

Penghentian

Apache Storm dan ML Service tidak tersedia di HDInsight 4.0.

Tanggal rilis: 14/04/2019

Fitur baru

Pembaruan dan kapabilitas baru termasuk dalam kategori berikut:

Memperbarui Hadoop dan proyek sumber terbuka lainnya – Selain 1000+ perbaikan bug di 20+ proyek sumber terbuka, pembaruan ini berisi versi baru Spark (2.3) dan Kafka (1.0).

a. Fitur baru di Apache Spark 2.3

b. Fitur baru di Apache Kafka 1.0
Memperbarui R Server 9.1 ke Layanan Pembelajaran Mesin 9.3 – Dengan rilis ini, kami menyediakan sumber terbuka terbaik bagi para ilmuwan dan teknisi data yang ditingkatkan dengan inovasi algoritma dan kemudahan pengoperasian, semuanya tersedia dalam bahasa pilihan ilmuwan dan teknisi data dengan kecepatan Apache Spark. Rilis ini memperluas kemampuan yang ditawarkan di R Server dengan dukungan tambahan untuk Python, yang mengarah ke perubahan nama kluster dari R Server ke ML Service.
Dukungan untuk Azure Data Lake Storage Gen2 – HDInsight akan mendukung rilis Pratinjau Azure Data Lake Storage Gen2. Di wilayah yang tersedia, pelanggan akan dapat memilih akun ADLS Gen2 sebagai penyimpanan Utama atau Sekunder untuk kluster HDInsight mereka.
Pembaruan Paket Keamanan Perusahaan HDInsight (Pratinjau) – (Pratinjau) Dukungan Titik Akhir Layanan Jaringan Virtual untuk Azure Blob Storage, ADLS Gen1, Azure Cosmos DB, dan Azure DB.

Versi komponen

Versi resmi Apache dari semua komponen HDInsight 3.6 tercantum di bawah ini. Semua komponen yang tercantum di sini adalah rilis resmi Apache dari versi stabil terbaru yang tersedia.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

Versi yang lebih baru dari beberapa komponen Apache terkadang dibundel dalam distribusi HDP selain versi yang tercantum di atas. Dalam hal ini, versi yang lebih baru ini tercantum dalam tabel Pratinjau Teknis dan tidak boleh menggantikan versi komponen Apache dari daftar di atas di lingkungan produksi.

Informasi patch Apache

Hadoop

Rilis ini menyediakan Hadoop Common 2.7.3 dan patch Apache berikut:

HADOOP-13190: Mention LoadBalancingKMSClientProvider di dokumentasi KMS HA.
HADOOP-13227: AsyncCallHandler harus menggunakan arsitektur yang digerakkan oleh peristiwa untuk menangani panggilan asinkron.
HADOOP-14104:Klien harus selalu meminta namenode untuk jalur penyedia KMS.
HADOOP-14799: Memperbarui nimbus-jose-jwt ke 4.41.1.
HADOOP-14814: Memperbaiki perubahan API yang tidak kompatibel pada FsServerDefaults ke HADOOP-14104.
HADOOP-14903: Tambahkan json-smart secara eksplisit ke pom.xml.
HADOOP-15042: Azure PageBlobInputStream.skip() dapat mengembalikan nilai negatif ketika numberOfPagesRemaining adalah 0.
HADOOP-15255: Dukungan konversi huruf besar/bawah untuk nama grup di LdapGroupsMapping.
HADOOP-15265: mengecualikan json-smart secara eksplisit dari hadoop-auth pom.xml.
HDFS-7922: ShortCircuitCache#close tidak merilis ScheduledThreadPoolExecutors.
HDFS-8496: Memanggil stopWriter() dengan kunci FSDatasetImpl yang ditahan dapat memblokir utas lain (cmccabe).
HDFS-10267: Ekstra "disinkronkan" pada FsDatasetImpl#recoverAppend dan FsDatasetImpl#recoverClose.
HDFS-10489: Deprecate dfs.encryption.key.provider.uri untuk zona enkripsi HDFS.
HDFS-11384: Tambahkan opsi bagi penyeimbang untuk membubarkan panggilan getBlocks untuk menghindari rpc NameNode. Lonjakan CallQueueLength.
HDFS-11689: Pengecualian baru yang dilemparkan oleh DFSClient%isHDFSEncryptionEnabled kode hive patah hacky .
HDFS-11711: DN tidak boleh menghapus blok Pada Pengecualian "Terlalu banyak file terbuka".
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay sering gagal.
HDFS-12781: Setelah Datanode tidak berfungsi, di Namenode tab UI Datanode melemparkan pesan peringatan.
HDFS-13054: Menangani PathIsNotEmptyDirectoryException dalam DFSClient panggilan penghapusan.
HDFS-13120: Rekam jepret diff dapat rusak setelah concat.
YARN-3742: YARN RM akan dimatikan jika ZKClient waktu pembuatan habis.
YARN-6061: Tambahkan UncaughtExceptionHandler untuk thread penting di RM.
YARN-7558: perintah log benang gagal mendapatkan log untuk menjalankan kontainer jika autentikasi antarmuka pengguna diaktifkan.
YARN-7697: Mengambil log untuk aplikasi jadi gagal meskipun agregasi log selesai.

HDP 2.6.4 telah menyediakan Hadoop Common 2.7.3 dan patch Apache berikut:

HADOOP-13700: Hapus unthrown IOException dari TrashPolicy#initialize dan #getInstance signatures.
HADOOP-13709: Kemampuan untuk membersihkan subproses yang ditelurkan oleh Shell ketika proses keluar.
HADOOP-14059: kesalahan ketik dalam s3a pesan kesalahan ganti nama (mandiri, subdir).
HADOOP-14542: Tambahkan IOUtils.cleanupWithLogger yang menerima SLF4J logger API.
HDFS-9887: Batas waktu soket WebHdfs harus dapat dikonfigurasi.
HDFS-9914: Memperbaiki waktu koneksi/baca WebhDFS yang dapat dikonfigurasi.
MAPREDUCE-6698: Meningkatkan waktu habis pada TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingJobOfSameUser.
YARN-4550: Beberapa tes di TestContainerLanch gagal pada lingkungan lokal non-inggris.
YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir gagal sebentar-sebentar karena IllegalArgumentException dari pembersihan.
YARN-5042: Mount /sys/fs/cgroup ke dalam kontainer Docker sebagai dudukan yang mudah.
YARN-5318: Memperbaiki kegagalan pengujian yang terputus-putus dari TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider.
YARN-5641: Localizer meninggalkan tarball setelah kontainer selesai.
YARN-6004: Refaktor TestResourceLocalizationService#testDownloadingResourcesOnContainer sehingga kurang dari 150 baris.
YARN-6078: Kontainer terjebak dalam keadaan lokalisasi.
YARN-6805: NPE di LinuxContainerExecutor karena kode keluar null PrivilegedOperationException.

HBase

Rilis ini menyediakan HBase 1.1.2 dan patch Apache berikut.

HBASE-13376: Peningkatan penyeimbang beban Stochastic.
HBASE-13716: Berhenti menggunakan FSConstants Hadoop.
HBASE-13848: Akses kata sandi InfoServer SSL melalui API Penyedia Kredensial.
HBASE-13947: Gunakan MasterServices alih-alih Server di AssignmentManager.
HBASE-14135: HBase Backup/Restore Phase 3: Gabungkan gambar cadangan.
HBASE-14473: Wilayah komputasi secara paralel.
HBASE-14517: Tampilkan regionserver's versi di halaman status master.
HBASE-14606: TestSecureLoadIncrementalHFiles tes habis dalam pembangunan batang pada apache.
HBASE-15210: Batalkan pencatatan penyeimbang beban agresif di puluhan baris per milidetik.
HBASE-15515: Meningkatkan LocalityBasedCandidateGenerator di Balancer.
HBASE-15615: Waktu tidur salah saat RegionServerCallable perlu coba lagi.
HBASE-16135: PeerClusterZnode di bawah rs peer yang dihapus mungkin tidak pernah dihapus.
HBASE-16570: Wilayah komputasi secara paralel saat startup.
HBASE-16810: HBase Balancer melempar ArrayIndexOutOfBoundsException ketika regionservers berada di /hbase/menguras znode dan dibongkar.
HBASE-16852: TestDefaultCompactSelection gagal pada cabang-1.3.
HBASE-17387: Mengurangi overhead laporan pengecualian di RegionActionResult untuk multi().
HBASE-17850:Utilitas perbaikan Microsoft Azure Backup.
HBASE-17931: Tetapkan tabel sistem ke server dengan versi tertinggi.
HBASE-18083: Membuat nomor thread bersih file besar / kecil yang dapat dikonfigurasi di HFileCleaner.
HBASE-18084: Meningkatkan CleanerChore untuk membersihkan file dalam direktori yang mengonsumsi lebih banyak ruang disk.
HBASE-18164: Fungsi biaya lokalitas yang jauh lebih cepat dan generator kandidat.
HBASE-18212: Dalam mode Mandiri dengan fileystem lokal HBase log pesan Peringatan: Gagal memanggil metode 'unbuffer' di kelas org.apache.hadoop.fs.FSDataInputStream.
HBASE-18808: Pemeriksaan konfigurasi tidak efektif BackupLogCleaner#getDeletableFiles().
HBASE-19052: FixedFileTrailer harus mengenali kelas CellComparatorImpl di cabang-1.x.
HBASE-19065: HRegion#bulkLoadHFiles() harus menunggu hingga Region#flush() bersamaan selesai.
HBASE-19285: Tambahkan histogram latensi per meja.
HBASE-19393: HTTP 413 Full head saat mengakses HBase UI menggunakan SSL.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting gagal dengan NPE.
HBASE-19421: branch-1 tidak berkompilasi dengan Hadoop 3.0.0.
HBASE-19934: HBaseSnapshotException ketika replika baca diaktifkan dan rekam jepret online diambil setelah pemisahan wilayah.
HBASE-20008: [backport] NullPointerException saat memulihkan snapshot setelah memisahkan wilayah.

Hive

Rilis ini menyediakan Apache Hive 1.2.1 dan Apache Hive 2.1.0 selain patch berikut:

Apache Hive 1.2.1 Tambalan Apache:

HIVE-10697: ObjectInspectorConvertors#UnionConvertor melakukan konversi yang salah.
HIVE-11266: jumlah(*) hasil yang salah berdasarkan statistik tabel untuk tabel eksternal.
HIVE-12245: Komentar kolom dukungan untuk tabel yang didukung HBase.
HIVE-12315: Perbaiki Pembagian ganda vektorisasi dengan nol.
HIVE-12360:Pencarian buruk di ORC yang tidak dikompresi dengan dorongan predikat.
HIVE-12378: Pengecualian di bidang biner HBaseSerDe.serialisasi.
HIVE-12785: Tampilan dengan tipe serikat pekerja dan UDF ke struct rusak.
HIVE-14013: Jelaskan tabel tidak menampilkan unicode dengan benar.
HIVE-14205: Apache Hive tidak mendukung tipe union dengan format file AVRO.
HIVE-14421: FS.deleteOnExit menyimpan referensi ke file _tmp_space.db.
HIVE-15563: Abaikan pengecualian transisi status Operasi Ilegal di SQLOperation.runQuery untuk mengekspos pengecualian nyata.
HIVE-15680: Hasil yang salah ketika tabel HIVE.optimize.index.filter=true dan ORC yang sama direferensikan dua kali dalam kueri, dalam mode MR.
HIVE-15883: Tabel yang dipetakan HBase di sisipan Apache Hive gagal untuk desimal.
HIVE-16232: Mendukung komputasi statistik untuk kolom di QuotedIdentifier.
HIVE-16828: Dengan CBO diaktifkan, Kueri pada tampilan yang dipartisi melempar IndexOutOfBoundException.
HIVE-17013: Hapus permintaan dengan subkueri berdasarkan pilih atas tampilan.
HIVE-17063: masukkan partisi timpa ke tabel eksternal gagal saat menghilangkan partisi terlebih dahulu.
HIVE-17259: Apache Hive JDBC tidak mengenali kolom UNIONTYPE.
HIVE-17419: ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS command menunjukkan statistik komputasi untuk tabel bertopeng.
HIVE-17530: ClassCastException saat mengonversi uniontype.
HIVE-17621: Pengaturan situs Apache Hive diabaikan selama perhitungan split HCatInputFormat.
HIVE-17636: Tambahkan tes multiple_agg.q untuk blobstores.
HIVE-17729: Tambahkan Database dan Jelaskan tes blobstore terkait.
HIVE-17731: tambahkan opsi mundur compat untuk pengguna eksternal ke HIVE-11985.
HIVE-17803: Dengan multi-kueri Pig, 2 HCatStorers menulis ke tabel yang sama akan menginjak-injak output satu sama lain.
HIVE-17829: ArrayIndexOutOfBoundsException - Tabel yang didukung HBASE dengan skema Avro di Hive2.
HIVE-17845: sisipkan gagal jika kolom tabel target tidak huruf kecil.
HIVE-17900: menganalisis statistik pada kolom yang dipicu oleh Compactor menghasilkan SQL cacat dengan > 1 kolom partisi.
HIVE-18026: Pengoptimalan konfigurasi utama Apache Hive webhcat.
HIVE-18031: Mendukung replikasi untuk operasi Alter Database.
HIVE-18090: heartbeat asam gagal ketika metastore terhubung melalui kredensial hadoop.
HIVE-18189: Kueri Apache Hive mengembalikan hasil yang salah ketika mengatur hive.groupby.orderby.position.alias ke true.
HIVE-18258: Vektorisasi: Reduce-Side GROUP BY MERGEPARTIAL dengan kolom duplikat rusak.
HIVE-18293: Apache Hive gagal meringkas tabel yang ada di dalam folder yang tidak dimiliki oleh identitas yang menjalankan HiveMetaStore.
HIVE-18327: Hapus ketergantungan HiveConf yang tidak perlu untuk MiniHiveKdc.
HIVE-18341: Tambahkan dukungan repl load untuk menambahkan kumpulan nama XML "mentah" untuk TDE dengan kunci enkripsi yang sama.
HIVE-18352: memperkenalkan opsi METADATAONLY saat melakukan REPL DUMP untuk memungkinkan integrasi alat lain.
HIVE-18353: CompactorMR harus memanggil jobclient.close() untuk memicu pembersihan.
HIVE-18390: IndexOutOfBoundsException saat mengkueri tampilan yang dipartisi di ColumnPruner.
HIVE-18429: Pemadatan harus menangani kasus ketika tidak menghasilkan output.
HIVE-18447: JDBC: Menyediakan cara bagi pengguna JDBC untuk menyampaikan info cookie melalui string koneksi.
HIVE-18460: Compactor tidak meneruskan properti Tabel kepada penulis Orc.
HIVE-18467: mendukung seluruh cadangan gudang/muatan + membuat/menghilangkan peristiwa database (Anishek Agarwal, ditinjau oleh Sankar Hariappan).
HIVE-18551: Vektorisasi: VectorMapOperator mencoba menulis terlalu banyak kolom vektor untuk Hybrid Grace.
HIVE-18587: menyisipkan peristiwa DML mungkin mencoba menghitung checksum pada direktori.
HIVE-18613: Perluas JsonSerDe untuk mendukung jenis BINARY.
HIVE-18626: Repl memuat "dengan" klausul tidak lulus konfigurasi ke tugas.
HIVE-18660: PCR tidak membedakan antara partisi dan kolom virtual.
HIVE-18754: STATUS REPL harus mendukung klausul 'dengan'.
HIVE-18754: STATUS REPL harus mendukung klausul 'dengan'.
HIVE-18788: Bersihkan input di JDBC PreparedStatement.
HIVE-18794: Repl memuat "dengan" klausul tidak lulus konfigurasi ke tugas untuk tabel non-partisi.
HIVE-18808: Membuat pemadatan lebih kuat ketika pembaruan statistik gagal.
HIVE-18817: Pengecualian ArrayIndexOutOfBounds selama membaca tabel ACID.
HIVE-18833: Penggabungan Otomatis gagal ketika "masukkan ke direktori sebagai orcfile".
HIVE-18879: Melarang elemen tertanam di UDFXPathUtil perlu bekerja jika xercesImpl.jar di classpath.
HIVE-18907: Buat utilitas untuk memperbaiki masalah indeks kunci asam dari HIVE-18817.

Hive 2.1.0 Tambalan Apache:

HIVE-14013: Jelaskan tabel tidak menampilkan unicode dengan benar.
HIVE-14205: Apache Hive tidak mendukung tipe union dengan format file AVRO.
HIVE-15563: Abaikan pengecualian transisi status Operasi Ilegal di SQLOperation.runQuery untuk mengekspos pengecualian nyata.
HIVE-15680: Hasil yang salah ketika tabel HIVE.optimize.index.filter=true dan ORC yang sama direferensikan dua kali dalam kueri, dalam mode MR.
HIVE-15883: Tabel yang dipetakan HBase di sisipan Apache Hive gagal untuk desimal.
HIVE-16757: Hapus panggilan ke AbstractRelNode.getRows yang tidak digunakan lagi.
HIVE-16828: Dengan CBO diaktifkan, Kueri pada tampilan yang dipartisi melempar IndexOutOfBoundException.
HIVE-17063: masukkan partisi timpa ke tabel eksternal gagal saat menghilangkan partisi terlebih dahulu.
HIVE-17259: Apache Hive JDBC tidak mengenali kolom UNIONTYPE.
HIVE-17530: ClassCastException saat mengonversi uniontype.
HIVE-17600: Membuat OrcFile enforceBufferSize user-settable.
HIVE-17601: meningkatkan penanganan kesalahan di LlapServiceDriver.
HIVE-17613:hapus kumpulan objek untuk alokasi benang pendek yang sama.
HIVE-17617: Rollup dari resultset kosong harus berisi pengelompokan set pengelompokan kosong.
HIVE-17621: Pengaturan situs Apache Hive diabaikan selama perhitungan split HCatInputFormat.
HIVE-17629: CachedStore: Memiliki konfigurasi yang disetujui/tidak disetujui untuk memungkinkan penembolokan selektif tabel/partisi dan memungkinkan baca saat melakukan prawarming.
HIVE-17636: Tambahkan tes multiple_agg.q untuk blobstores.
HIVE-17702:penanganan isrepeating yang salah pada pembaca desimal di ORC.
HIVE-17729: Tambahkan Database dan Jelaskan tes blobstore terkait.
HIVE-17731: tambahkan opsi mundur compat untuk pengguna eksternal ke HIVE-11985.
HIVE-17803: Dengan multi-kueri Pig, 2 HCatStorers menulis ke tabel yang sama akan menginjak-injak output satu sama lain.
HIVE-17845: sisipkan gagal jika kolom tabel target tidak huruf kecil.
HIVE-17900: menganalisis statistik pada kolom yang dipicu oleh Compactor menghasilkan SQL cacat dengan > 1 kolom partisi.
HIVE-18006: Optimalkan jejak memori HLLDenseRegister.
HIVE-18026: Pengoptimalan konfigurasi utama Apache Hive webhcat.
HIVE-18031: Mendukung replikasi untuk operasi Alter Database.
HIVE-18090: heartbeat asam gagal ketika metastore terhubung melalui kredensial hadoop.
HIVE-18189: Urutan berdasarkan posisi tidak berfungsi saat cbo dinonaktifkan.
HIVE-18258: Vektorisasi: Reduce-Side GROUP BY MERGEPARTIAL dengan kolom duplikat rusak.
HIVE-18269: LLAP: Fast llap io dengan alur pemrosesan lambat dapat menyebabkan OOM.
HIVE-18293: Apache Hive gagal meringkas tabel yang ada di dalam folder yang tidak dimiliki oleh identitas yang menjalankan HiveMetaStore.
HIVE-18318: Pembaca rekaman LLAP harus memeriksa gangguan bahkan ketika tidak memblokir.
HIVE-18326: LLAP Tez scheduler - hanya tugas preempt jika ada ketergantungan di antara mereka.
HIVE-18327: Hapus ketergantungan HiveConf yang tidak perlu untuk MiniHiveKdc.
HIVE-18331: Tambahkan masuk kembali ketika TGT kedaluwarsa dan beberapa pengelogan/lambda.
HIVE-18341: Tambahkan dukungan repl load untuk menambahkan kumpulan nama XML "mentah" untuk TDE dengan kunci enkripsi yang sama.
HIVE-18352: memperkenalkan opsi METADATAONLY saat melakukan REPL DUMP untuk memungkinkan integrasi alat lain.
HIVE-18353: CompactorMR harus memanggil jobclient.close() untuk memicu pembersihan.
HIVE-18384: ConcurrentModificationException di log4j2.x pustaka.
HIVE-18390: IndexOutOfBoundsException saat mengkueri tampilan yang dipartisi di ColumnPruner.
HIVE-18447: JDBC: Menyediakan cara bagi pengguna JDBC untuk menyampaikan info cookie melalui string koneksi.
HIVE-18460: Compactor tidak meneruskan properti Tabel kepada penulis Orc.
HIVE-18462: (Jelaskan yang diformat untuk kueri dengan gabungan peta memiliki columnExprMap dengan nama kolom yang tidak diformat).
HIVE-18467: mendukung seluruh cadangan gudang/memuat beban + membuat/menghilangkan peristiwa database.
HIVE-18488: Pembaca LLAP ORC kehilangan beberapa pemeriksaan null.
HIVE-18490: Kueri dengan EXISTS dan NOT EXISTS dengan predikat non-equi dapat menghasilkan hasil yang salah.
HIVE-18506: LlapBaseInputFormat - indeks array negatif.
HIVE-18517: Vektorisasi: Perbaiki VectorMapOperator untuk menerima VRB dan periksa bendera vektorisasi dengan benar untuk mendukung LLAP Penembolokan ).
HIVE-18523: Perbaiki baris ringkasan jika tidak ada input.
HIVE-18528: Statistik agregat di ObjectStore mendapatkan hasil yang salah.
HIVE-18530: Replikasi harus melewati tabel MM (untuk saat ini).
HIVE-18548: Perbaiki log4j impor.
HIVE-18551: Vektorisasi: VectorMapOperator mencoba menulis terlalu banyak kolom vektor untuk Hybrid Grace.
HIVE-18577: SemanticAnalyzer.validate memiliki beberapa panggilan metastore sia-sia.
HIVE-18587: menyisipkan peristiwa DML mungkin mencoba menghitung checksum pada direktori.
HIVE-18597: LLAP: Selalu mengemas log4j2 jar API untuk org.apache.log4j.
HIVE-18613: Perluas JsonSerDe untuk mendukung jenis BINARY.
HIVE-18626: Repl memuat "dengan" klausul tidak lulus konfigurasi ke tugas.
HIVE-18643: jangan periksa partisi yang diarsipkan untuk operasi ACID.
HIVE-18660: PCR tidak membedakan antara partisi dan kolom virtual.
HIVE-18754: STATUS REPL harus mendukung klausul 'dengan'.
HIVE-18788: Bersihkan input di JDBC PreparedStatement.
HIVE-18794: Repl memuat "dengan" klausul tidak lulus konfigurasi ke tugas untuk tabel non-partisi.
HIVE-18808: Membuat pemadatan lebih kuat ketika pembaruan statistik gagal.
HIVE-18815: Hapus fitur yang tidak digunakan di HPL/SQL.
HIVE-18817: Pengecualian ArrayIndexOutOfBounds selama membaca tabel ACID.
HIVE-18833: Penggabungan Otomatis gagal ketika "masukkan ke direktori sebagai orcfile".
HIVE-18879: Melarang elemen tertanam di UDFXPathUtil perlu bekerja jika xercesImpl.jar di classpath.
HIVE-18944: Posisi set pengelompokan ditetapkan secara tidak benar selama DPP.

Kafka

Rilis ini menyediakan Kafka 1.0.0 dan patch Apache berikut.

KAFKA-4827: Kafka connect: error dengan karakter khusus dalam nama konektor.
KAFKA-6118: Kegagalan sementara di kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials.
KAFKA-6156: JmxReporter tidak dapat menangani jalur direktori gaya windows.
KAFKA-6164: Thread ClientQuotaManager mencegah shutdown saat mengalami kesalahan saat memuat log.
KAFKA-6167: Tanda waktu pada aliran direktori berisi titik dua, yang merupakan karakter ilegal.
KAFKA-6179: RecordQueue.clear() tidak menghapus daftar yang dipertahankan MinTimestampTracker.
KAFKA-6185: Kebocoran memori pemilih dengan kemungkinan OOM yang tinggi jika ada konversi yang tidak berfungsi.
KAFKA-6190: GlobalKTable tidak pernah selesai memulihkan saat mengkonsumsi pesan transaksional.
KAFKA-6210: IllegalArgumentException jika 1.0.0 digunakan untuk inter.broker.protocol.version atau log.message.format.version.
KAFKA-6214:Menggunakan replika siaga dengan penyimpanan status memori menyebabkan Streams macet.
KAFKA-6215: KafkaStreamsTest gagal dalam batang.
KAFKA-6238: Masalah dengan versi protokol saat menerapkan upgrade bergulir ke 1.0.0.
KAFKA-6260: AbstractCoordinator tidak secara jelas menangani Pengecualian NULL.
KAFKA-6261: Permintaan penebangan memberikan pengecualian jika acks =0.
KAFKA-6274: Meningkatkan KTable nama yang dihasilkan secara otomatis penyimpanan status sumber.

Mahout

Dalam HDP-2.3.x dan 2.4.x, alih-alih mengirimkan rilis Apache tertentu dari Mahout, kami menyinkronkan ke titik revisi tertentu pada batang Apache Mahout. Titik revisi ini setelah rilis 0.9.0, tetapi sebelum rilis 0.10.0. Ini memberikan sejumlah besar perbaikan bug dan peningkatan fungsional selama rilis 0.9.0, tetapi memberikan rilis yang stabil dari fungsi Mahout sebelum konversi lengkap ke Mahout baru berbasis Spark di 0.10.0.

Titik revisi yang dipilih untuk Mahout dalam HDP 2.3.x dan 2.4.x berasal dari cabang "mahout-0.10.x" dari Apache Mahout, per 19 Desember 2014, revisi 0f037cb03e77c096 di GitHub.

Dalam HDP-2.5.x dan 2.6.x, kami menghapus pustaka "commons-httpclient" dari Mahout karena kami melihatnya sebagai pustaka usang dengan kemungkinan masalah keamanan, dan meningkatkan Hadoop-Client di Mahout ke versi 2.7.3, versi yang sama yang digunakan dalam HDP-2.5. Akibatnya:

Pekerjaan Mahout yang dikompilasi sebelumnya perlu dikompilasi ulang di lingkungan HDP-2.5 atau 2.6.
Ada kemungkinan kecil bahwa beberapa pekerjaan Mahout mungkin mengalami kesalahan "ClassNotFoundException" atau "tidak dapat memuat kelas" yang terkait dengan kesalahan "org.apache.commons.httpclient", "net.java.dev.jets3t", atau awalan nama kelas terkait. Jika kesalahan ini terjadi, Anda dapat mempertimbangkan apakah akan menginstal jar yang diperlukan secara manual di classpath Anda untuk pekerjaan tersebut, jika risiko masalah keamanan di pustaka usang dapat diterima di lingkungan Anda.
Ada kemungkinan yang lebih kecil bahwa beberapa pekerjaan Mahout mungkin mengalami crash dalam panggilan kode hbase-client Mahout ke pustaka hadoop-common, karena masalah kompatibilitas biner. Sayangnya, tidak ada cara untuk menyelesaikan masalah ini kecuali kembali ke Mahout versi HDP-2.4.2, yang mungkin memiliki masalah keamanan. Sekali lagi, hal ini sangat tidak biasa, dan tidak mungkin terjadi di rangkaian pekerjaan Mahout mana pun.

Oozie

Rilis ini menyediakan Oozie 4.2.0 dengan patch Apache berikut.

OOZIE-2571: Tambahkan properti Maven spark.scala.binary.version sehingga Scala 2.11 dapat digunakan.
OOZIE-2606: Atur spark.yarn.jars untuk memperbaiki Spark 2.0 dengan Oozie.
OOZIE-2658: --driver-class-path dapat menimpa classpath di SparkMain.
OOZIE-2787: Oozie mendistribusikan jar aplikasi dua kali membuat pekerjaan spark gagal.
OOZIE-2792: Hive2 tindakan tidak mengurai ID aplikasi Spark dari file log dengan benar ketika Apache Hive ada di Spark.
OOZIE-2799: Pengaturan lokasi log untuk spark di hive.
OOZIE-2802: Kegagalan tindakan Spark pada Spark 2.1.0 karena duplikat sharelibs.
OOZIE-2923:Meningkatkan penguraian opsi Spark.
OOZIE-3109: SCA: Scripting Lintas Situs: Tercermin.
OOZIE-3139: Oozie memvalidasi alur kerja dengan tidak benar.
OOZIE-3167: Upgrade versi tomcat di cabang Oozie 4.3.

Phoenix

Rilis ini menyediakan Phoenix 4.7.0 dan patch Apache berikut:

PHOENIX-1751: Lakukan agregasi, penyortiran, dll., di preScannerNext alih-alih postScannerOpen.
PHOENIX-2714: Perkiraan byte yang benar di BaseResultIterators dan ekspos sebagai antarmuka.
PHOENIX-2724: Kueri dengan sejumlah besar tiang panduan lebih lambat dibandingkan tanpa statistik.
PHOENIX-2855: Solusi sementara Tahapan TimeRange tidak diserialisasikan untuk HBase 1.2.
PHOENIX-3023: Performa lambat ketika batas kueri dijalankan dengan paralel secara default.
PHOENIX-3040: Jangan gunakan panduan untuk menjalankan kueri secara serial.
PHOENIX-3112: Pemindaian baris parsial tidak ditangani dengan benar.
PHOENIX-3240: ClassCastException dari Pig loader.
PHOENIX-3452: NULLS FIRST/NULL LAST tidak boleh berdampak pada apakah GROUP BY dipertahankan pesanan.
PHOENIX-3469: Susunan urutan yang salah untuk kunci utama DESC untuk NULLS LAST/NULLS FIRST.
PHOENIX-3789: Jalankan panggilan pemeliharaan indeks lintas wilayah di postBatchMutateIn sangat diperlukan.
PHOENIX-3865: IS NULL tidak mengembalikan hasil yang benar ketika keluarga kolom pertama tidak difilter.
PHOENIX-4290: Pemindaian tabel penuh dilakukan untuk DELETE pada tabel yang memiliki indeks yang tidak dapat diubah.
PHOENIX-4373: Tombol panjang variabel indeks lokal dapat memiliki null trailing pada saat upserting.
PHOENIX-4466: java.lang.RuntimeException: kode respons 500 - Menjalankan pekerjaan spark untuk terhubung ke server kueri phoenix dan memuat data.
PHOENIX-4489: Kebocoran HBase Connection di Phoenix MR Jobs.
PHOENIX-4525: Integer meluap dalam eksekusi GroupBy.
PHOENIX-4560: ORDER BY dengan GROUP BY tidak berfungsi jika ada WHERE pada pk kolom.
PHOENIX-4586: UPSERT SELECT tidak mengambil operator perbandingan akun untuk subkueri.
PHOENIX-4588: Mengkloning ekspresi juga jika turunannya memiliki Determinisme.PER_INVOCATION.

Pig

Rilis ini menyediakan Pig 0.16.0 dengan patch Apache berikut.

PIG-5159: Perbaiki Pig tidak menyimpan sejarah dengusan.
PIG-5175: Tingkatkan jruby ke 1.7.26.

Ranger

Rilis ini menyediakan Kafka 0.7.0 dan patch Apache berikut:

RANGER-1805: Perbaikan kode untuk mengikuti praktik terbaik di js.
RANGER-1960: Pertimbangkan nama tabel rekam jepret untuk penghapusan.
RANGER-1982: Peningkatan Kesalahan untuk Metrik Analitik Admin Ranger dan Ranger KMS.
RANGER-1984: Catatan log audit HBase mungkin tidak menampilkan semua tag yang terkait dengan kolom yang diakses.
RANGER-1988:Memperbaiki keacakan yang tidak aman.
RANGER-1990: Tambahkan dukungan One-way SSL MySQL di Ranger Admin.
RANGER-2006: Memperbaiki masalah yang terdeteksi oleh analisis kode statis di ranger usersync untuk ldap sumber sinkronisasi.
RANGER-2008: Evaluasi Azure Policy gagal untuk kondisi kebijakan multiline.

Penggeser

Rilis ini menyediakan Slider 0.92.0 tanpa patch Apache tambahan.

Spark

Rilis ini menyediakan Kafka 2.3.0 dan patch Apache berikut:

SPARK-13587: Mendukung virtualenv di pyspark.
SPARK-19964: Hindari membaca dari repos jarak jauh di SparkSubmitSuite.
SPARK-22882: Tes ML untuk streaming terstruktur: ml.classification.
SPARK-22915: Tes streaming untuk fitur spark.ml., dari N hingga Z.
SPARK-23020: Perbaiki balapan lain dalam uji peluncur dalam proses.
SPARK-23040: Mengembalikan iterator yang dapat diinterupsi untuk pembaca acak.
SPARK-23173: Hindari membuat file parket yang rusak saat memuat data dari JSON.
SPARK-23264: Perbaiki skalaa. MatchError dalam literal.sql.out.
SPARK-23288: Perbaiki metrik output dengan wastafel parket.
SPARK-23329: Memperbaiki dokumentasi fungsi trigonometri.
SPARK-23406: Aktifkan stream-stream yang bergabung sendiri untuk cabang-2.3.
SPARK-23434: Spark tidak boleh memperingatkan 'direktori metadata' untuk jalur file HDFS.
SPARK-23436: Partisi infer sebagai Tanggal hanya jika dapat dilemparkan ke Date.
SPARK-23457: Daftarkan pendengar penyelesaian tugas terlebih dahulu di ParquetFileFormat.
SPARK-23462: meningkatkan pesan kesalahan bidang yang hilang di `StructType`.
SPARK-23490: Periksa storage.locationUri dengan tabel yang sudah ada di CreateTable.
SPARK-23524: Blok pengacakan lokal besar tidak boleh diperiksa kerusakannya.
SPARK-23525: Mendukung ALTER TABLE CHANGE COLUMN COMMENT untuk tabel hive eksternal.
SPARK-23553: Pengujian tidak boleh mengasumsikan nilai default 'spark.sql.sources.default'.
SPARK-23569: Mengizinkan pandas_udf bekerja dengan fungsi beranotasi jenis gaya python3.
SPARK-23570: Tambahkan Spark 2.3.0 di HiveExternalCatalogVersionsSuite.
SPARK-23598: Membuat metode di BufferedRowIterator publik untuk menghindari kesalahan runtime untuk kueri besar.
SPARK-23599: Tambahkan generator UUID dari Pseudo-Random Numbers.
SPARK-23599: Gunakan RandomUUIDGenerator dalam ekspresi Uuid.
SPARK-23601: Menghapus .md5 file dari rilis.
SPARK-23608: Tambahkan sinkronisasi dalam SHS antara fungsi attachSparkUI dan detaschSparkUI untuk menghindari masalah modifikasi bersamaan ke Penangan Dermaga.
SPARK-23614: Memperbaiki pertukaran penggunaan kembali yang salah saat penembolokan digunakan.
SPARK-23623: Hindari penggunaan cache bersamaan konsumen di CachedKafkaConsumer (cabang-2.3).
SPARK-23624: Merevisi doc metode pushFilters di Datasource V2.
SPARK-23628: calculateParamLength tidak boleh mengembalikan 1 + num ekspresi.
SPARK-23630: Memungkinkan penyesuaian hadoop conf pengguna berlaku.
SPARK-23635: Variabel Spark executor env ditimpa dengan nama variabel yang sama AM env.
SPARK-23637: Yarn mungkin mengalokasikan lebih banyak sumber daya jika eksekutor yang sama terbunuh beberapa kali.
SPARK-23639: Dapatkan token sebelum pada klien metastore di SparkSQL CLI.
SPARK-23642: Subkelas AccumulatorV2 adalah perbaikanZero scaladoc .
SPARK-23644: Gunakan jalur absolut untuk panggilan REST di SHS.
SPARK-23645: Menambahkan dokumen RE `pandas_udf` dengan argumen kata kunci.
SPARK-23649: Melewatkan chars dilarang di UTF-8.
SPARK-23658: InProcessAppHandle menggunakan kelas yang salah di getLogger.
SPARK-23660: Perbaiki pengecualian dalam mode cluster yarn ketika aplikasi berakhir cepat.
SPARK-23670: Perbaiki kebocoran memori di SparkPlanGraphWrapper.
SPARK-23671: Perbaiki kondisi untuk mengaktifkan thread pool SHS.
SPARK-23691: Menggunakan utilitas sql_conf dalam pengujian PySpark jika memungkinkan.
SPARK-23695: Perbaiki pesan kesalahan untuk tes streaming Kinesis.
SPARK-23706: spark.conf.get(value, default=None) harus menghasilkan None di PySpark.
SPARK-23728: Perbaiki tes ML dengan pengecualian yang diharapkan menjalankan tes streaming.
SPARK-23729: Hormati fragmen URI saat menyelesaikan globs.
SPARK-23759: Tidak dapat mengikat Spark Antarmuka Pengguna dengan nama host / IP tertentu.
SPARK-23760: CodegenContext.withSubExprEliminationExprs harus menyimpan/memulihkan status CSE dengan benar.
SPARK-23769: Hapus komentar yang tidak perlu menonaktifkan Scalastyle pemeriksaan.
SPARK-23788: Perbaiki balapan di StreamingQuerySuite.
SPARK-23802: PropagateEmptyRelation dapat meninggalkan rencana kueri dalam keadaan tidak terselesaikan.
SPARK-23806: Broadcast.unpersist dapat menyebabkan pengecualian fatal saat digunakan dengan alokasi dinamis.
SPARK-23808: Tetapkan sesi Spark default dalam sesi hanya pengujian spark.
SPARK-23809: Active SparkSession harus ditetapkan oleh getOrCreate.
SPARK-23816: Tugas yang dimatikan harus mengabaikan FetchFailures.
SPARK-23822: Meningkatkan pesan kesalahan untuk ketidakcocokan skema Parquet.
SPARK-23823: Jaga asal dalam transformExpression.
SPARK-23827: StreamingJoinExec harus memastikan bahwa data input dipartisi ke dalam jumlah partisi tertentu.
SPARK-23838: Menjalankan kueri SQL ditampilkan sebagai "selesai" di tab SQL.
SPARK-23881: Perbaiki tes flaky JobCancellationSuite." iterator yang dapat diinterupsi dari pembaca acak".

Sqoop

Rilis ini menyediakan Sqoop 1.4.6 tanpa patch Apache tambahan.

Storm

Rilis ini menyediakan Storm 1.1.1 dan patch Apache berikut:

STORM-2652: Pengecualian dilemparkan dalam metode terbuka JmsSpout.
STORM-2841: testNoAcksIfFlushFails UT gagal dengan NullPointerException.
STORM-2854: Ekspos IEventLogger untuk membuat log peristiwa yang dapat dicolokkan.
STORM-2870: FileBasedEventLogger membocorkan ExecutorService non-daemon yang mencegah penyelesaian proses.
STORM-2960:Lebih baik menekankan pentingnya pengaturan akun OS yang tepat untuk proses Storm.

Tez

Rilis ini menyediakan Tez 0.7.0 dan patch Apache berikut:

TEZ-1526: LoadingCache untuk TezTaskID lambat untuk pekerjaan besar.

Zeppelin

Rilis ini menyediakan Zeppelin 0.7.3 tanpa patch Apache tambahan.

ZEPPELIN-3072: Zeppelin UI menjadi lambat/tidak responsif jika terlalu banyak notebook.
ZEPPELIN-3129: Zeppelin UI tidak keluar di Internet Explorer.
ZEPPELIN-903: Ganti CXF dengan Jersey2.

Zookeeper

Rilis ini menyediakan ZooKeeper 3.4.6 dan patch Apache berikut:

ZOOKEEPER-1256: ClientPortBindTest gagal di macOS X.
ZOOKEEPER-1901: [JDK8] Mengurutkan turunan untuk perbandingan dalam pengujian AsyncOps.
ZOOKEEPER-2423: Upgrade versi Netty karena kerentanan keamanan (CVE-2014-3488).
ZOOKEEPER-2693: Serangan DOS terhadap wchp/wchc empat kata huruf (4lw).
ZOOKEEPER-2726: Patch memperkenalkan potensi kondisi balapan.

Kerentanan Umum dan Paparan yang telah diperbaiki

Bagian ini mencakup semua Kerentanan dan Eksposur Umum dan (CVE) yang ditangani dalam rilis ini.

CVE-2017-7676

Ringkasan: Evaluasi kebijakan Apache Ranger mengabaikan karakter setelah karakter kartubebas ‘*’
Tingkat keparahan: Kritis
Vendor: Hortonworks
Versi yang Terpengaruh: Versi HDInsight 3.6 termasuk Apache Ranger versi 0.5.x/0.6.x/0.7.0
Pengguna yang terpengaruh: Lingkungan yang menggunakan kebijakan Ranger dengan karakter setelah karakter kartubebas ‘’ – seperti mytest, test*.txt
Dampak: Pencocokan sumber daya kebijakan mengabaikan karakter setelah karakter kartubebas ‘*’, yang dapat mengakibatkan perilaku yang tidak diinginkan.
Perbaiki detail: Pencocok sumber daya kebijakan Ranger diperbarui untuk menangani kecocokan wildcard dengan benar.
Aksi yang Disarankan: Tingkatkan ke IPM 3.6 (dengan Apache Ranger 0.7.1+).

CVE-2017-7677

Ringkasan: Apache Ranger Hive Authorizer harus memeriksa izin RWX ketika lokasi eksternal ditentukan
Tingkat keparahan: Kritis
Vendor: Hortonworks
Versi yang Terpengaruh: Versi HDInsight 3.6 termasuk Apache Ranger versi 0.5.x/0.6.x/0.7.0
Pengguna yang terpengaruh: Lingkungan yang menggunakan lokasi eksternal untuk tabel hive
Dampak: Di lingkungan yang menggunakan lokasi eksternal untuk tabel hive, Apache Ranger Hive Authorizer harus memeriksa izin RWX untuk lokasi eksternal yang ditentukan untuk membuat tabel.
Perbaiki detail: Ranger Apache Hive Authorizer diperbarui untuk menangani pemeriksaan izin dengan benar dengan lokasi eksternal.
Aksi yang Disarankan: Pengguna harus meningkatkan ke HDI 3.6 (dengan Apache Ranger 0.7.1+).

CVE-2017-9799

Ringkasan: Potensi eksekusi kode sebagai pengguna yang salah di Apache Storm
Tingkat keparahan: Penting
Vendor: Hortonworks
Versi yang Terpengaruh: HDP 2.4.0, HDP-2.5.0, HDP-2.6.0
Pengguna yang terpengaruh: Pengguna yang menggunakan Storm dalam mode aman dan menggunakan blobstore untuk mendistribusikan artefak berbasis topologi atau menggunakan blobstore untuk mendistribusikan sumber daya topologi apa pun.
Dampak: Dalam beberapa situasi dan konfigurasi badai, secara teoritis mungkin bagi pemilik topologi untuk mengelabui supervisor untuk meluncurkan pekerja sebagai pengguna yang berbeda, non-root. Dalam kemungkinan terburuk, ini bisa menyebabkan kredensial aman pengguna lain dibobol. Kerentanan ini hanya berlaku untuk penginstalan Apache Storm dengan keamanan diaktifkan.
Mitigasi: Tingkatkan ke HDP-2.6.2.1 karena saat ini tidak ada solusi sementara.

CVE-2016-4970

Ringkasan: handler/ssl/OpenSslEngine.java di Netty 4.0.x sebelum 4.0.37. Final dan 4.1.x sebelum 4.1.1. Final memungkinkan penyerang jarak jauh untuk menyebabkan penolakan layanan (perulangan tak terbatas)
Tingkat keparahan: Moderat
Vendor: Hortonworks
Versi yang Terpengaruh: HDP 2.x.x sejak 2.3.x
Pengguna yang Terpengaruh: Semua pengguna yang menggunakan HDFS.
Dampak: Dampaknya rendah karena Hortonworks tidak menggunakan OpenSslEngine.java langsung di basis kode Hadoop.
Aksi yang Disarankan: Tingkatkan ke HDP 2.6.3.

CVE-2016-8746

Ringkasan: Masalah pencocokan jalur Apache Ranger dalam evaluasi kebijakan
Tingkat keparahan: Normal
Vendor: Hortonworks
Versi yang Terpengaruh: Semua versi HDP 2.5 termasuk Apache Ranger versi 0.6.0/0.6.1/0.6.2
Pengguna yang terpengaruh: Semua pengguna alat admin kebijakan ranger.
Dampak: Mesin kebijakan Ranger salah mencocokkan jalur dalam kondisi tertentu ketika kebijakan berisi wildcard dan bendera rekursif.
Perbaiki detail: Logika evaluasi kebijakan tetap
Aksi yang Disarankan: Pengguna harus meningkatkan ke HDP 2.5.4+ (dengan Apache Ranger 0.6.3+) atau HDP 2.6+ (dengan Apache Ranger 0.7.0+)

CVE-2016-8751

Ringkasan: Apache Ranger menyimpan masalah skrip lintas situs
Tingkat keparahan: Normal
Vendor: Hortonworks
Versi yang Terpengaruh: Semua versi HDP 2.3/2.4/2.5 termasuk Apache Ranger versi 0.5.x/0.6.0/0.6.1/0.6.2
Pengguna yang terpengaruh: Semua pengguna alat admin kebijakan ranger.
Dampak: Apache Ranger rentan terhadap Scripting Lintas Situs yang Disimpan saat memasuki kondisi kebijakan kustom. Pengguna admin dapat menyimpan beberapa eksekusi kode JavaScript semaunya saat pengguna normal masuk dan mengakses kebijakan.
Detail perbaikan: Menambahkan logika untuk membersihkan input pengguna.
Aksi yang Disarankan: Pengguna harus meningkatkan ke HDP 2.5.4+ (dengan Apache Ranger 0.6.3+) atau HDP 2.6+ (dengan Apache Ranger 0.7.0+)

Memperbaiki masalah untuk dukungan

Masalah yang telah diperbaiki mewaliki masalah yang terpilih yang sebelumnya dicatat melalui Hortonworks Support, tetapi sekarang ditangani dalam rilis saat ini. Masalah ini mungkin telah dilaporkan di versi sebelumnya dalam bagian Masalah yang Diketahui; yang berarti mereka dilaporkan oleh pelanggan atau diidentifikasi oleh tim Hortonworks Quality Engineering.

Hasil yang Salah

ID Bug	Apache JIRA	Ringkasan
BUG-100019	YARN-8145	yarn rmadmin -getGroups tidak mengembalikan grup yang diperbarui untuk pengguna
BUG-100058	PHOENIX-2645	Karakter kartubebas tidak cocok dengan karakter baru
BUG-100266	PHOENIX-3521, PHOENIX-4190	Hasil salah dengan indeks lokal
BUG-88774	HIVE-17617, HIVE-18413, HIVE-18523	query36 gagal, jumlah baris tidak cocok
BUG-89765	HIVE-17702	penanganan isRepeating yang salah dalam pembaca desimal di ORC
BUG-92293	HADOOP-15042	Azure PageBlobInputStream.skip() dapat mengembalikan nilai negatif ketika numberOfPagesRemaining adalah 0
BUG-92345	ATLAS-2285	UI: Berganti nama pencarian tersimpan dengan atribut tanggal.
BUG-92563	HIVE-17495, HIVE-18528	Statistik agregat di ObjectStore mendapatkan hasil yang salah
BUG-92957	HIVE-11266	jumlah(*) hasil yang salah berdasarkan statistik tabel untuk tabel eksternal
BUG-93097	RANGER-1944	Filter tindakan untuk Audit Admin tidak berfungsi
BUG-93335	HIVE-12315	vectorization_short_regress.q memiliki masalah hasil yang salah untuk perhitungan ganda
BUG-93415	HIVE-18258, HIVE-18310	Vektorisasi: Reduce-Side GROUP BY MERGEPARTIAL dengan kolom duplikat rusak
BUG-93939	ATLAS-2294	Parameter tambahan "deskripsi" ditambahkan saat membuat tipe
BUG-94007	PHOENIX-1751, PHOENIX-3112	Kueri Phoenix mengembalikan nilai Kosong karena baris HBase Partial
BUG-94266	HIVE-12505	Memasukkan timpa di zona terenkripsi yang sama secara diam-diam gagal menghapus beberapa berkas yang ada
BUG-94414	HIVE-15680	Hasil yang salah ketika tabel hive.optimize.index.filter=true dan same ORC direferensikan dua kali dalam kueri
BUG-95048	HIVE-18490	Kueri dengan EXISTS dan NOT EXISTS dengan predikat non-equi bisa menghasilkan hasil yang salah
BUG-95053	PHOENIX-3865	IS NULL tidak mengembalikan hasil yang benar ketika keluarga kolom pertama tidak difilter
BUG-95476	RANGER-1966	Inisialisasi komputer Azure Policy tidak membuat pengaya konteks dalam beberapa kasus
BUG-95566	SPARK-23281	Kueri menghasilkan hasil dalam urutan yang salah ketika urutan komposit menurut klausa mengacu pada kedua kolom asli dan alias
BUG-95907	PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560	Memperbaiki masalah ORDER BY ASC ketika kueri memiliki agregasi
BUG-96389	PHOENIX-4586	UPSERT SELECT tidak mengambil operator perbandingan akun untuk subkueri.
BUG-96602	HIVE-18660	PCR tidak membedakan antara partisi dan kolom virtual
BUG-97686	ATLAS-2468	[Pencarian Dasar] Masalah dengan kasus OR ketika NEQ digunakan dengan jenis numerik
BUG-97708	HIVE-18817	Pengecualian ArrayIndexOutOfBounds selama membaca tabel ACID.
BUG-97864	HIVE-18833	Penggabungan Otomatis gagal ketika "masukkan ke direktori sebagai orcfile"
BUG-97889	RANGER-2008	Evaluasi Azure Policy gagal untuk kondisi kebijakan multiline.
BUG-98655	RANGER-2066	Akses keluarga kolom HBase diotorisasi oleh kolom bertag dalam keluarga kolom
BUG-99883	HIVE-19073, HIVE-19145	StatsOptimizer mungkin membagi kolom konstanta

Lainnya

ID Bug	Apache JIRA	Ringkasan
BUG-100267	HBASE-17170	HBase juga mencoba kembali DoNotRetryIOException karena perbedaan loader kelas.
BUG-92367	YARN-7558	Perintah "yarn log" gagal mendapatkan log untuk menjalankan kontainer jika autentikasi Antarmuka Pengguna diaktifkan.
BUG-93159	OOZIE-3139	Oozie memvalidasi alur kerja dengan tidak benar
BUG-93936	ATLAS-2289	Kode start/stop server kafka/zookeeper tertanam untuk dipindahkan dari implementasi KafkaNotification
BUG-93942	ATLAS-2312	Menggunakan objek ThreadLocal DateFormat untuk menghindari penggunaan simultan dari beberapa thread
BUG-93946	ATLAS-2319	UI: Menghapus tag, yang pada posisi 25+ dalam daftar tag di struktur Flat dan Tree memerlukan refresh untuk menghapus tag dari daftar.
BUG-94618	YARN-5037, YARN-7274	Kemampuan untuk menonaktifkan elastisitas pada tingkat antrean node leaf
BUG-94901	HBASE-19285	Tambahkan histogram latensi per-tabel
BUG-95259	HADOOP-15185, HADOOP-15186	Memperbarui `adls` konektor untuk menggunakan versi ADLS SDK saat ini
BUG-95619	HIVE-18551	Vektorisasi: VectorMapOperator mencoba menulis terlalu banyak kolom vektor untuk Hybrid Grace
BUG-97223	SPARK-23434	Spark tidak boleh memperingatkan 'direktori metadata' untuk jalur file HDFS

Performa

ID Bug	Apache JIRA	Ringkasan
BUG-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	Komputasi lokalitas cepat dalam penyeimbang
BUG-91300	HBASE-17387	Mengurangi overhead laporan pengecualian di RegionActionResult untuk multi()
BUG-91804	TEZ-1526	LoadingCache untuk TezTaskID lambat untuk pekerjaan besar
BUG-92760	ACCUMULO-4578	Batalkan pemadatan operasi FATE tidak melepaskan kunci kumpulan nama XML
BUG-93577	RANGER-1938	Penyiapan Solr for Audit tidak menggunakan DocValues secara efektif
BUG-93910	HIVE-18293	Apache Hive gagal meringkas tabel yang ada di dalam folder yang tidak dimiliki oleh identitas yang menjalankan HiveMetaStore
BUG-94345	HIVE-18429	Pemadatan harus menangani kasus ketika tidak menghasilkan output
BUG-94381	HADOOP-13227, HDFS-13054	Menangani pesanan RequestHedgingProxyProvider RetryAction: GAGAL < COBA LAGI < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	CompactorMR harus memanggil jobclient.close() untuk memicu pembersihan
BUG-94869	PHOENIX-4290, PHOENIX-4373	Baris yang diminta di luar rentang untuk Dapatkan untuk `HRegion` tabel phoenix asin terindeks lokal.
BUG-94928	HDFS-11078	Perbaiki NPE di LazyPersistFileScrubber
BUG-94964	HIVE-18269, HIVE-18318, HIVE-18326	Beberapa perbaikan LLAP
BUG-95669	HIVE-18577, HIVE-18643	Saat menjalankan kueri pembaruan/penghapusan pada tabel yang dipartisi ACID, HS2 membaca semua partisi.
BUG-96390	HDFS-10453	Utas ReplicationMonitor bisa macet untuk waktu yang lama karena perlombaan antara replikasi dan menghapus file yang sama dalam kluster besar.
BUG-96625	HIVE-16110	Mengembalikan "Vektorisasi: Mendukung 2 Nilai CASE WHEN, bukan melakukan fallback ke VectorUDFAdaptor"
BUG-97109	HIVE-16757	Penggunaan getRows() yang tidak digunakan lagi, bukan estimateRowCount(RelMetadataQuery...) yang baru memiliki dampak performa yang serius
BUG-97110	PHOENIX-3789	Menjalankan panggilan pemeliharaan indeks lintas wilayah di postBatchMutateIn sangat diperlukan
BUG-98833	YARN-6797	TimelineWriter tidak sepenuhnya menggunakan respons POST
BUG-98931	ATLAS-2491	Perbarui Apache Hive hook untuk menggunakan notifikasi Atlas v2

Potensi Kehilangan Data

ID Bug	Apache JIRA	Ringkasan
BUG-95613	HBASE-18808	Pemeriksaan konfigurasi tidak efektif BackupLogCleaner#getDeletableFiles()
BUG-97051	HIVE-17403	Gagal penggabungan untuk tabel yang tidak dikelola dan transaksional
BUG-97787	HIVE-18460	Compactor tidak meneruskan properti Tabel ke penulis Orc
BUG-97788	HIVE-18613	Perluas JsonSerDe untuk mendukung tipe BINARY

Kegagalan kueri

ID Bug	Apache JIRA	Ringkasan
BUG-100180	CALCITE-2232	Kesalahan pernyataan pada AggregatePullUpConstantsRule saat menyesuaikan indeks Agregat
BUG-100422	HIVE-19085	FastHiveDecimal abs(0) menetapkan tanda ke `+ve`
BUG-100834	PHOENIX-4658	IllegalStateException: requestSeek tidak dapat dipanggil di ReversedKeyValueHeap
BUG-102078	HIVE-17978	Kueri TPCDS 58 dan 83 menghasilkan pengecualian dalam vektorisasi.
BUG-92483	HIVE-17900	menganalisis statistik pada kolom yang dipicu oleh Compactor menghasilkan SQL cacat dengan > 1 kolom partisi
BUG-93135	HIVE-15874, HIVE-18189	Kueri Apache Hive mengembalikan hasil yang salah saat mengatur hive.groupby.orderby.position.alias ke true
BUG-93136	HIVE-18189	Urutan berdasarkan posisi tidak berfungsi ketika `cbo` dinonaktifkan
BUG-93595	HIVE-12378, HIVE-15883	Tabel yang dipetakan HBase dalam sisipkan Apache Hive gagal untuk kolom desimal dan biner
BUG-94007	PHOENIX-1751, PHOENIX-3112	Kueri Phoenix mengembalikan nilai Kosong karena baris HBase Partial
BUG-94144	HIVE-17063	sisipkan partisi timpa ke dalam tabel eksternal gagal saat menjatuhkan partisi terlebih dahulu
BUG-94280	HIVE-12785	Melihat dengan jenis gabungan dan UDF untuk `mentransmisikan` struktur rusak
BUG-94505	PHOENIX-4525	Integer overflow dalam eksekusi GroupBy
BUG-95618	HIVE-18506	LlapBaseInputFormat - indeks array negatif
BUG-95644	HIVE-9152	CombineHiveInputFormat: Apache Hive query gagal di Tez dengan java.lang.IllegalArgumentException exception
BUG-96762	PHOENIX-4588	Mengkloning ekspresi juga jika turunannya memiliki Determinisme.PER_INVOCATION
BUG-97145	HIVE-12245, HIVE-17829	Komentar kolom dukungan untuk tabel yang didukung HBase
BUG-97741	HIVE-18944	Posisi set pengelompokan diatur secara tidak benar selama DPP
BUG-98082	HIVE-18597	LLAP: Selalu mengemas `log4j2` jar API untuk `org.apache.log4j`
BUG-99849	T/A	Membuat tabel baru dari panduan file mencoba menggunakan database default

Keamanan

ID Bug	Apache JIRA	Ringkasan
BUG-100436	RANGER-2060	`Knox` proksi dengan `knox-sso` tidak berfungsi untuk ranger
BUG-101038	SPARK-24062	Zeppelin %Spark interpreter "Koneksi ditolak" error, "Kunci rahasia harus ditentukan..." kesalahan dalam HiveThriftServer
BUG-101359	ACCUMULO-4056	Perbarui versi commons-collection ke 3.2.2 saat dirilis
BUG-54240	HIVE-18879	Larang elemen tertanam di UDFXPathUtil perlu berfungsi jika xercesImpl.jar di classpath
BUG-79059	OOZIE-3109	Karakter html-spesifik streaming log escape
BUG-90041	OOZIE-2723	lisensi JSON.org sekarang menjadi CatX
BUG-93754	RANGER-1943	Otorisasi Ranger Solr dilewati ketika koleksi kosong atau null
BUG-93804	HIVE-17419	Perintah ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS menunjukkan statistik komputasi untuk tabel bertopeng
BUG-94276	ZEPPELIN-3129	Zeppelin UI tidak keluar di Internet Explorer
BUG-95349	ZOOKEEPER-1256, ZOOKEEPER-1901	Tingkatkan netty
BUG-95483	T/A	Perbaiki untuk CVE-2017-15713
BUG-95646	OOZIE-3167	Upgrade versi tomcat di cabang Oozie 4.3
BUG-95823	T/A	`Knox`:Upgrade `Beanutils`
BUG-95908	RANGER-1960	HBase auth tidak mempertimbangkan ruang nama tabel untuk menghapus snapshot
BUG-96191	FALCON-2322, FALCON-2323	Tingkatkan versi Jackson dan Spring untuk menghindari kerentanan keamanan
BUG-96502	RANGER-1990	Tambahkan dukungan One-way SSL MySQL di Ranger Admin
BUG-96712	FLUME-3194	tingkatkan derby ke versi terbaru (1.14.1.0)
BUG-96713	FLUME-2678	Tingkatkan xalan ke 2.7.2 untuk mengurus kerentanan CVE-2014-0107
BUG-96714	FLUME-2050	Tingkatkan ke `log4j2` (ketika GA)
BUG-96737	T/A	Gunakan metode sistem file Java io untuk mengakses file lokal
BUG-96925	T/A	Tingkatkan Tomcat dari 6.0.48 ke 6.0.53 di Hadoop
BUG-96977	FLUME-3132	Meningkatkan dependensi pustaka tomcat `jasper`
BUG-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	Meningkatkan pustaka Nimbus-JOSE-JWT dengan versi di atas 4.39
BUG-97101	RANGER-1988	Memperbaiki keacakan yang tidak aman
BUG-97178	ATLAS-2467	Peningkatan ketergantungan untuk Musim Semi dan nimbus-jose-jwt
BUG-97180	T/A	Upgrade Nimbus-jose-jwt
BUG-98038	HIVE-18788	Bersihkan input di JDBC PreparedStatement
BUG-98353	HADOOP-13707	Kembalikan "Jika kerberos diaktifkan saat HTTP SPNEGO tidak dikonfigurasi, beberapa tautan tidak dapat diakses"
BUG-98372	HBASE-13848	Akses kata sandi InfoServer SSL melalui API Penyedia Kredensial
BUG-98385	ATLAS-2500	Tambahkan lebih banyak header ke respons Atlas.
BUG-98564	HADOOP-14651	Pembaruan okhttp versi ke 2.7.5
BUG-99440	RANGER-2045	Kolom tabel Apache Hive tanpa izin kebijakan eksplisit dicantumkan dengan perintah 'tabel desc'
BUG-99803	T/A	Oozie harus menonaktifkan pemuatan kelas dinamis HBase

Stabilitas

ID Bug	Apache JIRA	Ringkasan
BUG-100040	ATLAS-2536	NPE di Atlas Apache Hive Hook
BUG-100057	HIVE-19251	ObjectStore.getNextNotification dengan LIMIT harus menggunakan lebih sedikit memori
BUG-100072	HIVE-19130	NPE dilemparkan ketika REPL LOAD menerapkan peristiwa menghilangkan partisi.
BUG-100073	T/A	terlalu banyak koneksi close_wait dari `hiveserver` ke simpul data
BUG-100319	HIVE-19248	REPL LOAD tidak melempar kesalahan jika salinan file gagal.
BUG-100352	T/A	CLONE - RM membersihkan pemindaian logika / registri znode terlalu sering
BUG-100427	HIVE-19249	Replikasi: Klausa DENGAN tidak meneruskan konfigurasi ke Tugas dengan benar dalam semua kasus
BUG-100430	HIVE-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432	HIVE-19219	REPL DUMP inkremental harus melempar kesalahan jika peristiwa yang diminta dibersihkan.
BUG-100448	SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881	Pembaruan `Spark2` ke 2.3.0+ (4/11)
BUG-100740	HIVE-16107	JDBC: HttpClient harus mencoba sekali lagi di NoHttpResponseException
BUG-100810	HIVE-19054	Replikasi Fungsi Apache Hive gagal
BUG-100937	MAPREDUCE-6889	Tambahkan JOB#close API untuk mematikan layanan klien MR.
BUG-101065	ATLAS-2587	Atur baca ACL untuk znode /apache_atlas/active_server_info di HA agar `Knox` proksi dibaca.
BUG-101093	STORM-2993	Badai hdfs baut melempar ClosedChannelException ketika kebijakan rotasi waktu digunakan
BUG-101181	T/A	PhoenixStorageHandler tidak menangani AND dalam predikat dengan benar
BUG-101266	PHOENIX-4635	Kebocoran HBase Connection di org.apache.phoenix.hive.mapreduce.PhoenixInputFormat
BUG-101458	HIVE-11464	info garis keturunan hilang jika ada beberapa output
BUG-101485	T/A	hive metastore thrift api lambat dan menyebabkan waktu habis klien
BUG-101628	HIVE-19331	Replikasi inkremental Apache Hive ke cloud gagal.
BUG-102048	HIVE-19381	Replikasi Fungsi Apache Hive ke cloud gagal dengan FunctionTask
BUG-102064	T/A	Pengujian Replikasi `\[ onprem to onprem \]` Apache Hive gagal di ReplCopyTask
BUG-102137	HIVE-19423	Pengujian Replikasi `\[ Onprem to Cloud \]` Apache Hive gagal di ReplCopyTask
BUG-102305	HIVE-19430	HS2 dan hive metastore OOM dumps
BUG-102361	T/A	beberapa hasil sisipkan dalam sisipan tunggal yang direplikasi ke kluster apache hive target ( `onprem - s3` )
BUG-87624	T/A	Mengaktifkan penebangan peristiwa storm menyebabkan pekerja terus-menerus mati
BUG-88929	HBASE-15615	Waktu tidur yang salah ketika RegionServerCallable perlu mencoba kembali
BUG-89628	HIVE-17613	hapus kumpulan objek untuk alokasi pendek dan sama-thread
BUG-89813	T/A	SCA: Kebenaran Kode: Metode Yang Tidak Disinkronkan Mengesampingkan Metode yang Disinkronkan
BUG-90437	ZEPPELIN-3072	Zeppelin Antarmuka Pengguna menjadi lambat/tidak responsif jika terlalu banyak notebook
BUG-90640	HBASE-19065	HRegion#bulkLoadHFiles() harus menunggu hingga Region#flush() bersamaan selesai
BUG-91202	HIVE-17013	Menghapus permintaan dengan subkueri berdasarkan pilih di atas tampilan
BUG-91350	KNOX-1108	NiFiHaDispatch tidak gagal atas
BUG-92054	HIVE-13120	menyebarkan doA saat menghasilkan pemisahan ORC
BUG-92373	FALCON-2314	Bump TestNG versi ke 6.13.1 untuk menghindari ketergantungan BeanShell
BUG-92381	T/A	testContainerLogsWithNewAPI dan testContainerLogsWithOldAPI UT gagal
BUG-92389	STORM-2841	testNoAcksIfFlushFails UT gagal dengan NullPointerException
BUG-92586	SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095	Memperbarui `Spark2` terbaru ke 2.2.1 (Jan. 16)
BUG-92680	ATLAS-2288	Pengecualian NoClassDefFoundError saat menjalankan skrip import-hive saat tabel hbase dibuat melalui Apache Hive
BUG-92760	ACCUMULO-4578	Batalkan pemadatan operasi FATE tidak melepaskan kunci kumpulan nama XML
BUG-92797	HDFS-10267, HDFS-8496	Mengurangi kontensi pengunci datanode pada kasus penggunaan tertentu
BUG-92813	FLUME-2973	Kebuntuan di pembuangan hdfs
BUG-92957	HIVE-11266	jumlah(*) hasil yang salah berdasarkan statistik tabel untuk tabel eksternal
BUG-93018	ATLAS-2310	Di HA, node pasif mengalihkan permintaan dengan pengkodean URL yang salah
BUG-93116	RANGER-1957	Ranger Usersync tidak menyinkronkan pengguna atau grup secara berkala saat sinkronisasi inkremental diaktifkan.
BUG-93361	HIVE-12360	Pencarian buruk di ORC yang tidak dikompresi dengan dorongan predikat
BUG-93426	CALCITE-2086	HTTP/413 dalam keadaan tertentu dikarenakan header Otorisasi besar
BUG-93429	PHOENIX-3240	ClassCastException dari Pig loader
BUG-93485	T/A	tidak bisa mendapatkan tabel mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: Tabel tidak ditemukan saat menjalankan analisis tabel pada kolom di LLAP
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: kode respons 500 - Menjalankan pekerjaan spark untuk terhubung ke server kueri phoenix dan memuat data
BUG-93550	T/A	Zeppelin %spark.r tidak bekerja dengan spark1 karena ketidakcocokan versi scala
BUG-93910	HIVE-18293	Apache Hive gagal meringkas tabel yang ada di dalam folder yang tidak dimiliki oleh identitas yang menjalankan HiveMetaStore
BUG-93926	ZEPPELIN-3114	Notebook dan penerjemah tidak disimpan di zeppelin setelah pengujian > stres 1d
BUG-93932	ATLAS-2320	klasifikasi "*" dengan kueri memunculkan 500 pengecualian server internal.
BUG-93948	YARN-7697	NM turun dengan OOM karena kebocoran dalam agregasi log (bagian #1)
BUG-93965	ATLAS-2229	Pencarian DSL: atribut orderby non-string memberikan pengecualian
BUG-93986	YARN-7697	NM turun dengan OOM karena kebocoran dalam agregasi log (bagian # 2)
BUG-94030	ATLAS-2332	Pembuatan tipe dengan atribut yang memiliki tipe data pengumpulan bertumpuk gagal
BUG-94080	YARN-3742, YARN-6061	Kedua RM dalam siaga dalam kluster aman
BUG-94081	HIVE-18384	ConcurrentModificationException dalam `log4j2.x` pustaka
BUG-94168	T/A	Benang RM turun dengan Service Registry berada dalam keadaan salah ERROR
BUG-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	HDFS harus mendukung untuk beberapa `KMS Uris`
BUG-94345	HIVE-18429	Pemadatan harus menangani kasus ketika tidak menghasilkan output
BUG-94372	ATLAS-2229	Kueri DSL: hive_table name = ["t1","t2"] memunculkan pengecualian kueri DSL yang tidak valid
BUG-94381	HADOOP-13227, HDFS-13054	Menangani pesanan RequestHedgingProxyProvider RetryAction: GAGAL < COBA LAGI < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	CompactorMR harus memanggil jobclient.close() untuk memicu pembersihan
BUG-94575	SPARK-22587	Pekerjaan spark gagal jika fs.defaultFS dan aplikasi jar adalah url yang berbeda
BUG-94791	SPARK-22793	Kebocoran memori di Spark Thrift Server
BUG-94928	HDFS-11078	Perbaiki NPE di LazyPersistFileScrubber
BUG-95013	HIVE-18488	Pembaca LLAP ORC kehilangan beberapa pemeriksaan null
BUG-95077	HIVE-14205	Apache Hive tidak mendukung tipe serikat pekerja dengan format file AVRO
BUG-95200	HDFS-13061	SaslDataTransferClient#checkTrustAndSend tidak boleh mempercayai saluran tepercaya sebagian
BUG-95201	HDFS-13060	Menambahkan BlacklistBasedTrustedChannelResolver untuk TrustedChannelResolver
BUG-95284	HBASE-19395	[branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting gagal dengan NPE
BUG-95301	HIVE-18517	Vektorisasi: Perbaiki VectorMapOperator untuk menerima VRB dan periksa bendera vektorisasi dengan benar untuk mendukung LLAP Penembolokan
BUG-95542	HBASE-16135	PeerClusterZnode di bawah rs peer yang dihapus mungkin tidak pernah dihapus
BUG-95595	HIVE-15563	Abaikan pengecualian transisi status Operasi Ilegal di SQLOperation.runQuery untuk mengekspos pengecualian nyata.
BUG-95596	YARN-4126, YARN-5750	TestClientRMService gagal
BUG-96019	HIVE-18548	Perbaiki `log4j` impor
BUG-96196	HDFS-13120	Rekam jepret diff dapat rusak setelah concat
BUG-96289	HDFS-11701	NPE dari Host yang belum terselesaikan menyebabkan kegagalan permanen DFSInputStream
BUG-96291	STORM-2652	Pengecualian dilemparkan dalam metode terbuka JmsSpout
BUG-96363	HIVE-18959	Hindari membuat kumpulan benang tambahan dalam LLAP
BUG-96390	HDFS-10453	Thread ReplicationMonitor bisa macet untuk waktu yang lama karena perlombaan antara replikasi dan penghapusan file yang sama dalam kluster besar.
BUG-96454	YARN-4593	Deadlock di AbstractService.getConfig()
BUG-96704	FALCON-2322	ClassCastException saat mengumpan submitAndSchedule
BUG-96720	SLIDER-1262	Functest slider gagal di `Kerberized` lingkungan
BUG-96931	SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391	Pembaruan `Spark2` terbaru (Feb. 19)
BUG-97067	HIVE-10697	ObjectInspectorConvertors#UnionConvertor melakukan konversi yang salah
BUG-97244	KNOX-1083	Batas waktu default httpClient harus menjadi nilai yang masuk akal
BUG-97459	ZEPPELIN-3271	Opsi untuk menonaktifkan penjadwal
BUG-97511	KNOX-1197	AnonymousAuthFilter tidak ditambahkan saat otentikasi=Anonim dalam layanan
BUG-97601	HIVE-17479	Direktori pementasan tidak dibersihkan untuk kueri pembaruan/penghapusan
BUG-97605	HIVE-18858	Properti sistem dalam konfigurasi pekerjaan tidak diselesaikan saat mengirimkan pekerjaan MR
BUG-97674	OOZIE-3186	Oozie tidak dapat menggunakan konfigurasi yang ditautkan menggunakan jceks://file/...
BUG-97743	T/A	java.lang.NoClassDefFoundError pengecualian saat menyebarkan topologi badai
BUG-97756	PHOENIX-4576	Tes perbaikan LocalIndexSplitMergeIT gagal
BUG-97771	HDFS-11711	DN tidak boleh menghapus blok pada pengecualian "Terlalu banyak file terbuka"
BUG-97869	KNOX-1190	`Knox` Dukungan SSO untuk Google OIDC rusak.
BUG-97879	PHOENIX-4489	Kebocoran HBase Connection di Phoenix MR Jobs
BUG-98392	RANGER-2007	Tiket Kerberos ranger-tagsync gagal diperpanjang
BUG-98484	T/A	Apache Hive Replikasi Inkremental ke Cloud tidak berfungsi
BUG-98533	HBASE-19934, HBASE-20008	Pemulihan rekam jepret HBase gagal karena pengecualian penunjuk Null
BUG-98555	PHOENIX-4662	NullPointerException di TableResultIterator.java pada pengiriman ulang singgahan
BUG-98579	HBASE-13716	Berhenti menggunakan FSConstants Hadoop
BUG-98705	KNOX-1230	Banyak Permintaan Bersamaan untuk `Knox` menyebabkan Mangling URL
BUG-98983	KNOX-1108	NiFiHaDispatch tidak gagal atas
BUG-99107	HIVE-19054	Replikasi fungsi harus menggunakan "hive.repl.replica.functions.root.dir" sebagai root
BUG-99145	RANGER-2035	Kesalahan mengakses servicedefs dengan implClass kosong dengan backend Oracle
BUG-99160	SLIDER-1259	Penggeser tidak berfungsi di lingkungan multi-rumah
BUG-99239	ATLAS-2462	Impor sqoop untuk semua tabel melempar NPE tanpa tabel yang disediakan dalam perintah
BUG-99301	ATLAS-2530	Baris baru di awal atribut name dari hive_process dan hive_column_lineage
BUG-99453	HIVE-19065	Pemeriksaan kompatibilitas klien Metastore harus menyertakan syncMetaStoreClient
BUG-99521	T/A	ServerCache untuk HashJoin tidak dibuat ulang saat iterator diaktifkan kembali
BUG-99590	PHOENIX-3518	Kebocoran Memori di RenewLeaseTask
BUG-99618	SPARK-23599, SPARK-23806	Pembaruan `Spark2` ke 2.3.0+ (3/28)
BUG-99672	ATLAS-2524	Kait Apache Hive dengan pemberitahuan V2 - penanganan yang salah dari operasi 'ubah tampilan sebagai'
BUG-99809	HBASE-20375	Hapus penggunaan getCurrentUserCredentials dalam modul hbase-spark

Dukungan

ID Bug	Apache JIRA	Ringkasan
BUG-87343	HIVE-18031	Mendukung replikasi untuk operasi Alter Database.
BUG-91293	RANGER-2060	`Knox` proksi dengan `knox-sso` tidak berfungsi untuk ranger
BUG-93116	RANGER-1957	Ranger Usersync tidak menyinkronkan pengguna atau grup secara berkala saat sinkronisasi inkremental diaktifkan.
BUG-93577	RANGER-1938	Penyiapan Solr for Audit tidak menggunakan DocValues secara efektif
BUG-96082	RANGER-1982	Peningkatan Kesalahan untuk Metrik Analitik Admin Ranger dan Ranger `Kms`
BUG-96479	HDFS-12781	Setelah `Datanode` tidak berfungsi, di `Namenode` tab UI `Datanode` melempar pesan peringatan.
BUG-97864	HIVE-18833	Penggabungan Otomatis gagal ketika "masukkan ke direktori sebagai orcfile"
BUG-98814	HDFS-13314	NameNode harus keluar secara opsional jika mendeteksi korupsi FsImage

Mutakhirkan

ID Bug	Apache JIRA	Ringkasan
BUG-100134	SPARK-22919	Kembalinya "Bump Apache versi httpclient"
BUG-95823	T/A	`Knox`:Upgrade `Beanutils`
BUG-96751	KNOX-1076	Pembaruan nimbus-jose-jwt ke 4.41.2
BUG-97864	HIVE-18833	Penggabungan Otomatis gagal ketika "masukkan ke direktori sebagai orcfile"
BUG-99056	HADOOP-13556	Ubah Configuration.getPropsWithPrefix untuk menggunakan getProp alih-alih iterator
BUG-99378	ATLAS-2461, ATLAS-2554	Utilitas migrasi untuk mengekspor data Atlas di Titan graph DB

Kegunaan

ID Bug	Apache JIRA	Ringkasan
BUG-100045	HIVE-19056	IllegalArgumentException di FixAcidKeyIndex ketika file ORC memiliki 0 baris
BUG-100139	KNOX-1243	Menormalkan DN yang diperlukan yang Dikonfigurasi dalam `KnoxToken` Layanan
BUG-100570	ATLAS-2557	Perbaikan untuk memungkinkan `lookup` grup hadoop `ldap` saat grup dari UGI salah diatur atau tidak kosong
BUG-100646	ATLAS-2102	Penyempurnaan Atlas UI: Halaman hasil pencarian
BUG-100737	HIVE-19049	Menambahkan dukungan untuk menambahkan kolom tabel Alter untuk Druid
BUG-100750	KNOX-1246	Perbarui konfigurasi layanan untuk `Knox` mendukung konfigurasi terbaru untuk Ranger.
BUG-100965	ATLAS-2581	Regresi dengan pemberitahuan kait V2 Apache Hive : Memindahkan tabel ke database yang berbeda
BUG-84413	ATLAS-1964	Antarmuka Pengguna: Dukungan untuk mengalah kolom dalam tabel Pencarian
BUG-90570	HDFS-11384, HDFS-12347	Tambahkan opsi bagi penyeimbang untuk membubarkan panggilan getBlocks untuk menghindari rpc NameNode. Lonjakan CallQueueLength
BUG-90584	HBASE-19052	FixedFileTrailer harus mengenali kelas CellComparatorImpl di branch-1.x
BUG-90979	KNOX-1224	`Knox` Proksi `HADispatcher` untuk mendukung Atlas di HA.
BUG-91293	RANGER-2060	`Knox` proksi dengan knox-sso tidak berfungsi untuk ranger
BUG-92236	ATLAS-2281	Menyimpan kueri filter atribut Tag/Type dengan filter null/not null.
BUG-92238	ATLAS-2282	Pencarian favorit tersimpan hanya muncul saat refresh setelah pembuatan ketika ada 25+ pencarian favorit.
BUG-92333	ATLAS-2286	Jenis 'kafka_topic' yang dibuat sebelumnya tidak boleh mendeklarasikan atribut 'topik' sebagai unik
BUG-92678	ATLAS-2276	Nilai jalur untuk entitas jenis hdfs_path diatur ke huruf kecil dari hive-bridge.
BUG-93097	RANGER-1944	Filter tindakan untuk Audit Admin tidak berfungsi
BUG-93135	HIVE-15874, HIVE-18189	Kueri Apache Hive mengembalikan hasil yang salah saat mengatur hive.groupby.orderby.position.alias ke true
BUG-93136	HIVE-18189	Urutan berdasarkan posisi tidak berfungsi saat `cbo` dinonaktifkan
BUG-93387	HIVE-17600	Buat user-settable "enforceBufferSize" OrcFile.
BUG-93495	RANGER-1937	Ranger `tagsync` harus memproses pemberitahuan ENTITY_CREATE, untuk mendukung fitur impor Atlas
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: kode respons 500 - Menjalankan pekerjaan spark untuk terhubung ke server kueri phoenix dan memuat data
BUG-93801	HBASE-19393	HTTP 413 Full head saat mengakses HBase Antarmuka Pengguna menggunakan SSL.
BUG-93804	HIVE-17419	Perintah ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS menunjukkan statistik komputasi untuk tabel bertopeng
BUG-93932	ATLAS-2320	klasifikasi "*" dengan kueri memunculkan 500 pengecualian server internal.
BUG-93933	ATLAS-2286	Jenis 'kafka_topic' yang dibuat sebelumnya tidak boleh mendeklarasikan atribut 'topik' sebagai unik
BUG-93938	ATLAS-2283, ATLAS-2295	Pembaruan Antarmuka Pengguna untuk klasifikasi
BUG-93941	ATLAS-2296, ATLAS-2307	Penyempurnaan pencarian dasar untuk secara opsional mengecualikan entitas subjenis dan subjenis klasifikasi
BUG-93944	ATLAS-2318	UI: Saat mengklik tag anak dua kali, tag induk dipilih
BUG-93946	ATLAS-2319	UI: Menghapus tag, yang pada posisi 25+ dalam daftar tag di struktur Flat dan Tree memerlukan refresh untuk menghapus tag dari daftar.
BUG-93977	HIVE-16232	Komputasi statistik dukungan untuk kolom di QuotedIdentifier
BUG-94030	ATLAS-2332	Pembuatan tipe dengan atribut yang memiliki tipe data pengumpulan bertumpuk gagal
BUG-94099	ATLAS-2352	Server Atlas harus menyediakan konfigurasi untuk menentukan validitas untuk Delegasi KerberosToken
BUG-94280	HIVE-12785	Melihat dengan jenis gabungan dan UDF untuk `mentransmisikan` struktur rusak
BUG-94332	SQOOP-2930	Eksekutif pekerjaan Sqoop tidak mengesampingkan properti generik pekerjaan yang disimpan
BUG-94428	T/A	`Dataplane` Dukungan REST API `Knox` Agen Profiler
BUG-94514	ATLAS-2339	Antarmuka Pengguna: Modifikasi dalam "kolom" dalam tampilan hasil pencarian dasar juga memengaruhi DSL.
BUG-94515	ATLAS-2169	Permintaan hapus gagal ketika hard delete dikonfigurasikan
BUG-94518	ATLAS-2329	Atlas UI Multiple Hovers muncul jika pengguna mengklik tag lain yang salah
BUG-94519	ATLAS-2272	Simpan status kolom yang diseret menggunakan simpan API pencarian.
BUG-94627	HIVE-17731	menambahkan opsi mundur `compat` untuk pengguna eksternal ke HIVE-11985
BUG-94786	HIVE-6091	File kosong `pipeout` dibuat untuk membuat/menutup koneksi
BUG-94793	HIVE-14013	Menjelaskan tabel tidak memperlihatkan unicode dengan benar
BUG-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	Atur spark.yarn.jars untuk memperbaiki Spark 2.0 dengan Oozie
BUG-94901	HBASE-19285	Tambahkan histogram latensi per-tabel
BUG-94908	ATLAS-1921	Antarmuka Pengguna: Cari menggunakan atribut entitas dan sifat: Antarmuka Pengguna tidak melakukan pemeriksaan rentang dan memungkinkan penyediaan nilai di luar batas untuk tipe data integral dan float.
BUG-95086	RANGER-1953	penyempurnaan pada daftar halaman grup pengguna
BUG-95193	SLIDER-1252	Agen penggeser gagal dengan kesalahan validasi SSL dengan Python 2.7.5-58
BUG-95314	YARN-7699	queueUsagePercentage hadir sebagai INF untuk `getApp` panggilan REST api
BUG-95315	HBASE-13947, HBASE-14517, HBASE-17931	Menetapkan tabel sistem ke server dengan versi tertinggi
BUG-95392	ATLAS-2421	Pembaruan pemberitahuan untuk mendukung struktur data V2
BUG-95476	RANGER-1966	Inisialisasi komputer Azure Policy tidak membuat pengaya konteks dalam beberapa kasus
BUG-95512	HIVE-18467	mendukung seluruh cadangan gudang / beban + membuat / drop peristiwa database
BUG-95593	T/A	Perluas util Oozie DB untuk mendukung `Spark2sharelib` pembuatan
BUG-95595	HIVE-15563	Abaikan pengecualian transisi status Operasi Ilegal di SQLOperation.runQuery untuk mengekspos pengecualian nyata.
BUG-95685	ATLAS-2422	Ekspor: Ekspor berbasis tipe dukungan
BUG-95798	PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040	Jangan gunakan panduan untuk menjalankan kueri secara serial
BUG-95969	HIVE-16828, HIVE-17063, HIVE-18390	Tampilan partisi gagal dengan GAGAL: IndexOutOfBoundsException Index: 1, Ukuran: 1
BUG-96019	HIVE-18548	Perbaiki `log4j` impor
BUG-96288	HBASE-14123, HBASE-14135, HBASE-17850	Backport HBase Backup/Restore 2.0
BUG-96313	KNOX-1119	`Pac4J` Prinsipal OAuth/OpenID Perlu Dikonfigurasi
BUG-96365	ATLAS-2442	Pengguna dengan izin baca-saja pada sumber daya entitas tidak dapat melakukan pencarian dasar
BUG-96479	HDFS-12781	Setelah `Datanode` tidak berfungsi, di `Namenode` tab UI `Datanode` melempar pesan peringatan.
BUG-96502	RANGER-1990	Tambahkan dukungan One-way SSL MySQL di Ranger Admin
BUG-96718	ATLAS-2439	Perbarui hook Sqoop untuk menggunakan notifikasi V2
BUG-96748	HIVE-18587	sisipkan peristiwa DML mungkin mencoba menghitung checksum pada direktori
BUG-96821	HBASE-18212	Dalam mode Mandiri dengan pesan Peringatan log HBase sistem file lokal: Gagal memanggil metode 'unbuffer' di class org.apache.hadoop.fs.FSDataInputStream
BUG-96847	HIVE-18754	REPL STATUS harus mendukung 'dengan' klausa
BUG-96873	ATLAS-2443	Menangkap atribut entitas yang diperlukan dalam pesan DELETE keluar
BUG-96880	SPARK-23230	Ketika hive.default.fileformat adalah jenis file lainnya, buat `textfile` tabel menyebabkan `serde` kesalahan
BUG-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	Meningkatkan penguraian opsi Spark
BUG-97100	RANGER-1984	Catatan log audit HBase mungkin tidak menampilkan semua tag yang terkait dengan kolom yang diakses
BUG-97110	PHOENIX-3789	Menjalankan panggilan pemeliharaan indeks lintas wilayah di postBatchMutateIn sangat diperlukan
BUG-97145	HIVE-12245, HIVE-17829	Komentar kolom dukungan untuk tabel yang didukung HBase
BUG-97409	HADOOP-15255	Dukungan konversi huruf besar/kecil untuk nama grup di LdapGroupsMapping
BUG-97535	HIVE-18710	perluas inheritPerms ke ACID di Apache Hive 2.X
BUG-97742	OOZIE-1624	Pola pengecualian untuk `sharelib` JAR
BUG-97744	PHOENIX-3994	Prioritas RPC indeks masih tergantung pada properti pabrik pengontrol di hbase-site.xml
BUG-97787	HIVE-18460	Compactor tidak meneruskan properti Tabel ke penulis Orc
BUG-97788	HIVE-18613	Perluas JsonSerDe untuk mendukung tipe BINARY
BUG-97899	HIVE-18808	Membuat pemadatan lebih kuat ketika pembaruan statistik gagal
BUG-98038	HIVE-18788	Bersihkan input di JDBC PreparedStatement
BUG-98383	HIVE-18907	Membuat utilitas untuk memperbaiki masalah indeks kunci asam dari HIVE-18817
BUG-98388	RANGER-1828	Latihan pengodean yang baik-tambahkan header tambahan di ranger
BUG-98392	RANGER-2007	Tiket Kerberos ranger-tagsync gagal diperpanjang
BUG-98533	HBASE-19934, HBASE-20008	Pemulihan rekam jepret HBase gagal karena pengecualian penunjuk Null
BUG-98552	HBASE-18083, HBASE-18084	Membuat nomor thread bersih file besar / kecil dapat dikonfigurasi di HFileCleaner
BUG-98705	KNOX-1230	Banyak Permintaan Bersamaan untuk `Knox` menyebabkan Mangling URL
BUG-98711	T/A	Pengiriman NiFi tidak dapat menggunakan SSL dua arah tanpa service.xml modifikasi
BUG-98880	OOZIE-3199	Biarkan pembatasan properti sistem dapat dikonfigurasi
BUG-98931	ATLAS-2491	Perbarui Apache Hive hook untuk menggunakan notifikasi Atlas v2
BUG-98983	KNOX-1108	NiFiHaDispatch tidak gagal atas
BUG-99088	ATLAS-2511	Menyediakan opsi untuk mengimpor database / tabel secara selektif dari Apache Hive ke Atlas
BUG-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	Kueri spark gagal dengan pengecualian "java.io.FileNotFoundException: hive-site.xml (Izin ditolak)"
BUG-99239	ATLAS-2462	Impor sqoop untuk semua tabel melempar NPE tanpa tabel yang disediakan dalam perintah
BUG-99636	KNOX-1238	Memperbaiki Pengaturan Truststore Kustom untuk Gateway
BUG-99650	KNOX-1223	Proksi Zeppelin `Knox` tidak mengalihkan /api/tiket seperti yang diharapkan
BUG-99804	OOZIE-2858	HiveMain, ShellMain dan SparkMain tidak boleh menimpa properti dan mengonfigurasi file secara lokal
BUG-99805	OOZIE-2885	Menjalankan tindakan Spark seharusnya tidak perlu Apache Hive di classpath
BUG-99806	OOZIE-2845	Ganti kode berbasis pantulan yang mengatur variabel di HiveConf
BUG-99807	OOZIE-2844	Meningkatkan stabilitas tindakan Oozie ketika `log4j`.properties hilang atau tidak dapat dibaca
RMP-9995	AMBARI-22222	Beralih druid untuk menggunakan direktori /var/druid alih-alih /apps/druid pada disk lokal

Perubahan perilaku

Komponen Apache	Apache JIRA	Ringkasan	Rincian
Spark 2.3	N/A	Perubahan seperti yang didokumentasikan dalam catatan rilis Apache Spark	- Ada dokumen "Penghentian" dan panduan "Perubahan perilaku", https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - Untuk bagian SQL, terdapat panduan "Migrasi" terperinci lainnya (dari 2.2 ke 2.3), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	HIVE-12505	Pekerjaan Spark berhasil diselesaikan tetapi ada kesalahan penuh kuota disk HDFS	Skenario: Menjalankan insertwrite ketika kuota diatur pada folder Sampah pengguna yang menjalankan perintah. Perilaku Sebelumnya: Pekerjaan berhasil meskipun gagal memindahkan data ke Tong Sampah. Hasilnya dapat salah berisi beberapa data yang sebelumnya ada dalam tabel. Perilaku Baru: Ketika pemindahan ke folder Tong Sampah gagal, file dihapus secara permanen.
Kafka 1.0	N/A	Perubahan seperti yang didokumentasikan dalam catatan rilis Apache Spark	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Apache Hive / Ranger		Kebijakan hive ranger lainnya yang diperlukan untuk INSERT OVERWRITE	Skenario: Kebijakan hive ranger lainnya yang diperlukan untuk INSERT OVERWRITE Perilaku sebelumnya: Apache Hive INSERT MENIMPA kueri berhasil seperti biasa. Perilaku baru: Apache Hive INSERT OVERWRITEkueri secara tak terduga gagal setelah memutakhirkan ke HDP-2.6.x dengan kesalahan: Kesalahan saat menyusun pernyataan: GAGAL: HiveAccessControlException Izin ditolak: pengguna jdoe tidak memiliki izin MENULIS di /tmp/(state=42000,code=40000) Pada HDP-2.6.0, kueri Apache Hive INSERT OVERWRITE* memerlukan kebijakan Ranger URI untuk memungkinkan operasi tulis, bahkan jika pengguna telah mempunyai hak istimewa menulis yang diberikan melalui kebijakan HDFS. Solusi Sementara/Tindakan Pelanggan yang Diharapkan: 1. Buat kebijakan baru di bawah repositori Apache Hive. 2. Di menu pilihan tempat Anda melihat Database, pilih URI. 3. Perbarui jalur (Contoh: /tmp/*) 4. Tambahkan pengguna dan grup dan simpan. 5. Coba lagi kueri sisipkan.
HDFS	N/A	HDFS harus mendukung untuk beberapa `KMS Uris`	Perilaku Sebelumnya: properti dfs.encryption.key.provider.uri digunakan untuk mengonfigurasi jalur penyedia KMS. Perilaku Baru: dfs.encryption.key.provider.uri sekarang tidak digunakan lagi mendukung hadoop.security.key.provider.path untuk mengonfigurasi jalur penyedia KMS.
Zeppelin	ZEPPELIN-3271	Opsi untuk menonaktifkan penjadwal	Komponen terpengaruh: Zeppelin-Server Perilaku Sebelumnya: Dalam rilis Zeppelin sebelumnya, tidak ada opsi untuk menonaktifkan penjadwal. Perilaku Baru: Secara default, pengguna tidak akan lagi melihat penjadwal, karena dinonaktifkan secara default. Solusi Sementara/Tindakan Pelanggan yang Diharapkan: Jika Anda ingin mengaktifkan penjadwal, Anda harus menambahkan azeppelin.notebook.cron.enable dengan nilai true di bawah situs zeppelin kustom di pengaturan Zeppelin dari Ambari.

Masalah umum

Integrasi HDInsight dengan ADLS Gen 2 Ada dua masalah pada kluster HDInsight ESP menggunakan Azure Data Lake Storage Gen 2 dengan direktori dan izin pengguna:
1. Direktori beranda untuk pengguna tidak dibuat di Head Node 1. Sebagai solusinya, buat direktori secara manual dan ubah kepemilikan ke UPN pengguna masing-masing.
2. Izin pada direktori /hdp saat ini tidak diatur ke 751. Ini perlu diatur ke
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Spark 2.3
- [SPARK-23523][SQL] Hasil yang salah disebabkan oleh aturan OptimizeMetadataOnlyQuery
- [SPARK-23406] Bug di swa-gabung aliran-aliran
- Sampel notebook spark tidak tersedia saat Azure Data Lake Storage (Gen2) adalah penyimpanan default kluster.
Enterprise Security Package
- Spark Thrift Server tidak menerima koneksi dari klien ODBC. Langkah-langkah penanganan masalah:
  1. Tunggu sekitar 15 menit setelah pembuatan kluster.
  2. Periksa Ranger Antarmuka Pengguna untuk keberadaan hivesampletable_policy.
  3. Hidupkan ulang layanan Spark. Koneksi STS semestinya berjalan saat ini.
Solusi sementara untuk kegagalan pemeriksaan layanan Ranger
- RANGER-1607: Solusi sementara untuk kegagalan pemeriksaan layanan Ranger saat meningkatkan ke HDP 2.6.2 dari versi HDP sebelumnya.
  
  Catatan
  
  Hanya ketika Ranger diaktifkan SSL.
Masalah ini muncul ketika mencoba untuk meningkatkan ke HDP-2.6.1 dari versi HDP sebelumnya melalui Ambari. Ambari menggunakan curl call untuk melakukan pemeriksaan layanan ke layanan Ranger di Ambari. Jika versi JDK yang digunakan oleh Ambari adalah JDK-1.7, panggilan curl akan gagal dengan kesalahan di bawah ini:

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

Alasan kesalahan ini adalah versi tomcat yang digunakan di Ranger adalah Tomcat-7.0.7*. Menggunakan JDK-1.7 bertentangan dengan cipher default yang disediakan di Tomcat-7.0.7*.

Anda dapat mengatasi masalah ini dengan dua cara:
- Perbarui JDK yang digunakan di Ambari dari JDK-1.7 ke JDK-1.8 (lihat bagian Mengubah Versi JDK di Panduan Referensi Ambari).
- Jika Anda ingin terus mendukung lingkungan JDK-1.7:
  1. Tambahkan properti ranger.tomcat.ciphers di bagian ranger-admin-site di konfigurasi Ambari Ranger Anda dengan nilai di bawah ini:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. Jika lingkungan Anda dikonfigurasi untuk Ranger-KMS, tambahkan properti ranger.tomcat.ciphers di bagian situs theranger-kms di konfigurasi Ambari Ranger Anda dengan nilai di bawah ini:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Catatan

Nilai yang dicatat adalah contoh kerja dan mungkin tidak menunjukkan lingkungan Anda. Pastikan bahwa cara Anda mengatur properti ini cocok dengan bagaimana lingkungan Anda dikonfigurasi.
RangerUI: Lolos dari teks kondisi kebijakan yang dimasukkan dalam formulir kebijakan

Komponen terpengaruh: Ranger

Deskripsi Masalah

Jika pengguna ingin membuat kebijakan dengan kondisi kebijakan kustom dan ekspresi atau teks berisi karakter khusus, maka penegakan kebijakan tidak akan berfungsi. Karakter khusus dikonversi menjadi ASCII sebelum menyimpan kebijakan ke dalam database.

Karakter Khusus: & <> " ' '

Misalnya, kondisi tags.attributes['type']='abc' akan diubah menjadi berikut setelah kebijakan disimpan.

tags.attds[' dsds']=' cssdfs'

Anda dapat melihat kondisi kebijakan dengan karakter ini dengan membuka kebijakan dalam mode edit.

Solusi Sementara
- Opsi #1: Buat/Perbarui kebijakan melalui REST API Ranger
  
  URL REST: http://<host>:6080/service/plugins/policies
  
  Membuat kebijakan dengan kondisi kebijakan:
  
  Contoh berikut akan membuat kebijakan dengan tag sebagai `tags-test` dan menetapkannya ke grup `publik` dengan kondisi kebijakan astags.attr['type']=='abc' dengan memilih semua izin komponen hive seperti memilih, memperbarui, membuat, menghilangkan, mengubah, mengindeks, mengunci, semua.
  
  Contoh:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  Perbarui kebijakan yang ada dengan kondisi kebijakan:
  
  Contoh berikut akan memperbarui kebijakan dengan tag sebagai `tags-test` dan menetapkannya ke grup `publik` dengan kondisi kebijakan astags.attr['type']=='abc' dengan memilih semua izin komponen hive seperti memilih, memperbarui, membuat, menghilangkan, mengubah, mengindeks, mengunci, semua.
  
  URL REST: http://<host-name>:6080/service/plugins/policies/<policy-id>
  
  Contoh:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- Opsi #2: Menerapkan perubahan JavaScript
  
  Langkah-langkah untuk memperbarui file JS:
  1. Cari tahu file PermissionList.js di bawah /usr/hdp/current/ranger-admin
  2. Cari tahu definisi fungsi renderPolicyCondtion (baris no: 404).
  3. Hapus baris berikut dari fungsi tersebut yaitu di bawah fungsi tampilan(baris no: 434)
    
    val = _.escape(val);//Nomor Baris:460
    
    Setelah menghapus baris di atas, Ranger Antarmuka Pengguna akan memungkinkan Anda untuk membuat kebijakan dengan kondisi kebijakan yang dapat berisi karakter khusus dan evaluasi kebijakan akan berhasil untuk kebijakan yang sama.

Integrasi HDInsight dengan ADLS Gen 2: Direktori pengguna dan masalah izin dengan kluster ESP 1. Direktori beranda untuk pengguna tidak dibuat di Head Node 1. Solusinya adalah membuat ini secara manual dan mengubah kepemilikan ke UPN pengguna masing-masing. 2. Izin pada /hdp saat ini tidak diatur ke 751. Izin ini perlu diatur ke a. chmod 751 /hdp b. chmod –R 755 /hdp/apps

Penghentian

Portal OMS: Kami telah menghapus tautan dari halaman sumber daya HDInsight yang menunjuk ke portal OMS. Log Azure Monitor awalnya menggunakan portal sendiri yang disebut portal OMS untuk mengelola konfigurasinya dan menganalisis data yang dikumpulkan. Semua fungsionalitas dari portal ini telah dipindahkan ke portal Microsoft Azure di mana ia akan terus dikembangkan. HDInsight telah menghentikan dukungan untuk portal OMS. Pelanggan akan menggunakan integrasi log HDInsight Azure Monitor di portal Microsoft Azure.
Spark 2.3:Penghentian Rilis Spark 2.3.0

Meningkatkan

Semua fitur ini tersedia dalam HDInsight 3.6. Untuk mendapatkan versi Spark terbaru serta Server Kafka dan R (Layanan Pembelajaran Mesin), silakan pilih versi Spark, Kafka, Layanan ML ketika Anda membuat kluster HDInsight 3.6. Untuk mendapatkan dukungan untuk ADLS, Anda dapat memilih jenis penyimpanan ADLS sebagai opsi. Kluster yang ada tidak akan ditingkatkan ke versi ini secara otomatis.

Semua kluster baru yang dibuat setelah Juni 2018 akan secara otomatis mendapatkan 1000+ perbaikan bug di semua proyek sumber terbuka. Silakan ikuti panduan ini untuk praktik terbaik seputar peningkatan ke versi HDInsight yang lebih baru.

Bagikan melalui

Catatan rilis yang diarsipkan

Ringkasan

Informasi Rilis

Tanggal rilis: 22 Okt 2024

Diperbarui

Segera datang

Tanggal rilis: 30 Agu 2024

Tanggal rilis: 09 Agustus 2024

Pembaruan

Tanggal rilis: 05 Jul 2024

Memperbaiki masalah

Tanggal rilis: 19 Jun 2024

Memperbaiki masalah

Tanggal rilis: 16 Mei 2024

Tanggal rilis: 15 April 2024

Tanggal rilis: 15 Februari 2024

Fitur baru

Segera datang

Langkah berikutnya

Tanggal rilis: 10 Januari 2024

Memperbaiki masalah

Segera datang

Tanggal rilis: 26 Oktober 2023

Yang baru

Segera datang

Tanggal rilis: 7 September 2023

Segera hadir

Tanggal rilis: 25 Juli 2023

Apa yang baru

Segera datang

Tanggal rilis: 08 Mei 2023

Tanggal rilis: 28 Februari 2023

Selanjutnya

Tanggal rilis: 12 Desember 2022

Perbaikan bug sumber terbuka

Tanggal rilis: 10/08/2022

Fitur Baru

Tetap

Analitik log

Perbaikan bug lainnya

Perbaikan bug sumber terbuka

Perbaikan bug TEZ

Perbaikan bug Apache Hive

Masalah umum

Tanggal rilis: 10/08/2022

Fitur Baru

Tetap

Analitik log

Perbaikan bug lainnya

Perbaikan bug sumber terbuka

Perbaikan bug TEZ

Perbaikan bug Apache Hive

Masalah umum

Tanggal rilis: 03/06/2022

Sorotan rilis

Ambari

Perbaikan bug TEZ

Perbaikan bug HBase

Perbaikan bug Apache Hive

Tanggal rilis: 10/03/2022

Spark 3.1 sekarang tersedia secara umum

Kafka 2.4 sekarang tersedia secara umum

Tipe Data Peta di HWC sekarang didukung dalam HDInsight 4.0

Wilayah Baru

Perubahan backport OSS

Berikut adalah Apache JIRA dengan port belakang untuk rilis ini:

Pemberitahuan penghentian

Azure Virtual Machine Scale Sets on HDInsight

Penskalaan beban kerja Azure HDInsight HBase sekarang hanya akan didukung menggunakan skala manual

Tanggal rilis: 27/12/2021

Tanggal rilis: 27/07/2021

Fitur baru

Dukungan Azure HDInsight untuk Konektivitas Publik Terbatas umumnya tersedia pada 15 Oktober 2021

Dukungan Azure HDInsight untuk Azure Private Link umumnya tersedia pada 15 Okt 2021

Pengalaman integrasi Azure Monitor Baru (Pratinjau)

Penghentian

Perubahan perilaku

Kueri Interaktif HDInsight hanya mendukung Skala otomatis berbasis jadwal

Perubahan yang akan datang

Koreksi Harga untuk HdInsight `Dv2` Virtual Machines

`Eav4`-dukungan seri

Ukuran VM kluster default diubah menjadi `Ev3`-series

Perubahan ukuran VM kluster default ke `Ev3`-series