Arşivlenmiş sürüm notları

Makale
01/24/2025

Özet

Azure HDInsight, Azure'da açık kaynak analizi için kurumsal müşteriler arasında en popüler hizmetlerden biridir. HDInsight ve tüm HDInsight sürümleri hakkında güncel bilgiler için HDInsight Sürüm Notlarına abone olun.

Abone olmak için başlıktaki "izle" düğmesine tıklayın ve HDInsight Yayınları'na dikkat edin.

Piyasaya çıkış bilgileri

Sürüm tarihi: 22 Ekim 2024

Not

Bu, Kaynak Sağlayıcısı için bir Düzeltme /bakım sürümüdür. Daha fazla bilgi için bkz . Kaynak Sağlayıcısı.

Azure HDInsight, hata düzeltmeleri, performans iyileştirmeleri ve güvenlik düzeltmeleri sunmak için düzenli aralıklarla bakım güncelleştirmeleri yayınlar ve bu güncelleştirmelerle güncel kalmanızı sağlayarak en iyi performansı ve güvenilirliği garanti eder.

Bu sürüm notu aşağıdakiler için geçerlidir:

HDInsight 5.1 sürümü.

HDInsight 5.0 sürümü.

HDInsight 4.0 sürümü.

HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacak. Bu sürüm notu, 2409240625 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

HDInsight, aşamalı bölge dağıtımı içeren güvenli dağıtım uygulamalarını kullanır. Yeni sürümün veya yeni sürümün tüm bölgelerde kullanılabilir olması 10 iş günü kadar sürebilir.

İşletim sistemi sürümleri

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

Not

Ubuntu 18.04, Azure HDInsight Temmuz 2023 sürümü için Azure Linux ekibi tarafından Genişletilmiş Güvenlik Bakımı (ESM) kapsamında desteklenir.

İş yüküne özgü sürümler için bkz . HDInsight 5.x bileşen sürümleri.

Güncelleştirildi

Azure blob depolama için MSI tabanlı kimlik doğrulama desteği sağlanır.
- Azure HDInsight artık Azure Active Directory (AAD) ve yönetilen kimliklerden (MSI) yararlanarak Azure Blob depolamaya erişmek için OAuth tabanlı kimlik doğrulamasını destekliyor. Bu geliştirmeyle HDInsight, Azure blob depolamaya erişmek için kullanıcı tarafından atanan yönetilen kimlikleri kullanır. Daha fazla bilgi için bkz . Azure kaynakları için yönetilen kimlikler.
HDInsight hizmeti, Azure temel yük dengeleyicinin kullanımdan kaldırılması duyurusu nedeniyle tüm küme yapılandırmaları için standart yük dengeleyicileri kullanmaya geçti.

Not

Bu değişiklik tüm bölgelerde kullanılabilir. Bu değişikliği kullanmak için kümenizi yeniden oluşturun. Herhangi bir yardım için desteğe başvurun.

Önemli

Küme oluşturma sırasında kendi Sanal Ağ (özel VNet) kullanırken, bu değişiklik etkinleştirildikten sonra küme oluşturma işleminin başarılı olmayacağı önerilir. Kümeyi yeniden oluşturmak için geçiş kılavuzuna başvurmanızı öneririz. Herhangi bir yardım için desteğe başvurun.

Çok yakında

Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir.
- Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.
HDInsight 4.0 ve HDInsight 5.0 için Kullanımdan Kaldırma Bildirimleri.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap.

Sizi dinliyoruz: Buraya daha fazla fikir ve başka konu ekleyebilir ve bunlara oy vererek HDInsight Fikirleri'ne göz atın ve AzureHDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edin.

Not

Müşterilerin en iyi açık kaynak güncelleştirmelerini, Azure güncelleştirmelerini ve güvenlik düzeltmelerini getirirken HDInsight Görüntülerinin en son sürümlerini kullanmalarını öneririz. Daha fazla bilgi için bkz . En iyi yöntemler.

Yayın tarihi: 30 Ağustos 2024

Not

Bu, Kaynak Sağlayıcısı için bir Düzeltme /bakım sürümüdür. Daha fazla bilgi için bkz . Kaynak Sağlayıcısı.

Bu sürüm notu aşağıdakiler için geçerlidir:

HDInsight 5.1 sürümü.

HDInsight 5.0 sürümü.

HDInsight 4.0 sürümü.

HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacak. Bu sürüm notu, 2407260448 resim numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

Not

Ubuntu 18.04, Azure HDInsight Temmuz 2023 sürümü için Azure Linux ekibi tarafından Genişletilmiş Güvenlik Bakımı (ESM) kapsamında desteklenir.

İş yüküne özgü sürümler için bkz . HDInsight 5.x bileşen sürümleri.

Sorun düzeltildi

Varsayılan VERITABANı hata düzeltmesi.

Yakında

Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir.
- Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.
HDInsight 4.0 ve HDInsight 5.0 için Kullanımdan Kaldırma Bildirimleri.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap.

Not

Yayın tarihi: 09 Ağustos 2024

Bu sürüm notu aşağıdakiler için geçerlidir:

HDInsight 5.1 sürümü.

HDInsight 5.0 sürümü.

HDInsight 4.0 sürümü.

HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacak. Bu sürüm notu, 2407260448 resim numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

Not

Ubuntu 18.04, Azure HDInsight Temmuz 2023 sürümü için Azure Linux ekibi tarafından Genişletilmiş Güvenlik Bakımı (ESM) kapsamında desteklenir.

İş yüküne özgü sürümler için bkz . HDInsight 5.x bileşen sürümleri.

Güncelleştirmeler

HDInsight'ta Log Analytics için Azure İzleyici Aracısı'nın eklenmesi

Yeni Azure İzleyici deneyiminin SystemMSI (önizleme) kullanımdan kaldırılması göz önüne alındığında Log analytics için ve Otomatik DCR'nin eklenmesi.

Not

Geçerli Görüntü numarası 2407260448, log analytics için portalı kullanan müşteriler varsayılan Azure İzleyici Aracısı deneyimine sahip olur. Azure İzleyici deneyimine (önizleme) geçmek isterseniz bir destek isteği oluşturarak kümelerinizi eski görüntülere sabitleyebilirsiniz.

Sürüm tarihi: 05 Temmuz 2024

Not

Bu, Kaynak Sağlayıcısı için bir Düzeltme /bakım sürümüdür. Daha fazla bilgi için bkz. Kaynak Sağlayıcısı

Düzeltilen sorunlar

HOBO etiketleri kullanıcı etiketlerinin üzerine yazılır.
- HOBO etiketleri, HDInsight kümesi oluşturma işleminde alt kaynaklardaki kullanıcı etiketlerinin üzerine yazılır.

Sürüm tarihi: 19 Haziran 2024

Bu sürüm notu aşağıdakiler için geçerlidir:

HDInsight 5.1 sürümü.

HDInsight 5.0 sürümü.

HDInsight 4.0 sürümü.

HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacak. Bu sürüm notu, 2406180258 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

Not

Ubuntu 18.04, Azure HDInsight Temmuz 2023 sürümü için Azure Linux ekibi tarafından Genişletilmiş Güvenlik Bakımı (ESM) kapsamında desteklenir.

İş yüküne özgü sürümler için bkz . HDInsight 5.x bileşen sürümleri.

Düzeltilen sorunlar

Güvenlik geliştirmeleri
- SFI gereksinimleriyle uyumlu kümeler için Etiketler'i kullanma geliştirmeleri.
- SFI gereksinimlerine göre yoklama betiklerinde iyileştirmeler.
HDInsight Kaynak Sağlayıcısı için Sistem Tarafından Yönetilen Kimlik desteği ile HDInsight Log Analytics geliştirmeleri.
Eski görüntünün aracı sürümünü yükseltmek mdsd için yeni etkinlik eklendi (2024'te oluşturuldu).
MSAL Geçişi için devam eden geliştirmelerin bir parçası olarak ağ geçidinde MISE'yi etkinleştirme.
Spark Thrift Sunucusu'nu Httpheader hiveConf Jetty HTTP ConnectionFactory'ye dahil edin.
RANGER-3753 ve RANGER-3593'e geri dön.

setOwnerUser Ranger 2.3.0 sürümünde verilen uygulama Hive tarafından kullanılırken kritik bir regresyon sorununa sahiptir. Ranger 2.3.0'da HiveServer2 ilkeleri değerlendirmeye çalıştığında Ranger İstemcisi, temelde bu tabloya erişimi denetlemek için depolamaya çağrı yapan setOwnerUser işlevindeki Meta veri deposunu çağırarak hive tablosunun sahibini almaya çalışır. Bu sorun, Hive 2.3.0 Ranger üzerinde çalıştığında sorguların yavaş çalışmasına neden olur.

Yeni bölgeler eklendi

Kuzey İtalya
Orta İsrail
İspanya Orta
Meksika Orta
Jio Orta Hindistan

Haziran 2024 Arşiv Notlarına Ekle

Yakında

Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir.
- Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.
HDInsight 4.0 ve HDInsight 5.0 için Kullanımdan Kaldırma Bildirimleri.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap.

Not

Sürüm tarihi: 16 Mayıs 2024

Bu sürüm notu aşağıdakiler için geçerlidir:

HDInsight 5.0 sürümü.

HDInsight 4.0 sürümü.

HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacak. Bu sürüm notu, 2405081840 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

Not

Ubuntu 18.04, Azure HDInsight Temmuz 2023 sürümü için Azure Linux ekibi tarafından Genişletilmiş Güvenlik Bakımı (ESM) kapsamında desteklenir.

İş yüküne özgü sürümler için bkz . HDInsight 5.x bileşen sürümleri.

Düzeltildi sorunları

SFI girişimi kapsamında Keyvault belirtecini almak için ağ geçidine API eklendi.
Yeni Günlük izleyici HDInsightSparkLogs tablosunda, günlük türü SparkDriverLogiçin bazı alanlar eksikti. Örneğin, LogLevel & Message. Bu sürüm, eksik alanları şemalara ekler ve için SparkDriverLogsabit biçimlendirme ekler.
Livy günlükleri, Livy günlük kaynağı yolu ve yapılandırmalarda günlük ayrıştırma regex'i SparkLivyLog ile ilgili bir sorundan kaynaklanan Log Analytics izleme SparkDriverLog tablosunda kullanılamaz.
AdLS 2. Nesil'i birincil depolama hesabı olarak kullanan tüm HDInsight kümeleri, uygulama kodu içinde kullanılan Azure kaynaklarına (örneğin SQL, Keyvaults) MSI tabanlı erişimden yararlanabilir.

Çok yakında

Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir.
- Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.
HDInsight 4.0 ve HDInsight 5.0 için Kullanımdan Kaldırma Bildirimleri.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap.

Not

Sürüm tarihi: 15 Nisan 2024

Bu sürüm notu HDInsight 5.1 sürümü için geçerlidir.

HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacak. Bu sürüm notu, 2403290825 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

Not

Ubuntu 18.04, Azure HDInsight Temmuz 2023 sürümü için Azure Linux ekibi tarafından Genişletilmiş Güvenlik Bakımı (ESM) kapsamında desteklenir.

İş yüküne özgü sürümler için bkz . HDInsight 5.x bileşen sürümleri.

Düzeltildi sorunları

Ambari DB, Hive Ambar Denetleyicisi (HWC), Spark, HDFS için hata düzeltmeleri
HDInsightSparkLogs için Log Analytics modülü için hata düzeltmeleri
HDInsight Kaynak Sağlayıcısı için CVE Düzeltmeleri.

Yakında

Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir.
- Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.
HDInsight 4.0 ve HDInsight 5.0 için Kullanımdan Kaldırma Bildirimleri.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap.

Not

Sürüm tarihi: 15 Şubat 2024

Bu sürüm HDInsight 4.x ve 5.x sürümleri için geçerlidir. HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacak. Bu sürüm, 2401250802 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

Not

Ubuntu 18.04, Azure HDInsight Temmuz 2023 sürümü için Azure Linux ekibi tarafından Genişletilmiş Güvenlik Bakımı (ESM) kapsamında desteklenir.

İş yüküne özgü sürümler için bkz.

HDInsight 5.x bileşen sürümleri

Yeni özellikler

Enterprise güvenlik paketi ile Spark 3.3.0'da (HDInsight sürüm 5.1) Spark SQL için Apache Ranger desteği. Bu konuda burada daha fazla bilgi edinebilirsiniz.

Düzeltildi sorunları

Ambari ve Oozie bileşenlerinden güvenlik düzeltmeleri

Çok yakında

Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir.
- Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap

Sizi dinliyoruz: Buraya daha fazla fikir ve başka konu ekleyebilir ve bunlara oy vererek hdinsight fikirleri ve AzureHDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edebilirsiniz

Not

Sonraki adımlar

Azure HDInsight, Azure'da açık kaynak analizi için kurumsal müşteriler arasında en popüler hizmetlerden biridir. Sürüm notlarına abone olmak istiyorsanız bu GitHub deposundaki sürümleri izleyin.

Sürüm tarihi: 10 Ocak 2024

Bu düzeltme sürümü HDInsight 4.x ve 5.x sürümleri için geçerlidir. HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacak. Bu sürüm, 2401030422 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

Not

Ubuntu 18.04, Azure HDInsight Temmuz 2023 sürümü için Azure Linux ekibi tarafından Genişletilmiş Güvenlik Bakımı (ESM) kapsamında desteklenir.

İş yüküne özgü sürümler için bkz.

HDInsight 5.x bileşen sürümleri

Düzeltilen sorunlar

Ambari ve Oozie bileşenlerinden güvenlik düzeltmeleri

Çok yakında

Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir.
- Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap

Not

Sürüm tarihi: 26 Ekim 2023

Bu sürüm, HDInsight 4.x ve 5.x HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacaktır. Bu sürüm, 2310140056 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

İş yüküne özgü sürümler için bkz.

HDInsight 5.x bileşen sürümleri

Yenilikler

HDInsight, 1 Kasım 2023'den itibaren HDInsight 5.1'in Genel kullanılabilirliğini duyurur. Bu sürüm, açık kaynak bileşenlerine ve Microsoft tümleştirmelerine tam yığın yenilemesi getirir.
- En Son Açık Kaynak Sürümleri – HDInsight 5.1 , kullanılabilir en son kararlı açık kaynak sürümüyle birlikte gelir. Müşteriler en son açık kaynak özelliklerinden, Microsoft performans iyileştirmelerinden ve Hata düzeltmelerinden yararlanabilir.
- Güvenli – En son sürümler, hem açık kaynak güvenlik düzeltmeleri hem de Microsoft tarafından yapılan güvenlik iyileştirmeleri olan en son güvenlik düzeltmeleriyle birlikte gelir.
- Düşük TCO – Performans geliştirmeleriyle müşteriler, gelişmiş otomatik ölçeklendirmenin yanı sıra işletim maliyetini düşürebilir.
Güvenli depolama için küme izinleri
- Müşteriler( küme oluşturma sırasında) depolama hesabını bağlamak için HDInsight küme düğümleri için güvenli bir kanalın kullanılıp kullanılmayacağını belirtebilir.
Özel Sanal Ağlarla HDInsight Kümesi Oluşturma.
- HDInsight kümelerinin genel güvenlik duruşunu geliştirmek için, özel VNET'leri kullanan HDInsight kümelerinin, kullanıcının oluşturma işlemlerini gerçekleştirme iznine Microsoft Network/virtualNetworks/subnets/join/action sahip olması gerektiğinden emin olması gerekir. Bu denetim etkin değilse müşteri oluşturma hatalarıyla karşılaşabilir.
ESP olmayan ABFS kümeleri [Word Okunabilir için Küme İzinleri]
- ESP olmayan ABFS kümeleri, Hadoop grubu olmayan kullanıcıların depolama işlemleri için Hadoop komutlarını yürütmesini kısıtlar. Bu değişiklik, küme güvenlik duruşunu geliştirir.
Satır içi kota güncelleştirmesi.
- Şimdi doğrudan Kotam sayfasından kota artışı isteyebilirsiniz; doğrudan API çağrısı çok daha hızlıdır. API çağrısının başarısız olması durumunda kota artışı için yeni bir destek isteği oluşturabilirsiniz.

Çok yakında

Kümelerin güvenlik duruşunu geliştirmek için küme adının uzunluk üst sınırı 59 karakterden 45'e değiştirilecektir. Bu değişiklik, yaklaşan sürümden itibaren tüm bölgelere dağıtılacaktır.
Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir.
- Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap

Not

Bu sürüm, MSRC tarafından 12 Eylül 2023'te yayımlanan aşağıdaki CVE'leri ele alır. Eylem, en son görüntü 2308221128 veya 2310140056 güncelleştirmektir. Müşterilerin buna göre planlamaları tavsiye edilir.

CVE	Önem	CVE Başlık	Açıklama
CVE-2023-38156	Önemli	Azure HDInsight Apache Ambari Ayrıcalıkların Yükseltilmesi Güvenlik Açığı	2308221128 veya 2310140056 görüntülerinde yer alır
CVE-2023-36419	Önemli	Azure HDInsight Apache Oozie İş Akışı Zamanlayıcı Ayrıcalıkların Yükseltilmesi Güvenlik Açığı	Kümelerinizde Betik eylemi uygulayın veya 2310140056 görüntüsüne güncelleştirin

Not

Yayın tarihi: 7 Eylül 2023

Bu sürüm, HDInsight 4.x ve 5.x HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacaktır. Bu sürüm, 2308221128 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

İş yüküne özgü sürümler için bkz.

HDInsight 5.x bileşen sürümleri

Önemli

Bu sürüm, MSRC tarafından 12 Eylül 2023'te yayımlanan aşağıdaki CVE'leri ele alır. Eylem, en son görüntü 2308221128 güncelleştirmektir. Müşterilerin buna göre planlamaları tavsiye edilir.

CVE	Önem	CVE Başlık	Açıklama
CVE-2023-38156	Önemli	Azure HDInsight Apache Ambari Ayrıcalıkların Yükseltilmesi Güvenlik Açığı	2308221128 görüntüye dahil
CVE-2023-36419	Önemli	Azure HDInsight Apache Oozie İş Akışı Zamanlayıcı Ayrıcalıkların Yükseltilmesi Güvenlik Açığı	Kümelerinize Betik uygulama eylemi

Yakında

Kümelerin güvenlik duruşunu geliştirmek için küme adının uzunluk üst sınırı 59 karakterden 45'e değiştirilecektir. Bu değişiklik 30 Eylül 2023'e kadar uygulanacaktır.
Güvenli depolama için küme izinleri
- Müşteriler (küme oluşturma sırasında) HDInsight küme düğümleri için depolama hesabıyla iletişim kurmak için güvenli bir kanalın kullanılıp kullanılmayacağını belirtebilir.
Satır içi kota güncelleştirmesi.
- İstek kotaları doğrudan Kotam sayfasından artırılır ve bu doğrudan API çağrısı olur ve bu daha hızlıdır. APdI çağrısı başarısız olursa müşterilerin kota artışı için yeni bir destek isteği oluşturması gerekir.
Özel Sanal Ağlarla HDInsight Kümesi Oluşturma.
- HDInsight kümelerinin genel güvenlik duruşunu geliştirmek için, özel VNET'leri kullanan HDInsight kümelerinin, kullanıcının oluşturma işlemlerini gerçekleştirme iznine Microsoft Network/virtualNetworks/subnets/join/action sahip olması gerektiğinden emin olması gerekir. 30 Eylül 2023'e kadar küme oluşturma hatalarından kaçınmak için bu değişikliğin zorunlu bir denetim olması nedeniyle müşterilerin buna göre planlamaları gerekir. 
Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir. Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.
ESP OLMAYAN ABFS kümeleri [Word Okunabilir için Küme İzinleri]
- ESP olmayan ABFS kümelerinde, Hadoop dışı grup kullanıcılarının depolama işlemleri için Hadoop komutlarını yürütmesini kısıtlayan bir değişiklik yapmayı planlayın. Küme güvenlik duruşunu geliştirmek için bu değişiklik. Müşterilerin güncelleştirmeleri 30 Eylül 2023'e kadar planlamaları gerekir.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap

Burada daha fazla teklif, fikir ve diğer konu başlığı ekleyebilir ve bunlara oy verebilirim: HDInsight Topluluğu (azure.com)...

Not

Sürüm tarihi: 25 Temmuz 2023

Bu sürüm, HDInsight 4.x ve 5.x HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir olacaktır. Bu sürüm, 2307201242 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

İş yüküne özgü sürümler için bkz.

HDInsight 5.x bileşen sürümleri

Yenilikler

HDInsight 5.1 artık ESP kümesiyle destekleniyor.
Ranger 2.3.0 ve Oozie 5.2.1'in yükseltilmiş sürümü artık HDInsight 5.1'in bir parçasıdır
Spark 3.3.1 (HDInsight 5.1) kümesi, Etkileşimli Sorgu (HDInsight 5.1) kümesiyle birlikte çalışan Hive Warehouse Connector (HWC) 2.1 ile birlikte gelir.
Ubuntu 18.04, Azure HDInsight temmuz 2023 sürümü için Azure Linux ekibi tarafından ESM (Genişletilmiş Güvenlik Bakımı) kapsamında desteklenir.

Önemli

Bu sürüm, MSRC tarafından 8 Ağustos 2023'te yayımlanan aşağıdaki CVE'leri ele alır. Eylem, en son görüntü 2307201242 güncelleştirmektir. Müşterilerin buna göre planlamaları tavsiye edilir.

CVE	Önem	CVE Başlık
CVE-2023-35393	Önemli	Azure Apache Hive Kimlik Sahtekarlığı Güvenlik Açığı
CVE-2023-35394	Önemli	Azure HDInsight Jupyter Not Defteri Kimlik Sahtekarlığı Güvenlik Açığı
CVE-2023-36877	Önemli	Azure Apache Oozie Kimlik Sahtekarlığı Güvenlik Açığı
CVE-2023-36881	Önemli	Azure Apache Ambari Kimlik Sahtekarlığı Güvenlik Açığı
CVE-2023-38188	Önemli	Azure Apache Hadoop Kimlik Sahtekarlığı Güvenlik Açığı

Çok yakında

Kümelerin güvenlik duruşunu geliştirmek için küme adının uzunluk üst sınırı 59 karakterden 45'e değiştirilecektir. Müşterilerin güncelleştirmeleri 30 Eylül 2023'e kadar planlamaları gerekir.
Güvenli depolama için küme izinleri
- Müşteriler (küme oluşturma sırasında) HDInsight küme düğümleri için depolama hesabıyla iletişim kurmak için güvenli bir kanalın kullanılıp kullanılmayacağını belirtebilir.
Satır içi kota güncelleştirmesi.
- İstek kotaları doğrudan Kotam sayfasından artırılır ve bu doğrudan API çağrısı olur ve bu daha hızlıdır. API çağrısı başarısız olursa müşterilerin kota artışı için yeni bir destek isteği oluşturması gerekir.
Özel Sanal Ağlarla HDInsight Kümesi Oluşturma.
- HDInsight kümelerinin genel güvenlik duruşunu geliştirmek için, özel VNET'leri kullanan HDInsight kümelerinin, kullanıcının oluşturma işlemlerini gerçekleştirme iznine Microsoft Network/virtualNetworks/subnets/join/action sahip olması gerektiğinden emin olması gerekir. 30 Eylül 2023'e kadar küme oluşturma hatalarından kaçınmak için bu değişikliğin zorunlu bir denetim olması nedeniyle müşterilerin buna göre planlamaları gerekir. 
Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir. Hizmet kesintilerini önlemek için, 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.
ESP OLMAYAN ABFS kümeleri [Word Okunabilir için Küme İzinleri]
- ESP olmayan ABFS kümelerinde, Hadoop dışı grup kullanıcılarının depolama işlemleri için Hadoop komutlarını yürütmesini kısıtlayan bir değişiklik yapmayı planlayın. Küme güvenlik duruşunu geliştirmek için bu değişiklik. Müşterilerin güncelleştirmeleri 30 Eylül 2023'e kadar planlamaları gerekir.

Başka sorularınız varsa Azure Desteği'ne başvurun.

Azure HDInsight'ta HDInsight hakkında bize her zaman soru sorabilirsiniz - Microsoft Soru-Cevap

Buraya daha fazla teklif, fikir ve diğer konu ekleyebilir ve bunlara oy verebilirim - HDInsight Topluluğu (azure.com) ve X'te daha fazla güncelleştirme için bizi takip edin

Not

Sürüm tarihi: 08 Mayıs 2023

Bu sürüm, HDInsight 4.x ve 5.x HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir. Bu sürüm, 2304280205 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

İş yüküne özgü sürümler için bkz.

HDInsight 5.x bileşen sürümleri

Azure HDInsight 5.1 ile güncelleştirildi
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. Apache Spark 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0.5
8. Apache Kafka 3.2.0
Not
- Tüm bileşenler Hadoop 3.3.4 ve ZK 3.6.3 ile tümleştirilmiştir
- Yukarıdaki tüm yükseltilen bileşenler artık genel önizleme için ESP olmayan kümelerde kullanılabilir.

HDInsight için Gelişmiş Otomatik Ölçeklendirme

Azure HDInsight, Otomatik Ölçeklendirme'de önemli iyileştirmeler kararlılığı ve gecikme süresi yaptı. Önemli değişiklikler arasında ölçeklendirme kararlarına yönelik geliştirilmiş geri bildirim döngüsü, ölçeklendirme için gecikme süresinde önemli iyileştirme ve yetkisi alınan düğümleri yeniden alma desteği yer alır. Geliştirmeler hakkında daha fazla bilgi edinin, kümenizi özel olarak yapılandırma ve gelişmiş otomatik ölçeklendirmeye geçirme. Geliştirilmiş Otomatik Ölçeklendirme özelliği, desteklenen tüm bölgelerde 17 Mayıs 2023 tarihinden itibaren kullanılabilir.
Apache Kafka 2.4.1 için Azure HDInsight ESP genel kullanıma sunuldu.

Apache Kafka 2.4.1 için Azure HDInsight ESP, Nisan 2022'den beri genel önizleme aşamasındadır. CVE düzeltmelerinde ve kararlılığında önemli iyileştirmeler yaptıktan sonra Azure HDInsight ESP Kafka 2.4.1 genel kullanıma sunuldu ve üretim iş yükleri için hazır hale geldi. Yapılandırma ve geçirme hakkında ayrıntılı bilgi edinin.
HDInsight için Kota Yönetimi

HDInsight şu anda bölgesel düzeyde müşteri aboneliklerine kota ayırmaktadır. Müşterilere ayrılan çekirdekler geneldir ve VM ailesi düzeyinde (örneğin, Dv2, Ev3, Eav4vb.) sınıflandırılmamıştır.

HDInsight, aile düzeyindeki VM'ler için kotaların ayrıntılarını ve sınıflandırmasını sağlayan geliştirilmiş bir görünüm sunar. Bu özellik, müşterilerin vm ailesi düzeyinde bir bölge için geçerli ve kalan kotaları görüntülemesine olanak tanır. Gelişmiş görünüm sayesinde müşteriler, kotaları planlamak ve daha iyi bir kullanıcı deneyimi için daha zengin görünürlüğe sahiptir. Bu özellik şu anda Doğu ABD EUAP bölgesi için HDInsight 4.x ve 5.x'te kullanılabilir. Daha sonra izleyebileceğiniz diğer bölgeler.

Daha fazla bilgi için bkz. Azure HDInsight'ta küme kapasitesi planlaması | Microsoft Learn

Polonya Merkezi

Kümelerin güvenlik duruşunu geliştirmek için küme adının uzunluk üst sınırı 59 karakterden 45'e değişir.
Güvenli depolama için küme izinleri
- Müşteriler (küme oluşturma sırasında) HDInsight küme düğümleri için depolama hesabıyla iletişim kurmak için güvenli bir kanalın kullanılıp kullanılmayacağını belirtebilir.
Satır içi kota güncelleştirmesi.
- İstek kotaları doğrudan Kotam sayfasından artırılır. Bu, doğrudan API çağrısıdır ve bu daha hızlıdır. API çağrısı başarısız olursa müşterilerin kota artışı için yeni bir destek isteği oluşturması gerekir.
Özel Sanal Ağlarla HDInsight Kümesi Oluşturma.
- HDInsight kümelerinin genel güvenlik duruşunu geliştirmek için, özel VNET'leri kullanan HDInsight kümelerinin, kullanıcının oluşturma işlemlerini gerçekleştirme iznine Microsoft Network/virtualNetworks/subnets/join/action sahip olması gerektiğinden emin olması gerekir. Küme oluşturma hatalarını önlemek için bu zorunlu bir denetim olacağından müşterilerin buna göre planlamaları gerekir.
Temel ve Standart A serisi VM'lerin Kullanımdan Kaldırılması.
- 31 Ağustos 2024'te Temel ve Standart A serisi VM'leri devre dışı bırakacağız. Bu tarihten önce, iş yüklerinizi vCPU başına daha fazla bellek ve katı hal sürücülerinde (SSD) daha hızlı depolama sağlayan Av2 serisi VM'lere geçirmeniz gerekir. Hizmet kesintilerini önlemek için 31 Ağustos 2024'ten önce iş yüklerinizi Temel ve Standart A serisi VM'lerden Av2 serisi VM'lere geçirin.
ESP OLMAYAN ABFS kümeleri [Dünya Okunabilir için Küme İzinleri]
- ESP olmayan ABFS kümelerinde, Hadoop dışı grup kullanıcılarının depolama işlemleri için Hadoop komutlarını yürütmesini kısıtlayan bir değişiklik yapmayı planlayın. Küme güvenlik duruşunu geliştirmek için bu değişiklik. Müşterilerin güncelleştirmeleri planlamaları gerekir.

Sürüm tarihi: 28 Şubat 2023

Bu sürüm HDInsight 4.0 için geçerlidir. ve 5.0, 5.1. HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir. Bu sürüm, 2302250400 görüntü numarası için geçerlidir. Görüntü numarası nasıl denetlenir?

İşletim sistemi sürümleri

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

İş yüküne özgü sürümler için bkz.

HDInsight 5.x bileşen sürümleri

Önemli

Microsoft, geçerli sürümde düzeltilen CVE-2023-23408'i yayımladı ve müşterilerin kümelerini en son görüntüye yükseltmeleri tavsiye edilir.

HDInsight 5.1

HDInsight 5.1'in yeni bir sürümünü kullanıma sunulmaya başladık. HdInsight 5.1'de artımlı sürümler olarak eklenen tüm yeni açık kaynak sürümleri.

Daha fazla bilgi için bkz . HDInsight 5.1.0 sürümü

Kafka 3.2.0 Yükseltmesi (Önizleme)

Kafka 3.2.0 bazı önemli yeni özellikler/geliştirmeler içerir.
- Zookeeper 3.6.3 sürümüne yükseltildi
- Kafka Streams desteği
- Kafka üreticisi için varsayılan olarak etkin olan daha güçlü teslim garantileri.
- log4j 1.x ile reload4jdeğiştirildi.
- Bölümü kurtarmak için bölüm liderine bir ipucu gönderin.
- JoinGroupRequest ve LeaveGroupRequest bir nedeni vardır.
- Aracı sayısı ölçümleri eklendi8.
- Yansıtma Maker2 geliştirmeleri.

HBase 2.4.11 Yükseltmesi (Önizleme)

Bu sürüm, blok önbelleği için yeni önbelleğe alma mekanizması türlerinin eklenmesi, tabloyu HBase WEB kullanıcı arabiriminden değiştirme hbase:meta table ve görüntüleme hbase:meta gibi yeni özelliklere sahiptir.

Phoenix 5.1.2 Yükseltmesi (Önizleme)

Phoenix sürümü bu sürümde 5.1.2 sürümüne yükseltildi. Bu yükseltme Phoenix Sorgu Sunucusu'nu içerir. Phoenix Sorgu Sunucusu standart Phoenix JDBC sürücüsünü proxy'ler ve bu JDBC sürücüsünü çağırmak için geriye dönük uyumlu bir kablo protokolü sağlar.

Ambari CVE'leri

Birden çok Ambari CV'leri sabitlenir.

Not

ESP, bu sürümde Kafka ve HBase için desteklenmez.

Sırada ne var?

Otomatik ölçeklendirme
- Geliştirilmiş gecikme süresi ve çeşitli geliştirmelerle otomatik ölçeklendirme
Küme adı değişiklik sınırlaması
- Küme adının maksimum uzunluğu Genel, Azure Çin ve Azure Kamu'de 59'dan 45'e değişir.
Güvenli depolama için küme izinleri
- Müşteriler (küme oluşturma sırasında) HDInsight küme düğümleri için depolama hesabıyla iletişim kurmak için güvenli bir kanalın kullanılıp kullanılmayacağını belirtebilir.
ESP OLMAYAN ABFS kümeleri [Dünya Okunabilir için Küme İzinleri]
- ESP olmayan ABFS kümelerinde, Hadoop dışı grup kullanıcılarının depolama işlemleri için Hadoop komutlarını yürütmesini kısıtlayan bir değişiklik yapmayı planlayın. Küme güvenlik duruşunu geliştirmek için bu değişiklik. Müşterilerin güncelleştirmeleri planlamaları gerekir.
Açık kaynak yükseltmeleri
- Apache Spark 3.3.0 ve Hadoop 3.3.4, HDInsight 5.1 üzerinde geliştirilme aşamasındadır ve birçok önemli yeni özellik, performans ve diğer geliştirmeleri içerir.

Not

Sürüm tarihi: 12 Aralık 2022

Bu sürüm HDInsight 4.0 için geçerlidir. ve 5.0 HDInsight sürümü birkaç gün içinde tüm bölgelerde kullanılabilir hale getirilir.

İşletim sistemi sürümleri

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Çekirdeği 5.4

Log Analytics - Müşteriler en son OMS sürüm 14.19'u almak için klasik izlemeyi etkinleştirebilir. Eski sürümleri kaldırmak için klasik izlemeyi devre dışı bırakın ve etkinleştirin.
Ambari kullanıcı arabirimi etkinlik dışı olduğundan oturumu kapatın. Daha fazla bilgi için buraya bakın
Spark - Spark 3.1.3'ün yeni ve iyileştirilmiş bir sürümü bu sürüme dahildir. TPC-DS karşılaştırmasını kullanarak Apache Spark 3.1.2(önceki sürüm) ve Apache Spark 3.1.3(geçerli sürüm) test ettik. Test, 1 TB iş yükünde Apache Spark için E8 V3 SKU kullanılarak gerçekleştirildi. Apache Spark 3.1.3 (geçerli sürüm), aynı donanım belirtimlerini kullanan TPC-DS sorguları için toplam sorgu çalışma zamanında Apache Spark 3.1.2'den (önceki sürüm) %40'ın üzerinde performans gösterdi. Microsoft Spark ekibi, Azure HDInsight ile Azure Synapse'te kullanılabilir iyileştirmeler ekledi. Daha fazla bilgi için bkz. Azure Synapse'te Apache Spark 3.1.2 performans güncelleştirmeleriyle veri iş yüklerinizi hızlandırma

Katar Merkezi
Almanya Kuzey

HDInsight, Azul Zulu Java JDK 8'den Adoptium Temurin JDK 8, yüksek kaliteli TCK sertifikalı çalışma zamanlarını ve Java ekosisteminde kullanılmak üzere ilişkili teknolojiyi destekleyen öğesine taşındı.
HDInsight'a reload4jgeçti. Değişiklikler log4j şunlar için geçerlidir:
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix

BUNDAN sonra TLS1.2'yi uygulamak için HDInsight ve önceki sürümler platformda güncelleştirilir. HDInsight üzerinde herhangi bir uygulama çalıştırıyorsanız ve bunlar TLS 1.0 ve 1.1 kullanıyorsa, hizmetlerde herhangi bir kesinti olmaması için TLS 1.2'ye yükseltin.

Daha fazla bilgi için bkz . Aktarım Katmanı Güvenliği'nin (TLS) etkinleştirilmesi

30 Kasım 2022'den itibaren Ubuntu 16.04 LTS üzerinde Azure HDInsight kümeleri için destek sonu. HDInsight, 27 Haziran 2021'den itibaren Ubuntu 18.04 kullanılarak küme görüntülerinin yayımlanmaya başlar. Ubuntu 16.04 kullanarak küme çalıştıran müşterilerimizin kümelerini 30 Kasım 2022'ye kadar en son HDInsight görüntüleriyle yeniden oluşturmalarını öneririz.

Kümenin Ubuntu sürümünü denetleme hakkında daha fazla bilgi için buraya bakın

Terminalde "lsb_release -a" komutunu yürütür.
Çıktıdaki "Description" özelliğinin değeri "Ubuntu 16.04 LTS" ise, bu güncelleştirme küme için geçerlidir.

Kafka ve HBase (yazma erişimi) kümeleri için Kullanılabilirlik Alanları seçimi desteği.

Açık kaynak hata düzeltmeleri

Hive hata düzeltmeleri

Hata Düzeltmeleri	Apache JIRA
HIVE-26127	INSERT OVERWRITE hatası - Dosya Bulunamadı
HIVE-24957	Alt sorguda bağıntı koşulunda COALESCE olduğunda yanlış sonuçlar
HIVE-24999	HiveSubQueryRemoveRule, birden çok bağıntı ile IN alt sorgusu için geçersiz plan oluşturuyor
HIVE-24322	Doğrudan ekleme varsa, bildirim okunurken deneme kimliğinin denetlenerek başarısız olması gerekir
HIVE-23363	DataNucleus bağımlılığını 5.2'ye yükseltme
HIVE-26412	Kullanılabilir yuvaları getirmek ve varsayılanı eklemek için arabirim oluşturma
HIVE-26173	Derby'yi 10.14.2.0 sürümüne yükseltin
HIVE-25920	2.12.2'ye çarp `Xerce2` .
HIVE-26300	CVE-2020-36518'den kaçınmak için Jackson veri bağlama sürümünü 2.12.6.1+ sürümüne yükseltin

Sürüm tarihi: 10.08.2022

Bu sürüm HDInsight 4.0 için geçerlidir. HDInsight sürümü birkaç gün içinde tüm bölgelerin kullanımına sunulur.

Yeni Özellik

1. HDI Hadoop/Spark kümelerine dış diskler ekleme

HDInsight kümesi, SKU'yu temel alan önceden tanımlanmış disk alanıyla birlikte gelir. Bu alan büyük iş senaryolarında yeterli olmayabilir.

Bu yeni özellik, düğüm yöneticisi yerel dizini olarak kullanılan kümeye daha fazla disk eklemenize olanak tanır. Seçili diskler düğüm yöneticisinin yerel dizinlerinin bir parçasıyken HIVE ve Spark kümesi oluşturma sırasında çalışan düğümlerine disk sayısı ekleyin.

Not

Eklenen diskler yalnızca düğüm yöneticisi yerel dizinleri için yapılandırılır.

Daha fazla bilgi için buraya bakın

2. Seçmeli günlük analizi

Seçmeli günlük analizi artık genel önizleme için tüm bölgelerde kullanılabilir. Kümenizi log analytics çalışma alanına bağlayabilirsiniz. Etkinleştirildikten sonra HDInsight Güvenlik Günlükleri, Yarn Resource Manager, Sistem Ölçümleri gibi günlükleri ve ölçümleri görebilirsiniz. İş yüklerini izleyebilir ve bunların küme kararlılığını nasıl etkilediğini görebilirsiniz. Seçmeli günlük, log analytics çalışma alanında tüm tabloları etkinleştirmenizi/devre dışı bırakmanızı veya seçmeli tabloları etkinleştirmenizi sağlar. Cenevre izlemenin yeni sürümünde bir tablonun birden çok kaynağı olduğundan, her tablonun kaynak türünü ayarlayabilirsiniz.

Cenevre izleme sistemi, bir izleme aracısı olan mdsd(MDS daemon) kullanır ve birleşik günlük katmanı kullanarak günlükleri toplamak için akıcıdır.
Seçmeli Günlük, tabloları ve günlük türlerini devre dışı bırakmak/etkinleştirmek için betik eylemini kullanır. Herhangi bir yeni bağlantı noktası açmadığından veya mevcut güvenlik ayarlarını değiştirmediğinden, hiçbir güvenlik değişikliği yoktur.
Betik Eylemi tüm belirtilen düğümlerde paralel olarak çalışır ve tabloları ve bunların günlük türlerini devre dışı bırakmak/etkinleştirmek için yapılandırma dosyalarını değiştirir.

Daha fazla bilgi için buraya bakın

Sabit

Log Analytics

OMS sürüm 13 çalıştıran Azure HDInsight ile tümleştirilmiş Log Analytics, en son güvenlik güncelleştirmelerini uygulamak için OMS sürüm 14'e yükseltme gerektirir. OMS sürüm 13 ile kümenin eski sürümünü kullanan müşterilerin güvenlik gereksinimlerini karşılamak için OMS sürüm 14'ü yüklemesi gerekir. (Geçerli sürümü denetleme ve Yükleme 14)

Geçerli OMS sürümünüzü denetleme

SSH kullanarak kümede oturum açın.
SSH İstemcinizde aşağıdaki komutu çalıştırın.

sudo /opt/omi/bin/ominiserver/ --version

OMS Yükseltmesi'nin nasıl denetleneceklerini gösteren ekran görüntüsü.

OMS sürümünüzü 13'ten 14'e yükseltme

Azure portalda oturum açma
Kaynak grubundan HDInsight küme kaynağını seçin
Betik eylemleri'ne tıklayın
Betik gönder eylem panelinde Özel olarak betik türü'nü seçin
Bash betiği URL'si kutusuna aşağıdaki bağlantıyı yapıştırın https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Düğüm türlerini seçin
Oluştur'u seçin

OMS Yükseltme işleminin nasıl yapıldığını gösteren ekran görüntüsü.

Aşağıdaki adımları kullanarak düzeltme ekinin başarıyla yüklendiğini doğrulayın:
SSH kullanarak kümede oturum açın.
SSH İstemcinizde aşağıdaki komutu çalıştırın.

sudo /opt/omi/bin/ominiserver/ --version

Diğer hata düzeltmeleri

Yarn günlüğünün CLI'sı bozuk veya boşsa TFile günlükleri alamadı.
Azure Active Directory'den OAuth belirtecini alırken geçersiz hizmet sorumlusu ayrıntıları hatası düzeltildi.
100'den fazla çalışan düğüm yapılandırıldığında küme oluşturma güvenilirliği iyileştirildi.

Açık kaynak hata düzeltmeleri

TEZ hata düzeltmeleri

Hata Düzeltmeleri	Apache JIRA
Tez Derleme Hatası: FileSaver.js bulunamadı	TEZ-4411
Ambar ve `scratchdir` farklı FS'de olduğunda yanlış FS Özel Durumu	TEZ-4406
Yapılandırmada 32 MB'tan büyük TezUtils.createConfFromByteString, com.google.protobuf.CodedInputStream özel durumu oluşturuyor	TEZ-4142
TezUtils::createByteStringFromConf, DeflaterOutputStream yerine snappy kullanmalıdır	TEZ-4113
Protobuf bağımlılığını 3.x'e güncelleştirme	TEZ-4363

Hive hata düzeltmeleri

Hata Düzeltmeleri	Apache JIRA
ORC bölünmüş neslinde performans iyileştirmeleri	HIVE-21457
Tablo adı "delta" ile başladığında, ancak tablo işlemsel olmadığında ve BI Bölme Stratejisi kullanıldığında tabloyu ACID olarak okumaktan kaçının	HIVE-22582
AcidUtils#getLogicalLength'ten FS#exists çağrısını kaldırma	HIVE-23533
Vektörleştirilmiş OrcAcidRowBatchReader.computeOffset ve demet iyileştirme	HIVE-17917

Bilinen sorunlar

HDInsight, Apache HIVE 3.1.2 ile uyumludur. Bu sürümdeki bir hata nedeniyle Hive sürümü, hive arabirimlerinde 3.1.0 olarak gösterilir. Ancak, işlevsellik üzerinde herhangi bir etkisi yoktur.

Sürüm tarihi: 10.08.2022

Bu sürüm HDInsight 4.0 için geçerlidir. HDInsight sürümü birkaç gün içinde tüm bölgelerin kullanımına sunulur.

Yeni Özellik

1. HDI Hadoop/Spark kümelerine dış diskler ekleme

HDInsight kümesi, SKU'yu temel alan önceden tanımlanmış disk alanıyla birlikte gelir. Bu alan büyük iş senaryolarında yeterli olmayabilir.

Bu yeni özellik, düğüm yöneticisi yerel dizini olarak kullanılacak kümeye daha fazla disk eklemenize olanak tanır. Seçili diskler düğüm yöneticisinin yerel dizinlerinin bir parçasıyken HIVE ve Spark kümesi oluşturma sırasında çalışan düğümlerine disk sayısı ekleyin.

Not

Eklenen diskler yalnızca düğüm yöneticisi yerel dizinleri için yapılandırılır.

Daha fazla bilgi için buraya bakın

2. Seçmeli günlük analizi

Cenevre izleme sistemi, bir izleme aracısı olan mdsd(MDS daemon) kullanır ve birleşik günlük katmanı kullanarak günlükleri toplamak için akıcıdır.
Seçmeli Günlük, tabloları ve günlük türlerini devre dışı bırakmak/etkinleştirmek için betik eylemini kullanır. Herhangi bir yeni bağlantı noktası açmadığından veya mevcut güvenlik ayarlarını değiştirmediğinden, hiçbir güvenlik değişikliği yoktur.
Betik Eylemi tüm belirtilen düğümlerde paralel olarak çalışır ve tabloları ve bunların günlük türlerini devre dışı bırakmak/etkinleştirmek için yapılandırma dosyalarını değiştirir.

Daha fazla bilgi için buraya bakın

Sabit

Log Analytics

Geçerli OMS sürümünüzü denetleme

SSH kullanarak kümede oturum açın.
SSH İstemcinizde aşağıdaki komutu çalıştırın.

sudo /opt/omi/bin/ominiserver/ --version

OMS Yükseltmesi'nin nasıl denetleneceklerini gösteren ekran görüntüsü.

OMS sürümünüzü 13'ten 14'e yükseltme

Azure portalda oturum açma
Kaynak grubundan HDInsight küme kaynağını seçin
Betik eylemleri'ne tıklayın
Betik gönder eylem panelinde Özel olarak betik türü'nü seçin
Bash betiği URL'si kutusuna aşağıdaki bağlantıyı yapıştırın https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Düğüm türlerini seçin
Oluştur'u seçin

OMS Yükseltme işleminin nasıl yapıldığını gösteren ekran görüntüsü.

Aşağıdaki adımları kullanarak düzeltme ekinin başarıyla yüklendiğini doğrulayın:
SSH kullanarak kümede oturum açın.
SSH İstemcinizde aşağıdaki komutu çalıştırın.

sudo /opt/omi/bin/ominiserver/ --version

Diğer hata düzeltmeleri

Yarn günlüğünün CLI'sı bozuk veya boşsa TFile günlükleri alamadı.
Azure Active Directory'den OAuth belirtecini alırken geçersiz hizmet sorumlusu ayrıntıları hatası düzeltildi.
100'den fazla çalışan düğüm yapılandırıldığında küme oluşturma güvenilirliği iyileştirildi.

Açık kaynak hata düzeltmeleri

TEZ hata düzeltmeleri

Hata Düzeltmeleri	Apache JIRA
Tez Derleme Hatası: FileSaver.js bulunamadı	TEZ-4411
Ambar ve `scratchdir` farklı FS'de olduğunda yanlış FS Özel Durumu	TEZ-4406
Yapılandırmada 32 MB'tan büyük TezUtils.createConfFromByteString, com.google.protobuf.CodedInputStream özel durumu oluşturuyor	TEZ-4142
TezUtils::createByteStringFromConf, DeflaterOutputStream yerine snappy kullanmalıdır	TEZ-4113
Protobuf bağımlılığını 3.x'e güncelleştirme	TEZ-4363

Hive hata düzeltmeleri

Hata Düzeltmeleri	Apache JIRA
ORC bölünmüş neslinde performans iyileştirmeleri	HIVE-21457
Tablo adı "delta" ile başladığında, ancak tablo işlemsel olmadığında ve BI Bölme Stratejisi kullanıldığında tabloyu ACID olarak okumaktan kaçının	HIVE-22582
AcidUtils#getLogicalLength'ten FS#exists çağrısını kaldırma	HIVE-23533
Vektörleştirilmiş OrcAcidRowBatchReader.computeOffset ve demet iyileştirme	HIVE-17917

Bilinen sorunlar

HDInsight, Apache HIVE 3.1.2 ile uyumludur. Bu sürümdeki bir hata nedeniyle Hive sürümü, hive arabirimlerinde 3.1.0 olarak gösterilir. Ancak, işlevsellik üzerinde herhangi bir etkisi yoktur.

Sürüm tarihi: 06.03.2022

Bu sürüm HDInsight 4.0 için geçerlidir. HDInsight sürümü birkaç gün içinde tüm bölgelerin kullanımına sunulur. Buradaki yayın tarihi, ilk bölge yayın tarihini gösterir. Aşağıdaki değişiklikleri görmüyorsanız sürümün birkaç gün içinde bölgenizde yayınlanmasını bekleyin.

Yayında öne çıkanlar

Spark v3.1.2 üzerinde Hive Ambarı Bağlayıcısı (HWC)

Hive Ambarı Bağlayıcısı (HWC), güçlü büyük veri uygulamaları oluşturmak için Hive ve Spark'ın benzersiz özelliklerinden yararlanmanızı sağlar. HWC şu anda yalnızca Spark v2.4 için desteklenmektedir. Bu özellik, Spark kullanarak Hive Tablolarında ACID işlemlerine izin vererek iş değeri ekler. Bu özellik, veri varlıklarında hem Hive hem de Spark kullanan müşteriler için kullanışlıdır. Daha fazla bilgi için bkz. Apache Spark & Hive - Hive Ambar Bağlayıcısı - Azure HDInsight | Microsoft Docs

Ambari

Ölçeklendirme ve sağlama geliştirme değişiklikleri
HDI hive artık OSS sürüm 3.1.2 ile uyumludur

HDI Hive 3.1 sürümü OSS Hive 3.1.2 sürümüne yükseltilir. Bu sürüm, açık kaynak Hive 3.1.2 sürümünde kullanılabilen tüm düzeltmelere ve özelliklere sahiptir.

Not

Spark

HDInsight için Spark Kümesi oluşturmak için Azure Kullanıcı Arabirimi kullanıyorsanız, açılan listeden spark 3.1'in başka bir sürümünü görürsünüz. (HDI 5.0) ve eski sürümler. Bu sürüm, Spark 3.1'in yeniden adlandırılmış bir sürümüdür. (HDI 4.0). Bu yalnızca kullanıcı arabirimi düzeyinde yapılan bir değişikliktir ve bu değişiklik zaten ARM şablonunu kullanan mevcut kullanıcılar ve kullanıcılar için hiçbir şeyi etkilemez.

HDI 5.0 için Spark 3.1'i Screenshot_of.

Not

Etkileşimli Sorgu

Etkileşimli Sorgu Kümesi oluşturuyorsanız, açılan listeden Interactive Query 3.1 (HDI 5.0) olarak başka bir sürüm görürsünüz.
Spark 3.1 sürümünü ACID desteği gerektiren Hive ile birlikte kullanacaksanız, bu sürümü Interactive Query 3.1 (HDI 5.0) seçmeniz gerekir.

HDI 5.0 için etkileşimli sorgu 3.1'i Screenshot_of.

TEZ hata düzeltmeleri

Hata Düzeltmeleri	Apache JIRA
Yapılandırmada 32 MB'tan büyük TezUtils.createConfFromByteString, com.google.protobuf.CodedInputStream özel durumu oluşturuyor	TEZ-4142
TezUtils createByteStringFromConf, DeflaterOutputStream yerine snappy kullanmalıdır	TEZ-4113

HBase hata düzeltmeleri

Hata Düzeltmeleri	Apache JIRA
TableSnapshotInputFormat tarama için ReadType.STREAM kullanmalıdır `HFiles`	HBASE-26273
TableSnapshotInputFormat'da scanMetrics'i devre dışı bırakma seçeneği ekleme	HBASE-26330
Dengeleyici yürütülürken ArrayIndexOutOfBoundsException için düzeltme	HBASE-22739

Hive hata düzeltmeleri

Hata Düzeltmeleri	Apache JIRA
Dynpart sıralama iyileştirmesi ile 'distribute by' yan tümcesiyle veri eklerken NPE	HIVE-18284
Bölümleri Bırakırken Bölüm Filtrelemeli MSCK REPAIR Komutu Başarısız Oluyor	HIVE-23851
Capacity<=0 ise yanlış özel durum oluştu	HIVE-25446
HastTable'lar için paralel yükü destekleme - Arabirimler	HIVE-25583
Varsayılan Olarak HiveServer2'ye MultiDelimitSerDe Ekleme	HIVE-20619
jdbc-standalone jar dosyasından glassfish.jersey ve mssql-jdbc sınıflarını kaldırın	HIVE-22134
MM tablosunda sıkıştırma çalıştırılırken null işaretçi özel durumu.	HIVE-21280
aracılığıyla `knox` büyük boyutlu Hive sorgusu Bozuk kanal Yazma başarısız oldu	HIVE-22231
Kullanıcının bağlama kullanıcısını ayarlama yeteneği ekleme	HIVE-21009
İç gösterimini ve Gregoryen-Julian karma takvimini kullanarak tarih/zaman damgasını yorumlamak için UDF uygulama	HIVE-22241
Yürütme raporunu göstermek/göstermemek için beeline seçeneği	HIVE-22204
Tez: SplitGenerator, Tez için mevcut olmayan plan dosyalarını aramaya çalışıyor	HIVE-22169
LLAP önbelleğinden pahalı günlük kaydını kaldırma `hotpath`	HIVE-22168
UDF: FunctionRegistry, org.apache.hadoop.hive.ql.udf.UDFType sınıfında eşitlenir	HIVE-22161
Özellik false olarak ayarlandıysa sorgu yönlendirme ekleyicisinin oluşturulmasını engelle	HIVE-22115
partition-eval için çapraz sorgu eşitlemesini kaldırma	HIVE-22106
Planlama sırasında hive scratch dir ayarlamayı atlama	HIVE-21182
RPC açıksa tez için karalama dirleri oluşturmayı atlayın	HIVE-21171
Hive UDF'lerini regex altyapısını kullanacak şekilde `Re2J` değiştirme	HIVE-19661
Hive 3'te bucketing_version 1 kullanılarak geçirilen kümelenmiş tablolar eklemeler için bucketing_version 2 kullanır	HIVE-22429
Demet oluşturma: Sürüm 1'i demetleme verileri yanlış bölümleniyor	HIVE-21167
Yeni eklenen dosyaya ASF Lisans üst bilgisi ekleme	HIVE-22498
MergeCatalog desteği için şema aracı geliştirmeleri	HIVE-22498
TEZ UNION ALL ve UDTF ile Hive veri kaybına neden olur	HIVE-21915
Üst bilgi/alt bilgi mevcut olsa bile metin dosyalarını bölme	HIVE-21924
Yüklenen dosyada tablo şemasında bulunandan daha fazla sütun olduğunda MultiDelimitSerDe son sütunda yanlış sonuçlar döndürüyor	HIVE-22360
LLAP dış istemcisi - LlapBaseInputFormat#getSplits() ayak izini azaltmanız gerekiyor	HIVE-22221
Maske sütunlu tabloya birleştirme de dahil olmak üzere sorgu yeniden yazıldığında ayrılmış anahtar sözcük içeren sütun adı görüntüden çıkarılır (Zoltan Haindrich aracılığıyla Zoltan Matyus)	HIVE-22208
İlgili RuntimeException'da `AMReporter` LLAP kapatmasını engelleme	HIVE-22113
LLAP durum hizmeti sürücüsü yanlış Yarn uygulama kimliğiyle takılmış olabilir	HIVE-21866
OperationManager.queryIdOperation birden çok queryId'i düzgün bir şekilde temizlemiyor	HIVE-22275
Bir düğüm yöneticisinin aşağı getirilmesi LLAP hizmetinin yeniden başlatılmasını engeller	HIVE-22219
Çok sayıda bölüm bırakıldığında Stack OverflowError	HIVE-15956
Geçici dizin kaldırıldığında erişim denetimi başarısız oluyor	HIVE-22273
Belirli sınır koşullarında sol dış eşleme birleşimlerinde yanlış sonuçlar/ArrayOutOfBound özel durumu düzeltildi	HIVE-22120
dağıtım yönetimi etiketini pom.xml kaldırma	HIVE-19667
İç içe alt sorgular varsa ayrıştırma süresi yüksek olabilir	HIVE-21980
ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE'); `TBL_TYPE` CAPS olmayanlar için yansıtılmayan öznitelik değişiklikleri	HIVE-20057
JDBC: HiveConnection arabirimleri gölgeler `log4j`	HIVE-18874
- branch 3.1 sürümünde depo URL'lerini `poms` güncelleştirme	HIVE-21786
`DBInstall` master ve branch-3.1 üzerinde bozuk testler	HIVE-21758
Demet halindeki bir tabloya veri yükleme, bölümlerin belirtimlerini yoksayıyor ve verileri varsayılan bölüme yüklür	HIVE-21564
Yerel saat dilimi değişmez değeri SemanticException ile zaman damgasına veya zaman damgasına sahip birleştirme koşuluna sahip sorgular	HIVE-21613
HDFS'de hazırlama diri arkasında kalan sütun için işlem istatistiklerini analiz etme	HIVE-21342
Hive demet hesaplamasında uyumsuz değişiklik	HIVE-21376
Başka bir yetkili kullanımda olmadığında bir geri dönüş yetkili sağlayın	HIVE-20420
Bazı alterPartitions çağrıları 'NumberFormatException: null' oluşturur	HIVE-18767
HiveServer2: Http aktarımı için önceden kimliği doğrulanmış konu, bazı durumlarda http iletişiminin tamamı boyunca korunmaz	HIVE-20555

Sürüm tarihi: 10.03.2022

Bu sürümün işletim sistemi sürümleri şunlardır:

HDInsight 4.0: Ubuntu 18.04.5

Spark 3.1 genel kullanıma sunuldu

Spark 3.1 artık HDInsight 4.0 sürümünde Genel Kullanıma sunuldu. Bu sürüm şunları içerir:

Uyarlamalı Sorgu Yürütme,
Sıralama Birleştirme Birleştirmeyi Yayın Karma Katılımına Dönüştür,
Spark Catalyst İyileştiricisi,
Dinamik Bölüm Ayıklama,
Müşteriler Spark 3.0 (önizleme) kümeleri değil, yeni Spark 3.1 kümeleri oluşturabilir.

Daha fazla bilgi için bkz . Apache Spark 3.1 artık HDInsight'ta Genel Kullanıma Sunuldu - Microsoft Tech Community.

İyileştirmelerin tam listesi için Apache Spark 3.1 sürüm notları'na bakın .

Geçiş hakkında daha fazla bilgi için bkz . geçiş kılavuzu.

Kafka 2.4 genel kullanıma sunuldu

Kafka 2.4.1 genel kullanıma sunuldu. Daha fazla bilgi için bkz . Kafka 2.4.1 Sürüm Notları. Diğer özellikler arasında MirrorMaker 2 kullanılabilirliği, yeni ölçüm kategorisi AtMinIsr konu bölümü, Dizin dosyaları talebine mmap göre gecikmeli aracı başlatma süresi geliştirildi, Kullanıcı yoklama davranışını gözlemlemek için daha fazla tüketici ölçümü bulunur.

HWC'deki Eşleme Veri Türü artık HDInsight 4.0'da destekleniyor

Bu sürüm, Spark-Shell uygulaması aracılığıyla HWC 1.0 (Spark 2.4) için Eşleme Veri Türü Desteği'ni ve HWC'nin desteklediği diğer tüm Spark istemcilerini içerir. Diğer veri türleri gibi aşağıdaki iyileştirmeler de dahil edilir:

Bir kullanıcı

Map veri türü içeren herhangi bir sütun içeren bir Hive tablosu oluşturun, içine veri ekleyin ve sonuçları okuyun.
Eşleme Türü ile bir Apache Spark veri çerçevesi oluşturun ve toplu iş/akış okuma ve yazma işlemleri yapın.

Yeni bölgeler

HDInsight coğrafi varlığını iki yeni bölgeye genişletti: Çin Doğu 3 ve Kuzey Çin 3.

OSS arka bağlantı noktası değişiklikleri

Eşleme veri türünü destekleyen HWC 1.0 (Spark 2.4) dahil hive'a dahil edilen OSS arka bağlantıları.

Bu sürüm için OSS tarafından desteklenen Apache JIRA'ları aşağıdadır:

Etkilenen Özellik	Apache JIRA
IN/(NOT IN) içeren meta veri deposu doğrudan SQL sorguları, SQL DB tarafından izin verilen maksimum parametrelere göre bölünmelidir	HIVE-25659
2.16.0'ı 2.17.0 sürümüne yükseltme `log4j`	HIVE-25825
Sürümü güncelleştirme `Flatbuffer`	HIVE-22827
Map veri türünü Ok biçiminde yerel olarak destekleme	HIVE-25553
LLAP dış istemcisi - Üst yapı null olduğunda iç içe geçen değerleri işleme	HIVE-25243
Ok sürümünü 0.11.0 sürümüne yükseltme	HIVE-23987

Kullanımdan kaldırma bildirimleri

HDInsight üzerinde Azure Sanal Makine Ölçek Kümeleri

HDInsight artık kümeleri sağlamak için Azure Sanal Makine Ölçek Kümeleri kullanmaz; hataya neden olan bir değişiklik beklenmemektedir. Sanal makine ölçek kümelerindeki mevcut HDInsight kümelerinin hiçbir etkisi yoktur, en son görüntülerdeki yeni kümeler artık Sanal Makine Ölçek Kümeleri kullanmayacaktır.

Azure HDInsight HBase iş yüklerinin ölçeklendirilmesi artık yalnızca el ile ölçeklendirme kullanılarak desteklenecek

HDInsight, 01 Mart 2022'den itibaren yalnızca HBase için el ile ölçeklendirmeyi destekleyecektir; çalışan kümeleri etkilemez. Yeni HBase kümeleri zamanlamaya dayalı Otomatik Ölçeklendirme'yi etkinleştiremez. HBase kümenizi el ile ölçeklendirme hakkında daha fazla bilgi için Bkz . Azure HDInsight kümelerini el ile ölçeklendirme

Sürüm tarihi: 27.12.2021

Bu sürümün işletim sistemi sürümleri şunlardır:

HDInsight 4.0: Ubuntu 18.04.5 LTS

HDInsight 4.0 görüntüsü, Microsoft'un CVE-2021-44228 Apache Log4j 2'ye Yanıtı bölümünde açıklandığı gibi güvenlik açığını azaltmak Log4j için güncelleştirildi.

Not

27 Aralık 2021 00:00 UTC sonrasında oluşturulan tüm HDI 4.0 kümeleri, görüntünün güvenlik açıklarını log4j azaltan güncelleştirilmiş bir sürümüyle oluşturulur. Bu nedenle, müşterilerin bu kümelere düzeltme eki eklemesi/yeniden başlatması gerekmez.
16 Aralık 2021 saat 01:15 UTC ile 27 Aralık 2021 00:00 UTC arasında oluşturulan yeni HDInsight 4.0 kümeleri için, HDInsight 3.6 veya 16 Aralık 2021'den sonra sabitlenmiş aboneliklerde düzeltme eki, kümenin oluşturulduğu saat içinde otomatik olarak uygulanır, ancak düzeltme ekinin tamamlanması için müşterilerin düğümlerini yeniden başlatması gerekir (Kafka Yönetim düğümleri dışında, otomatik olarak yeniden başlatılır).

Sürüm tarihi: 27.07.2021

Bu sürüm hem HDInsight 3.6 hem de HDInsight 4.0 için geçerlidir. HDInsight sürümü birkaç gün içinde tüm bölgelerin kullanımına sunulur. Buradaki yayın tarihi, ilk bölge yayın tarihini gösterir. Aşağıdaki değişiklikleri görmüyorsanız yayının birkaç gün içinde bölgenizde yayınlanmasını bekleyin.

Bu sürümün işletim sistemi sürümleri şunlardır:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Yeni özellikler

Kısıtlı Genel Bağlantı için Azure HDInsight desteği 15 Ekim 2021'de genel kullanıma sunulmuştur

Azure HDInsight artık tüm bölgelerde kısıtlanmış genel bağlantıyı destekliyor. Bu özelliğin bazı önemli noktaları aşağıda belirtilmiştir:

Kaynak sağlayıcısını küme iletişimine, kümeden kaynak sağlayıcısına giden olacak şekilde tersine çevirebilme
HDInsight kümesinin kaynaklara yalnızca özel ağ üzerinden erişmesi için kendi Özel Bağlantı etkin kaynaklarınızı (örneğin, depolama, SQL, anahtar kasası) getirme desteği
Kaynak sağlanmamış genel IP adresi yok

Bu yeni özelliği kullanarak, HDInsight yönetim IP'leri için gelen ağ güvenlik grubu (NSG) hizmet etiketi kurallarını da atlayabilirsiniz. Genel bağlantıyı kısıtlama hakkında daha fazla bilgi edinin

Azure Özel Bağlantı için Azure HDInsight desteği genel olarak 15 Ekim 2021'de kullanılabilir

Artık özel bağlantı üzerinden HDInsight kümelerinize bağlanmak için özel uç noktaları kullanabilirsiniz. Özel bağlantı, sanal ağ eşlemenin kullanılamadığı veya etkinleştirilmediği sanal ağlar arası senaryolarda kullanılabilir.

Azure Özel Bağlantı, sanal ağınızdaki özel bir uç nokta üzerinden Azure PaaS Hizmetleri'ne (örneğin, Azure Depolama ve SQL Veritabanı) ve Azure'da barındırılan müşteriye/iş ortağı hizmetlerine erişmenizi sağlar.

Sanal ağınız ile hizmet arasındaki trafik Microsoft omurga ağına gider. Hizmetinizi genel İnternet'te kullanıma açmak artık gerekli değildir.

Daha fazla bilgi için bkz . Özel bağlantıyı etkinleştirme. 

Yeni Azure İzleyici tümleştirme deneyimi (Önizleme)

Yeni Azure izleyici tümleştirme deneyimi, bu sürümle Birlikte Doğu ABD ve Batı Avrupa'da Önizleme olacaktır. Yeni Azure izleyici deneyimi hakkında daha fazla bilgiyi burada bulabilirsiniz.

Kullanımdan kalkma

HDInsight 3.6 sürümü, 01 Ekim 2022 tarihinden itibaren kullanımdan kaldırılmıştır.

Davranış değişiklikleri

HDInsight Etkileşimli Sorgusu yalnızca zamanlama tabanlı Otomatik Ölçeklendirmeyi destekler

Müşteri senaryoları daha olgun ve çeşitli hale gelince, Etkileşimli Sorgu (LLAP) yük tabanlı Otomatik Ölçeklendirme ile ilgili bazı sınırlamalar belirledik. Bu sınırlamalar LLAP sorgu dinamiklerinin doğasından, gelecekteki yük tahmini doğruluk sorunlarından ve LLAP zamanlayıcısının görev yeniden dağıtımındaki sorunlardan kaynaklanır. Bu sınırlamalar nedeniyle kullanıcılar, Otomatik Ölçeklendirme etkinleştirildiğinde LLAP kümelerinde sorgularının daha yavaş çalıştığını görebilir. Performans üzerindeki etkisi, Otomatik Ölçeklendirme'nin maliyet avantajlarından daha ağır basabilir.

Temmuz 2021'den itibaren HDInsight'taki Etkileşimli Sorgu iş yükü yalnızca zamanlama tabanlı Otomatik Ölçeklendirme'yi destekler. Artık yeni Etkileşimli Sorgu kümelerinde yük tabanlı otomatik ölçeklendirmeyi etkinleştiremezsiniz. Çalışan mevcut kümeler, yukarıda açıklanan bilinen sınırlamalarla çalışmaya devam edebilir.

Microsoft, LLAP için zamanlamaya dayalı otomatik ölçeklendirmeye geçmenizi önerir. Grafana Hive panosu aracılığıyla kümenizin geçerli kullanım düzenini analiz edebilirsiniz. Daha fazla bilgi için bkz . Azure HDInsight kümelerini otomatik olarak ölçeklendirme.

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler gerçekleşir.

ESP Spark kümesindeki yerleşik LLAP bileşeni kaldırılacak

HDInsight 4.0 ESP Spark kümesinde her iki baş düğümde de çalışan yerleşik LLAP bileşenleri vardır. ESP Spark kümesindeki LLAP bileşenleri başlangıçta HDInsight 3.6 ESP Spark için eklenmiştir, ancak HDInsight 4.0 ESP Spark için gerçek kullanıcı örneği yoktur. Eylül 2021'de zamanlanan bir sonraki sürümde HDInsight, HDInsight 4.0 ESP Spark kümesinden yerleşik LLAP bileşenini kaldıracaktır. Bu değişiklik, baş düğüm iş yükünü boşaltmaya ve ESP Spark ile ESP Etkileşimli Hive küme türü arasındaki karışıklığı önlemeye yardımcı olur.

Yeni bölge

Batı ABD 3
Jio Hindistan Batı
Orta Avustralya

Bileşen sürümü değişikliği

Bu sürümle birlikte aşağıdaki bileşen sürümü değiştirildi:

ORC sürümü 1.5.1 ile 1.5.9

HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz.

Geri taşınabilir JIRA'lar

Bu sürüm için geri taşınabilir Apache JIRA'ları şunlardır:

Etkilenen Özellik	Apache JIRA
Tarih / Zaman Damgası	HIVE-25104
	HIVE-24074
	HIVE-22840
	HIVE-22589
	HIVE-22405
	HIVE-21729
	HIVE-21291
	HIVE-21290
UDF	HIVE-25268
	HIVE-25093
	HIVE-22099
	HIVE-24113
	HIVE-22170
	HIVE-22331
ORC	HIVE-21991
	HIVE-21815
	HIVE-21862
Tablo Şeması	HIVE-20437
	HIVE-22941
	HIVE-21784
	HIVE-21714
	HIVE-18702
	HIVE-21799
	HIVE-21296
İş Yükü Yönetimi	HIVE-24201
Sıkıştırma	HIVE-24882
	HIVE-23058
	HIVE-23046
Gerçekleştirilmiş görünüm	HIVE-22566

HDInsight `Dv2` Sanal Makineler için Fiyat Düzeltmesi

HDInsight üzerindeki VM serisi için Dv2 25 Nisan 2021'de bir fiyatlandırma hatası düzeltildi. Fiyatlandırma hatası, 25 Nisan'a kadar bazı müşterilerin faturalarında ücret azalmasına neden oldu ve düzeltmeyle birlikte fiyatlar artık HDInsight fiyatlandırma sayfasında ve HDInsight fiyatlandırma hesaplayıcısında tanıtılanlarla eşleşti. Fiyatlandırma hatası, vm kullanan Dv2 aşağıdaki bölgelerdeki müşterileri etkiledi:

Orta Kanada
Doğu Kanada
Doğu Asya
Güney Afrika - Kuzey
Güneydoğu Asya
BAE Orta

25 Nisan 2021'den itibaren VM'ler için Dv2 düzeltilen miktar hesabınızda olacaktır. Değişiklik öncesinde abonelik sahiplerine müşteri bildirimleri gönderildi. Bölgenizdeki VM'lerin düzeltilmiş maliyetlerini görmek için Dv2 Azure portalında Fiyatlandırma hesaplayıcısı, HDInsight fiyatlandırma sayfası veya HDInsight kümesi oluştur dikey penceresini kullanabilirsiniz.

Sizden başka bir eyleme gerek yoktur. Fiyat düzeltmesi yalnızca 25 Nisan 2021 veya sonrasında belirtilen bölgelerdeki kullanım için geçerli olur ve bu tarihten önceki kullanımlar için geçerli değildir. En yüksek performanslı ve uygun maliyetli çözüme sahip olduğunuzdan emin olmak için kümelerinizin fiyatlandırmasını, VCPU'yu ve RAM'i gözden geçirmenizi Dv2 ve çözümünüzün daha yeni VM serilerinden birini kullanmanın yararlı olup olmadığını görmek için belirtimleri Ev3 VM'lerle karşılaştırmanızı Dv2 öneririz.

Sürüm tarihi: 06/02/2021

Bu sürümün işletim sistemi sürümleri şunlardır:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Yeni özellikler

İşletim sistemi sürümü yükseltmesi

Ubuntu'nun yayın döngüsünde belirtildiği gibi, Ubuntu 16.04 çekirdeği Nisan 2021'de Kullanım Süresi Sonuna (EOL) ulaşır. Bu sürümle birlikte Ubuntu 18.04 üzerinde çalışan yeni HDInsight 4.0 küme görüntüsünü dağıtmaya başladık. Yeni oluşturulan HDInsight 4.0 kümeleri, kullanılabilir olduğunda varsayılan olarak Ubuntu 18.04 üzerinde çalışır. Ubuntu 16.04'te mevcut kümeler tam destekle olduğu gibi çalışır.

HDInsight 3.6, Ubuntu 16.04 üzerinde çalışmaya devam edecektir. 1 Temmuz 2021'den itibaren Temel destek (Standart destekten) olarak değiştirilecektir. Tarihler ve destek seçenekleri hakkında daha fazla bilgi için bkz . Azure HDInsight sürümleri. HDInsight 3.6 için Ubuntu 18.04 desteklenmez. Ubuntu 18.04 kullanmak istiyorsanız kümelerinizi HDInsight 4.0'a geçirmeniz gerekir.

Mevcut HDInsight 4.0 kümelerini Ubuntu 18.04'e taşımak istiyorsanız kümelerinizi bırakmanız ve yeniden oluşturmanız gerekir. Ubuntu 18.04 desteği kullanıma sunulduktan sonra kümelerinizi oluşturmayı veya yeniden oluşturmayı planlayın.

Yeni kümeyi oluşturduktan sonra kümenize SSH ekleyebilir ve Ubuntu 18.04'te çalıştığını doğrulamak için komutunu çalıştırabilirsiniz sudo lsb_release -a . Üretime geçmeden önce test aboneliklerinizde uygulamalarınızı test etmenizi öneririz.

HBase hızlandırılmış yazma kümeleri üzerinde ölçeklendirme iyileştirmeleri

HDInsight, HBase hızlandırılmış yazma özellikli kümeler için ölçeklendirme üzerinde bazı iyileştirmeler ve iyileştirmeler yaptı. HBase hızlandırılmış yazma hakkında daha fazla bilgi edinin.

Kullanımdan kalkma

Bu sürümde kullanımdan kaldırma yok.

Davranış değişiklikleri

STANDARD_A5 VM boyutunu HDInsight 4.0 için Baş Düğüm olarak devre dışı bırakma

HDInsight kümesi Baş Düğümü, kümeyi başlatmak ve yönetmekle sorumludur. Standard_A5 VM boyutu, HDInsight 4.0 için Baş Düğüm olarak güvenilirlik sorunlarına sahiptir. Bu sürümden itibaren müşteriler, Baş Düğüm olarak Standard_A5 VM boyutuna sahip yeni kümeler oluşturamayacaktır. E2_v3 veya E2s_v3 gibi diğer iki çekirdekli VM'leri kullanabilirsiniz. Mevcut kümeler olduğu gibi çalışır. Üretim HDInsight kümelerinizin yüksek kullanılabilirliğini ve güvenilirliğini sağlamak için Baş Düğüm için dört çekirdekli bir VM önerilir.

Azure sanal makine ölçek kümelerinde çalışan kümeler için ağ arabirimi kaynağı görünmüyor

HDInsight aşamalı olarak Azure sanal makine ölçek kümelerine geçiş gerçekleştiriyor. Sanal makineler için ağ arabirimleri artık Azure sanal makine ölçek kümelerini kullanan kümeler için müşteriler tarafından görülemiyor.

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

HDInsight Etkileşimli Sorgusu yalnızca zamanlama tabanlı Otomatik Ölçeklendirmeyi destekler

Temmuz 2021'den itibaren HDInsight'taki Etkileşimli Sorgu iş yükü yalnızca zamanlama tabanlı Otomatik Ölçeklendirme'yi destekler. Artık yeni Etkileşimli Sorgu kümelerinde Otomatik Ölçeklendirme'yi etkinleştiremezsiniz. Çalışan mevcut kümeler, yukarıda açıklanan bilinen sınırlamalarla çalışmaya devam edebilir.

VM ana bilgisayar adlandırması 1 Temmuz 2021'de değiştirilecek

HDInsight artık kümeyi sağlamak için Azure sanal makinelerini kullanıyor. Hizmet aşamalı olarak Azure sanal makine ölçek kümelerine geçiriliyor. Bu geçiş, küme ana bilgisayar adı FQDN ad biçimini değiştirir ve konak adındaki sayılar sırayla garanti edilmeyecektir. Her düğüm için FQDN adlarını almak istiyorsanız Küme Düğümlerinin Konak adlarını bulma bölümüne bakın.

Azure sanal makine ölçek kümelerine gitme

HDInsight artık kümeyi sağlamak için Azure sanal makinelerini kullanıyor. Hizmet aşamalı olarak Azure sanal makine ölçek kümelerine geçirilir. İşlemin tamamı aylar sürebilir. Bölgeleriniz ve abonelikleriniz geçirildikten sonra, yeni oluşturulan HDInsight kümeleri müşteri eylemleri olmadan sanal makine ölçek kümelerinde çalışır. Hataya neden olan bir değişiklik beklenmez.

Sürüm tarihi: 24.03.2021

Yeni özellikler

Spark 3.0 önizlemesi

HDInsight, Önizleme özelliği olarak HDInsight 4.0'a Spark 3.0.0 desteği ekledi.

Kafka 2.4 önizlemesi

HDInsight, Önizleme özelliği olarak HDInsight 4.0'a Kafka 2.4.1 desteği ekledi.

`Eav4`-series desteği

HDInsight bu sürümde -series desteği ekledi Eav4.

Azure sanal makine ölçek kümelerine geçme

HDInsight artık kümeyi sağlamak için Azure sanal makinelerini kullanıyor. Hizmet aşamalı olarak Azure sanal makine ölçek kümelerine geçiriliyor. İşlemin tamamı aylar sürebilir. Bölgeleriniz ve abonelikleriniz geçirildikten sonra, yeni oluşturulan HDInsight kümeleri müşteri eylemleri olmadan sanal makine ölçek kümelerinde çalışır. Hataya neden olan bir değişiklik beklenmez.

Kullanımdan kalkma

Bu sürümde kullanımdan kaldırma yok.

Davranış değişiklikleri

Varsayılan küme sürümü 4.0 olarak değiştirildi

HDInsight kümesinin varsayılan sürümü 3.6'dan 4.0'a değiştirilir. Kullanılabilir sürümler hakkında daha fazla bilgi için bkz . kullanılabilir sürümler. HDInsight 4.0'daki yenilikler hakkında daha fazla bilgi edinin.

Varsayılan küme VM boyutları -series olarak `Ev3`değiştirilir

Varsayılan küme VM boyutları D serisinden -series'e Ev3değiştirilir. Bu değişiklik baş düğümler ve çalışan düğümleri için geçerlidir. Bu değişikliğin test edilen iş akışlarınızı etkilemesini önlemek için ARM şablonunda kullanmak istediğiniz VM boyutlarını belirtin.

Azure sanal makine ölçek kümelerinde çalışan kümeler için ağ arabirimi kaynağı görünmüyor

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

HDInsight Etkileşimli Sorgusu yalnızca zamanlama tabanlı Otomatik Ölçeklendirmeyi destekler

Temmuz 2021'den itibaren HDInsight'taki Etkileşimli Sorgu iş yükü yalnızca zamanlama tabanlı Otomatik Ölçeklendirme'yi destekler. Artık yeni Etkileşimli Sorgu kümelerinde Otomatik Ölçeklendirme'yi etkinleştiremezsiniz. Çalışan mevcut kümeler, yukarıda açıklanan bilinen sınırlamalarla çalışmaya devam edebilir.

İşletim sistemi sürümü yükseltmesi

HDInsight kümeleri şu anda Ubuntu 16.04 LTS üzerinde çalışmaktadır. Ubuntu'nun yayın döngüsünde belirtildiği gibi, Ubuntu 16.04 çekirdeği Nisan 2021'de Kullanım Süresi Sonuna (EOL) ulaşacaktır. Mayıs 2021'de Ubuntu 18.04 üzerinde çalışan yeni HDInsight 4.0 küme görüntüsünü dağıtmaya başlayacağız. Yeni oluşturulan HDInsight 4.0 kümeleri, kullanılabilir olduğunda varsayılan olarak Ubuntu 18.04'te çalışır. Ubuntu 16.04'te mevcut kümeler tam destekle olduğu gibi çalışır.

HDInsight 3.6, Ubuntu 16.04 üzerinde çalışmaya devam edecektir. 30 Haziran 2021'e kadar standart desteğin sonuna ulaşacak ve 1 Temmuz 2021'den itibaren Temel destek olarak değiştirilecektir. Tarihler ve destek seçenekleri hakkında daha fazla bilgi için bkz . Azure HDInsight sürümleri. HDInsight 3.6 için Ubuntu 18.04 desteklenmez. Ubuntu 18.04 kullanmak istiyorsanız kümelerinizi HDInsight 4.0'a geçirmeniz gerekir.

Mevcut kümeleri Ubuntu 18.04'e taşımak istiyorsanız kümelerinizi bırakmanız ve yeniden oluşturmanız gerekir. Ubuntu 18.04 desteği kullanıma sunulduktan sonra kümenizi oluşturmayı veya yeniden oluşturmayı planlayın. Yeni görüntü tüm bölgelerde kullanılabilir duruma geldikten sonra başka bir bildirim göndereceğiz.

Ubuntu 18.04 sanal makinesinde (VM) uç düğümlere dağıtılan betik eylemlerinizi ve özel uygulamalarınızı önceden test edin. 18.04-LTS üzerinde Ubuntu Linux VM oluşturabilir, ardından uç düğümlerde dağıtılan betik eylemlerinizi ve özel uygulamalarınızı çalıştırmak ve test etmek için VM'nizde güvenli bir kabuk (SSH) anahtar çifti oluşturup kullanabilirsiniz.

STANDARD_A5 VM boyutunu HDInsight 4.0 için Baş Düğüm olarak devre dışı bırakma

HDInsight kümesi Baş Düğümü, kümeyi başlatmak ve yönetmekle sorumludur. Standard_A5 VM boyutu, HDInsight 4.0 için Baş Düğüm olarak güvenilirlik sorunlarına sahiptir. Mayıs 2021'deki bir sonraki sürümden itibaren müşteriler, baş düğüm olarak Standard_A5 VM boyutuna sahip yeni kümeler oluşturamayacaktır. E2_v3 veya E2s_v3 gibi diğer 2 çekirdekli VM'leri kullanabilirsiniz. Mevcut kümeler olduğu gibi çalışır. Üretim HDInsight kümelerinizin yüksek kullanılabilirliğini ve güvenilirliğini sağlamak için Baş Düğüm için 4 çekirdekli vm önerilir.

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Bileşen sürümü değişikliği

Önizleme olarak Spark 3.0.0 ve Kafka 2.4.1 desteği eklendi. HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz.

Sürüm tarihi: 05.02.2021

Yeni özellikler

Dav4 serisi desteği

HDInsight, bu sürümde Dav4 serisi desteği ekledi. Dav4 serisi hakkında daha fazla bilgiyi burada bulabilirsiniz.

Kafka REST Proxy GA

Kafka REST Proxy, HTTPS üzerinden bir REST API aracılığıyla Kafka kümenizle etkileşim kurmanızı sağlar. Kafka REST Proxy bu sürümden itibaren genel kullanıma sunulmuştur. Kafka REST Proxy hakkında daha fazla bilgiyi burada bulabilirsiniz.

Azure sanal makine ölçek kümelerine geçme

Kullanımdan kalkma

Devre dışı bırakılmış VM boyutları

9 Ocak 2021'den itibaren HDInsight, standard_A8, standard_A9, standard_A10 ve standard_A11 VM boyutlarını kullanarak küme oluşturan tüm müşterileri engeller. Mevcut kümeler olduğu gibi çalışır. Olası sistem/destek kesintisini önlemek için HDInsight 4.0'a geçmeyi göz önünde bulundurun.

Davranış değişiklikleri

Varsayılan küme VM boyutu -series olarak `Ev3`değişir

Azure sanal makine ölçek kümelerinde çalışan kümeler için ağ arabirimi kaynağı görünmüyor

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

Varsayılan küme sürümü 4.0 olarak değiştirilecek

Şubat 2021'den itibaren HDInsight kümesinin varsayılan sürümü 3.6'dan 4.0'a değiştirilecektir. Kullanılabilir sürümler hakkında daha fazla bilgi için bkz . kullanılabilir sürümler. HDInsight 4.0'daki yenilikler hakkında daha fazla bilgi edinin.

İşletim sistemi sürümü yükseltmesi

HDInsight, işletim sistemi sürümünü Ubuntu 16.04'ten 18.04'e yükseltiyor. Yükseltme Nisan 2021'e kadar tamamlanacaktır.

HDInsight 3.6 desteği 30 Haziran 2021'de sona erer

HDInsight 3.6 desteği sona erecektir. 30 Haziran 2021'den itibaren müşteriler yeni HDInsight 3.6 kümeleri oluşturamaz. Mevcut kümeler, Microsoft'un desteği olmadan olduğu gibi çalışır. Olası sistem/destek kesintisini önlemek için HDInsight 4.0'a geçmeyi göz önünde bulundurun.

Bileşen sürümü değişikliği

Bu sürüm için bileşen sürümü değişikliği yok. HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz.

Sürüm tarihi: 18.11.2020

Yeni özellikler

Bekleyen müşteri tarafından yönetilen anahtar şifrelemesi için otomatik anahtar döndürme

Bu sürümden itibaren müşteriler bekleyen müşteri tarafından yönetilen anahtar şifrelemesi için Azure KeyVault sürümüz şifreleme anahtarı URL'lerini kullanabilir. HDInsight, süresi dolduğunda veya yeni sürümlerle değiştirildiklerinde anahtarları otomatik olarak döndürür. Daha fazla ayrıntı için buraya bakın.

Spark, Hadoop ve ML Hizmetleri için farklı Zookeeper sanal makine boyutları seçebilme

HDInsight daha önce Spark, Hadoop ve ML Services küme türleri için Zookeeper düğüm boyutunu özelleştirmeyi desteklemiyordu. Varsayılan olarak ücretsiz olarak sağlanan A2_v2/A2 sanal makine boyutlarına sahiptir. Bu sürümden senaryonuza en uygun Zookeeper sanal makine boyutunu seçebilirsiniz. A2_v2/A2 dışında sanal makine boyutuna sahip Zookeeper düğümleri ücretlendirilir. A2_v2 ve A2 sanal makineleri hala ücretsiz olarak sağlanmaktadır.

Azure sanal makine ölçek kümelerine geçme

HDInsight artık kümeyi sağlamak için Azure sanal makinelerini kullanıyor. Bu sürümden itibaren hizmet aşamalı olarak Azure sanal makine ölçek kümelerine geçirilecektir. İşlemin tamamı aylar sürebilir. Bölgeleriniz ve abonelikleriniz geçirildikten sonra, yeni oluşturulan HDInsight kümeleri müşteri eylemleri olmadan sanal makine ölçek kümelerinde çalışır. Hataya neden olan bir değişiklik beklenmez.

Kullanımdan kalkma

HDInsight 3.6 ML Services kümesinin kullanımdan kaldırılması

HDInsight 3.6 ML Services küme türü 31 Aralık 2020'ye kadar destek sona erecektir. Müşteriler 31 Aralık 2020'de yeni 3.6 ML Services kümeleri oluşturamayacaktır. Mevcut kümeler, Microsoft'un desteği olmadan olduğu gibi çalışır. HDInsight sürümleri ve küme türleri için destek süre sonunu buradan denetleyin.

Devre dışı bırakılmış VM boyutları

16 Kasım 2020'den itibaren HDInsight, standard_A8, standard_A9, standard_A10 ve standard_A11 VM boyutlarını kullanarak küme oluşturan yeni müşterileri engelleyecek. Son üç ay içinde bu VM boyutlarını kullanan mevcut müşteriler etkilenmez. 9 Ocak 2021'den itibaren HDInsight, standard_A8, standard_A9, standard_A10 ve standard_A11 VM boyutlarını kullanarak küme oluşturan tüm müşterileri engeller. Mevcut kümeler olduğu gibi çalışır. Olası sistem/destek kesintisini önlemek için HDInsight 4.0'a geçmeyi göz önünde bulundurun.

Davranış değişiklikleri

Ölçeklendirme işleminden önce NSG kuralı denetimi ekleme

HDInsight, ölçeklendirme işlemiyle ağ güvenlik grupları (NSG) ve kullanıcı tanımlı yollar (UDF) denetimi ekledi. Küme oluşturmanın yanı sıra küme ölçeklendirme için de aynı doğrulama yapılır. Bu doğrulama, öngörülemeyen hataları önlemeye yardımcı olur. Doğrulama geçmezse ölçeklendirme başarısız olur. NSG'leri ve UDF'leri doğru yapılandırma hakkında daha fazla bilgi edinmek için HDInsight yönetim IP adreslerine bakın.

Bileşen sürümü değişikliği

Bu sürüm için bileşen sürümü değişikliği yok. HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz.

Sürüm tarihi: 09.11.2020

Yeni özellikler

HDInsight Kimlik Aracısı (HIB) artık GA

ESP kümeleri için OAuth kimlik doğrulamasını etkinleştiren HDInsight Kimlik Aracısı (HIB) artık bu sürümde genel kullanıma sunulmuştur. Bu sürümden sonra oluşturulan HIB Kümeleri en son HIB özelliklerine sahip olacaktır:

Yüksek Kullanılabilirlik (HA)
Çok Faktörlü Kimlik Doğrulaması (MFA) desteği
Federasyon kullanıcıları AAD-DS'de parola karması eşitlemesi olmadan oturum açar. Daha fazla bilgi için HIB belgelerine bakın.

Azure sanal makine ölçek kümelerine geçme

Kullanımdan kalkma

HDInsight 3.6 ML Services kümesinin kullanımdan kaldırılması

HDInsight 3.6 ML Services küme türü 31 Aralık 2020'ye kadar destek sona erecektir. Müşteriler 31 Aralık 2020'de yeni 3.6 ML Services kümeleri oluşturmayacaktır. Mevcut kümeler, Microsoft'un desteği olmadan olduğu gibi çalışır. HDInsight sürümleri ve küme türleri için destek süre sonunu buradan denetleyin.

Devre dışı bırakılmış VM boyutları

Davranış değişiklikleri

Bu sürüm için hiçbir davranış değişikliği yok.

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

Spark, Hadoop ve ML Hizmetleri için farklı Zookeeper sanal makine boyutları seçebilme

HDInsight bugün Spark, Hadoop ve ML Services küme türleri için Zookeeper düğüm boyutunu özelleştirmeyi desteklememektedir. Varsayılan olarak ücretsiz olarak sağlanan A2_v2/A2 sanal makine boyutlarına sahiptir. Gelecek sürümde senaryonuza en uygun Zookeeper sanal makine boyutunu seçebilirsiniz. A2_v2/A2 dışında sanal makine boyutuna sahip Zookeeper düğümleri ücretlendirilir. A2_v2 ve A2 sanal makineleri hala ücretsiz olarak sağlanmaktadır.

Varsayılan küme sürümü 4.0 olarak değiştirilecek

Şubat 2021'den itibaren HDInsight kümesinin varsayılan sürümü 3.6'dan 4.0'a değiştirilecektir. Kullanılabilir sürümler hakkında daha fazla bilgi için bkz . desteklenen sürümler. HDInsight 4.0'daki yenilikler hakkında daha fazla bilgi edinin

HDInsight 3.6 desteği 30 Haziran 2021'de sona erer

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Kümedeki VM'leri yeniden başlatma sorunu düzeltildi

Kümedeki VM'leri yeniden başlatma sorunu düzeltildi. Kümedeki düğümleri yeniden başlatmak için PowerShell veya REST API kullanabilirsiniz.

Bileşen sürümü değişikliği

Bu sürüm için bileşen sürümü değişikliği yok. HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz.

Sürüm tarihi: 08.10.2020

Yeni özellikler

Genel IP ve Özel bağlantısı olmayan HDInsight özel kümeleri (Önizleme)

HDInsight artık önizlemede kümelere genel IP ve özel bağlantı erişimi olmayan kümeler oluşturmayı destekliyor. Müşteriler yeni gelişmiş ağ ayarlarını kullanarak genel IP olmadan tam olarak yalıtılmış bir küme oluşturabilir ve kümeye erişmek için kendi özel uç noktalarını kullanabilir.

Azure sanal makine ölçek kümelerine geçme

Kullanımdan kalkma

HDInsight 3.6 ML Services kümesinin kullanımdan kaldırılması

HDInsight 3.6 ML Services küme türü 31 Aralık 2020'ye kadar destek sona erecektir. Müşteriler bundan sonra yeni 3.6 ML Services kümeleri oluşturmaz. Mevcut kümeler, Microsoft'un desteği olmadan olduğu gibi çalışır. HDInsight sürümleri ve küme türleri için destek süre sonunu buradan denetleyin.

Davranış değişiklikleri

Bu sürüm için hiçbir davranış değişikliği yok.

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

Spark, Hadoop ve ML Hizmetleri için farklı Zookeeper sanal makine boyutları seçebilme

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Bileşen sürümü değişikliği

Bu sürüm için bileşen sürümü değişikliği yok. HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz.

Yayın tarihi: 28.09.2020

Yeni özellikler

HDInsight 4.0 ile Etkileşimli Sorgu için otomatik ölçeklendirme genel kullanıma sunuldu

Etkileşimli Sorgu küme türü için otomatik ölçeklendirme artık HDInsight 4.0 için Genel Kullanıma Sunuldu (GA). 27 Ağustos 2020'den sonra oluşturulan tüm Interactive Query 4.0 kümeleri otomatik ölçeklendirme için GA desteğine sahip olacaktır.

HBase kümesi Premium ADLS 2. Nesil'i destekler

HDInsight artık HDInsight HBase 3.6 ve 4.0 kümeleri için birincil depolama hesabı olarak Premium ADLS 2. Nesil'i destekliyor. Hızlandırılmış Yazma işlemleriyle birlikte HBase kümeleriniz için daha iyi performans elde edebilirsiniz.

Azure hata etki alanlarında Kafka bölüm dağıtımı

Hata etki alanı, bir Azure veri merkezinde temel donanımlardan oluşan mantıksal bir gruplandırmadır. Her hata etki alanı ortak bir güç kaynağı ve ağ anahtarına sahiptir. HDInsight Kafka tüm bölüm çoğaltmalarını aynı hata etki alanında depolamadan önce. Bu sürümden itibaren HDInsight artık Kafka bölümlerinin Azure hata etki alanlarına göre otomatik olarak dağıtılmasını destekliyor.

Aktarım sırasında şifreleme

Müşteriler, platform tarafından yönetilen anahtarlarla IPsec şifrelemesini kullanarak küme düğümleri arasında aktarım sırasında şifrelemeyi etkinleştirebilir. Bu seçenek küme oluşturma zamanında etkinleştirilebilir. Aktarım sırasında şifrelemeyi etkinleştirme hakkında daha fazla ayrıntıya bakın.

Konakta şifreleme

Konakta şifrelemeyi etkinleştirdiğinizde, VM ana bilgisayarında depolanan veriler bekleme durumunda şifrelenir ve depolama hizmetine akışlar şifrelenir. Bu sürümden, kümeyi oluştururken geçici veri diskinde konakta şifrelemeyi etkinleştirebilirsiniz. Konakta şifreleme yalnızca sınırlı bölgelerdeki belirli VM SKU'larında desteklenir. HDInsight aşağıdaki düğüm yapılandırmasını ve SKU'ları destekler. Konakta şifrelemeyi etkinleştirme hakkında daha fazla ayrıntıya bakın.

Azure sanal makine ölçek kümelerine geçme

Kullanımdan kalkma

Bu sürüm için kullanımdan kaldırma yok.

Davranış değişiklikleri

Bu sürüm için hiçbir davranış değişikliği yok.

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

Spark, Hadoop ve ML Hizmetleri için farklı Zookeeper SKU'su seçebilme

HDInsight bugün Spark, Hadoop ve ML Services küme türleri için Zookeeper SKU'su değiştirmeyi desteklememektedir. Zookeeper düğümleri için A2_v2/A2 SKU kullanır ve müşteriler bunlar için ücretlendirilmiyor. Gelecek sürümde müşteriler Gerektiğinde Spark, Hadoop ve ML Services için Zookeeper SKU'sunu değiştirebilir. A2_v2/A2 dışında SKU'su olan Zookeeper düğümleri ücretlendirilir. Varsayılan SKU hala A2_V2/A2 olacaktır ve ücretsizdir.

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Bileşen sürümü değişikliği

Bu sürüm için bileşen sürümü değişikliği yok. HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz.

Sürüm tarihi: 08.09.2020

Bu sürüm yalnızca HDInsight 4.0 için geçerlidir. HDInsight sürümü birkaç gün içinde tüm bölgelerin kullanımına sunulur. Buradaki yayın tarihi, ilk bölge yayın tarihini gösterir. Aşağıdaki değişiklikleri görmüyorsanız yayının birkaç gün içinde bölgenizde yayınlanmasını bekleyin.

Yeni özellikler

SparkCruise desteği

SparkCruise, Spark için otomatik bir hesaplama yeniden kullanma sistemidir. Geçmiş sorgu iş yüküne göre gerçekleştirilmesi için yaygın alt ifadeleri seçer. SparkCruise, sorgu işlemenin bir parçası olarak bu alt ifadeleri oluşturur ve hesaplama yeniden kullanımı arka planda otomatik olarak uygulanır. Spark kodunda herhangi bir değişiklik yapmadan SparkCruise'den yararlanabilirsiniz.

HDInsight 4.0 için Hive Görünümünü Destekleme

Apache Ambari Hive Görünümü, web tarayıcınızdan Hive sorguları yazmanıza, iyileştirmenize ve yürütmenize yardımcı olmak için tasarlanmıştır. Hive Görünümü, bu sürümden itibaren HDInsight 4.0 kümeleri için yerel olarak desteklenir. Mevcut kümeler için geçerli değildir. Yerleşik Hive Görünümünü almak için kümeyi bırakmanız ve yeniden oluşturmanız gerekir.

HDInsight 4.0 için Tez Görünümü Desteği

Apache Tez Görünümü, Hive Tez işinin yürütülmesini izlemek ve hatalarını ayıklamak için kullanılır. Tez Görünümü, bu sürümden itibaren HDInsight 4.0 için yerel olarak desteklenir. Mevcut kümeler için geçerli değildir. Yerleşik Tez Görünümü'nü almak için kümeyi bırakmanız ve yeniden oluşturmanız gerekir.

Kullanımdan kalkma

HDInsight 3.6 Spark kümesinde Spark 2.1 ile 2.2’nin kullanımdan kaldırılması

1 Temmuz 2020'den itibaren müşteriler HDInsight 3.6 üzerinde Spark 2.1 ve 2.2 ile yeni Spark kümeleri oluşturamaz. Mevcut kümeler, Microsoft'un desteği olmadan olduğu gibi çalışır. Olası sistem/destek kesintisini önlemek için 30 Haziran 2020'ye kadar HDInsight 3.6 üzerinde Spark 2.3'e geçmeyi düşünün.

HDInsight 4.0 Spark kümesinde Spark 2.3’ün kullanımdan kaldırılması

1 Temmuz 2020'den itibaren müşteriler HDInsight 4.0 üzerinde Spark 2.3 ile yeni Spark kümeleri oluşturamaz. Mevcut kümeler, Microsoft'un desteği olmadan olduğu gibi çalışır. Olası sistem/destek kesintilerini önlemek için 30 Haziran 2020’ye kadar HDInsight 4.0’da Spark 2.4’e geçmeyi göz önünde bulundurun.

HDInsight 4.0 Kafka kümesinde Kafka 1.1’i kullanımdan kaldırma

1 Temmuz 2020'den itibaren müşteriler HDInsight 4.0 üzerinde Kafka 1.1 ile yeni Kafka kümeleri oluşturamayacak. Mevcut kümeler, Microsoft'un desteği olmadan olduğu gibi çalışır. Olası sistem/destek kesintilerini önlemek için 30 Haziran 2020’ye kadar HDInsight 4.0’da Kafka 2.1’e geçmeyi göz önünde bulundurun.

Davranış değişiklikleri

Ambari yığın sürümü değişikliği

Bu sürümde Ambari sürümü 2.x.x.x sürümünden 4.1 sürümüne değişir. Ambari: Ambari > Kullanıcı > Sürümleri'nde yığın sürümünü (HDInsight 4.1) doğrulayabilirsiniz.

Yaklaşan değişiklikler

Dikkat etmeniz gereken yaklaşan hataya neden olan değişiklikler yok.

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Aşağıdaki JIDA'lar Hive için yeniden taşınabilir:

Aşağıdaki JIBA'lar HBase için yeniden taşınabilir:

Bileşen sürümü değişikliği

Bu sürüm için bileşen sürümü değişikliği yok. HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz.

Bilinen sorunlar

Kullanıcıların SSH kimlik doğrulama türü ortak anahtar kullanarak Bir Azure HDInsight kümesi oluştururken hatayla karşılaştığı Azure portalında bir sorun düzeltildi. Kullanıcılar Gözden Geçir + Oluştur'a tıkladığında "SSH kullanıcı adına ait ardışık üç karakter içermemelidir" hatasını alırlar. Bu sorun düzeltildi, ancak düzeltilen görünümü yüklemek için CTRL + F5 tuşlarına basarak tarayıcı önbelleğinizi yenilemeniz gerekebilir. Bu sorunun geçici çözümü ARM şablonuyla bir küme oluşturmaktı.

Yayın tarihi: 13.07.2020

Bu sürüm hem HDInsight 3.6 hem de 4.0 için geçerlidir. HDInsight sürümü birkaç gün içinde tüm bölgelerin kullanımına sunulur. Buradaki yayın tarihi, ilk bölge yayın tarihini gösterir. Aşağıdaki değişiklikleri görmüyorsanız yayının birkaç gün içinde bölgenizde yayınlanmasını bekleyin.

Yeni özellikler

Microsoft Azure için Müşteri Kasası desteği

Azure HDInsight artık Azure Müşteri Kasası'na destek veriyor. Müşterilerin müşteri veri erişim isteklerini gözden geçirmesi ve onaylaması veya reddetmesi için bir arabirim sağlar. Microsoft mühendisinin destek isteği sırasında müşteri verilerine erişmesi gerektiğinde kullanılır. Daha fazla bilgi için bkz . Microsoft Azure için Müşteri Kasası.

Depolama için hizmet uç noktası ilkeleri

Müşteriler artık HDInsight kümesi alt ağı üzerinde Hizmet Uç Noktası İlkeleri'ni (SEP) kullanabilir. Azure hizmet uç noktası ilkesi hakkında daha fazla bilgi edinin.

Kullanımdan kalkma

HDInsight 3.6 Spark kümesinde Spark 2.1 ile 2.2’nin kullanımdan kaldırılması

HDInsight 4.0 Spark kümesinde Spark 2.3’ün kullanımdan kaldırılması

HDInsight 4.0 Kafka kümesinde Kafka 1.1’i kullanımdan kaldırma

Davranış değişiklikleri

Dikkat etmeniz gereken hiçbir davranış değişikliği yoktur.

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

Spark, Hadoop ve ML Hizmetleri için farklı Zookeeper SKU'su seçebilme

HDInsight bugün Spark, Hadoop ve ML Services küme türleri için Zookeeper SKU'su değiştirmeyi desteklememektedir. Zookeeper düğümleri için A2_v2/A2 SKU kullanır ve müşteriler bunlar için ücretlendirilmiyor. Gelecek sürümde müşteriler Gerektiğinde Spark, Hadoop ve ML Hizmetleri için Zookeeper SKU'sunu değiştirebilir. A2_v2/A2 dışında SKU'su olan Zookeeper düğümleri ücretlendirilir. Varsayılan SKU hala A2_V2/A2 olacaktır ve ücretsizdir.

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Hive Ambarı Bağlayıcısı sorunu düzeltildi

Önceki sürümde Hive Ambarı bağlayıcısı kullanılabilirliğiyle ilgili bir sorun vardı. Sorun düzeltildi.

Zeppelin not defteri baştaki sıfırları keserek sorunu düzeltildi

Zeppelin, Dize biçimi için tablo çıkışında baştaki sıfırları yanlış kesiliyordu. Bu sorunu bu sürümde düzeltildi.

Bileşen sürümü değişikliği

Bu sürüm için bileşen sürümü değişikliği yok. HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz.

Sürüm tarihi: 11.06.2020

Yeni özellikler

Azure sanal makine ölçek kümelerine geçme

HDInsight, kümeyi şimdi sağlamak için Azure sanal makinelerini kullanır. Bu sürümden itibaren, yeni oluşturulan HDInsight kümeleri Azure sanal makine ölçek kümesini kullanmaya başlar. Değişiklik aşamalı olarak dağıtılıyor. Hataya neden olan bir değişiklik beklememelisiniz. Azure sanal makine ölçek kümeleri hakkında daha fazla bilgi edinin.

HDInsight kümesindeki VM'leri yeniden başlatma

Bu sürümde, yanıt vermeyen düğümleri yeniden başlatmak için HDInsight kümesindeki VM'lerin yeniden başlatılmasını destekliyoruz. Şu anda bunu yalnızca API aracılığıyla yapabilirsiniz, PowerShell ve CLI desteği yoldadır. API hakkında daha fazla bilgi için bu belgeyi inceleyin.

Kullanımdan kalkma

HDInsight 3.6 Spark kümesinde Spark 2.1 ile 2.2’nin kullanımdan kaldırılması

HDInsight 4.0 Spark kümesinde Spark 2.3’ün kullanımdan kaldırılması

HDInsight 4.0 Kafka kümesinde Kafka 1.1’i kullanımdan kaldırma

Davranış değişiklikleri

ESP Spark kümesi baş düğüm boyutu değişikliği

ESP Spark kümesi için izin verilen en düşük baş düğüm boyutu Standard_D13_V2 olarak değiştirilir. Düşük çekirdeklere ve baş düğüm olarak belleğe sahip VM'ler, nispeten düşük CPU ve bellek kapasitesi nedeniyle ESP kümesi sorunlarına neden olabilir. Yayından başlayarak, ESP Spark kümeleri için Standard_D13_V2 ve Standard_E16_V3'den yüksek SKU'ları baş düğüm olarak kullanın.

Baş Düğüm için en az 4 çekirdekli VM gerekir

HDInsight kümelerinin yüksek kullanılabilirliğini ve güvenilirliğini sağlamak için Baş Düğüm için en az 4 çekirdekli VM gerekir. 6 Nisan 2020'den itibaren müşteriler, yeni HDInsight kümeleri için Baş Düğüm olarak yalnızca 4 çekirdekli veya üzeri VM'yi seçebilir. Mevcut kümeler beklenen şekilde çalışmaya devam edecek.

Küme çalışan düğümü sağlama değişikliği

Çalışan düğümlerinin %80'i hazır olduğunda küme işlem aşamasına girer. Bu aşamada müşteriler betikleri ve işleri çalıştırma gibi tüm veri düzlemi işlemlerini gerçekleştirebilir. Ancak müşteriler ölçeği artırma/azaltma gibi bir denetim düzlemi işlemi gerçekleştiremez. Yalnızca silme desteklenir.

İşlem aşamasından sonra küme, kalan %20 çalışan düğümleri için 60 dakika daha bekler. Bu 60 dakikalık sürenin sonunda, tüm çalışan düğümleri hala kullanılabilir olmasa bile küme çalışma aşamasına geçer. Bir küme çalışan aşamaya girdikten sonra bunu normal şekilde kullanabilirsiniz. Hem ölçeği artırma/azaltma gibi denetim planı işlemleri hem de betikleri ve işleri çalıştırma gibi veri planı işlemleri kabul edilir. İstenen çalışan düğümlerinden bazıları kullanılamıyorsa küme kısmi başarı olarak işaretlenir. Başarıyla dağıtılan düğümler için ücretlendirilirsiniz.

HDInsight aracılığıyla yeni hizmet sorumlusu oluşturma

Daha önce, küme oluşturma ile müşteriler Azure portalında bağlı ADLS 1. Nesil hesabına erişmek için yeni bir hizmet sorumlusu oluşturabilir. 15 Haziran 2020'den itibaren HDInsight oluşturma iş akışında yeni hizmet sorumlusu oluşturma işlemi mümkün değildir, yalnızca mevcut hizmet sorumlusu desteklenir. Bkz. Azure Active Directory kullanarak Hizmet Sorumlusu ve Sertifika oluşturma.

Küme oluşturma ile betik eylemleri için zaman aşımı

HDInsight, küme oluşturma ile betik eylemleri çalıştırmayı destekler. Bu sürümden itibaren, küme oluşturma işlemine sahip tüm betik eylemleri 60 dakika içinde bitmelidir veya zaman aşımına ulmalıdır. Çalışan kümelere gönderilen betik eylemleri etkilenmez. Daha fazla ayrıntı için buraya bakın.

Yaklaşan değişiklikler

Dikkat etmeniz gereken yaklaşan hataya neden olan değişiklikler yok.

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Bileşen sürümü değişikliği

HBase 2.0 - 2.1.6

HBase sürümü 2.0 sürümünden 2.1.6 sürümüne yükseltilir.

Spark 2.4.0 - 2.4.4

Spark sürümü 2.4.0 sürümünden 2.4.4 sürümüne yükseltilir.

Kafka 2.1.0 - 2.1.1

Kafka sürümü 2.1.0 sürümünden 2.1.1 sürümüne yükseltilir.

HDInsight 4.0 ad HDInsight 3.6 için geçerli bileşen sürümlerini bu belgede bulabilirsiniz

Bilinen sorunlar

Hive Ambarı Bağlayıcısı sorunu

Bu sürümde Hive Warehouse Bağlayıcısı ile ilgili bir sorun var. Düzeltme bir sonraki sürüme eklenecektir. Bu sürümden önce oluşturulan mevcut kümeler etkilenmez. Mümkünse kümeyi bırakmaktan ve yeniden oluşturmaktan kaçının. Bu konuda daha fazla yardıma ihtiyacınız varsa destek biletini açın.

Yayın tarihi: 09.01.2020

Yeni özellikler

TLS 1.2 zorlaması

Aktarım Katmanı Güvenliği (TLS) ve Güvenli Yuva Katmanı (SSL), bir bilgisayar ağı üzerinden iletişim güvenliği sağlayan şifreleme protokolleridir. TLS hakkında daha fazla bilgi edinin. HDInsight, genel HTTP'nin uç noktaları üzerinde TLS 1.2 kullanır, ancak geriye dönük uyumluluk için TLS 1.1 hala desteklenmektedir.

Bu sürümle, müşteriler yalnızca genel küme uç noktası üzerinden tüm bağlantılar için TLS 1.2'yi kabul edebilir. Bunu desteklemek için minSupportedTlsVersion yeni özelliği kullanıma sunulmuştur ve küme oluşturma sırasında belirtilebilir. Özellik ayarlı değilse, küme tls 1.0, 1.1 ve 1.2'yi desteklemeye devam eder ve bu da bugünün davranışıyla aynıdır. Müşteriler bu özelliğin değerini "1.2" olarak ayarlayabilir ve bu da kümenin yalnızca TLS 1.2 ve üzerini desteklediği anlamına gelir. Daha fazla bilgi için bkz . Aktarım Katmanı Güvenliği.

Disk şifrelemesi için kendi anahtarınızı getirme

HDInsight'taki tüm yönetilen diskler Azure Depolama Hizmeti Şifrelemesi (SSE) ile korunur. Bu disklerdeki veriler varsayılan olarak Microsoft tarafından yönetilen anahtarlar tarafından şifrelenir. Bu sürümden başlayarak, disk şifrelemesi için Kendi Anahtarını Getir (KAG) ve Azure Key Vault kullanarak yönetebilirsiniz. KAG şifrelemesi, küme oluşturma sırasında başka bir maliyet olmadan tek adımlı bir yapılandırmadır. HDInsight'ı Azure Key Vault'a yönetilen kimlik olarak kaydetmeniz ve kümenizi oluştururken şifreleme anahtarını eklemeniz gerekir. Daha fazla bilgi için bkz . Müşteri tarafından yönetilen anahtar disk şifrelemesi.

Kullanımdan kalkma

Bu sürüm için kullanımdan kaldırma yok. Yaklaşan kullanımdan kaldırmalara hazırlanmak için bkz . Yaklaşan değişiklikler.

Davranış değişiklikleri

Bu sürüm için hiçbir davranış değişikliği yok. Yaklaşan değişikliklere hazırlanmak için bkz . Yaklaşan değişiklikler.

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

HDInsight 3.6 Spark kümesinde Spark 2.1 ile 2.2’nin kullanımdan kaldırılması

1 Temmuz 2020'den itibaren müşteriler HDInsight 3.6 üzerinde Spark 2.1 ve 2.2 ile yeni Spark kümeleri oluşturamayacak. Mevcut kümeler Microsoft desteği olmadan, olduğu gibi çalıştırılacak. Olası sistem/destek kesintilerini önlemek için 30 Haziran 2020’ye kadar HDInsight 3.6’da Spark 2.3’e geçmeyi göz önünde bulundurun.

HDInsight 4.0 Spark kümesinde Spark 2.3’ün kullanımdan kaldırılması

1 Temmuz 2020'den itibaren müşteriler HDInsight 4.0 üzerinde Spark 2.3 ile yeni Spark kümeleri oluşturamayacak. Mevcut kümeler Microsoft desteği olmadan, olduğu gibi çalıştırılacak. Olası sistem/destek kesintilerini önlemek için 30 Haziran 2020’ye kadar HDInsight 4.0’da Spark 2.4’e geçmeyi göz önünde bulundurun.

HDInsight 4.0 Kafka kümesinde Kafka 1.1’i kullanımdan kaldırma

1 Temmuz 2020'den itibaren müşteriler HDInsight 4.0 üzerinde Kafka 1.1 ile yeni Kafka kümeleri oluşturamayacaktır. Mevcut kümeler Microsoft desteği olmadan, olduğu gibi çalıştırılacak. Olası sistem/destek kesintilerini önlemek için 30 Haziran 2020’ye kadar HDInsight 4.0’da Kafka 2.1’e geçmeyi göz önünde bulundurun. Daha fazla bilgi için bkz. Apache Kafka iş yüklerini Azure HDInsight 4.0'a geçirme.

HBase 2.0 - 2.1.6

Gelecek HDInsight 4.0 sürümünde HBase sürümü 2.0 sürümünden 2.1.6 sürümüne yükseltilecek

Spark 2.4.0 - 2.4.4

Yaklaşan HDInsight 4.0 sürümünde Spark sürümü 2.4.0 sürümünden 2.4.4 sürümüne yükseltilecek

Kafka 2.1.0 - 2.1.1

Yaklaşan HDInsight 4.0 sürümünde Kafka sürümü 2.1.0 sürümünden 2.1.1 sürümüne yükseltilecek

Baş Düğüm için en az 4 çekirdekli VM gerekir

ESP Spark küme düğümü boyutu değişikliği

Gelecek sürümde, ESP Spark kümesi için izin verilen en düşük düğüm boyutu Standard_D13_V2 olarak değiştirilecektir. A serisi VM'ler, nispeten düşük CPU ve bellek kapasitesi nedeniyle ESP kümesi sorunlarına neden olabilir. Yeni ESP kümeleri oluşturmak için A serisi VM'ler kullanım dışı bırakılacaktır.

Azure sanal makine ölçek kümelerine geçme

HDInsight artık kümeyi sağlamak için Azure sanal makinelerini kullanıyor. Gelecek sürümde HDInsight bunun yerine Azure sanal makine ölçek kümelerini kullanacaktır. Azure sanal makine ölçek kümeleri hakkında daha fazla bilgi edinin.

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Bileşen sürümü değişikliği

Bu sürüm için bileşen sürümü değişikliği yok. HDInsight 4.0 ad HDInsight 3.6 için geçerli bileşen sürümlerini burada bulabilirsiniz.

Sürüm tarihi: 17.12.2019

Bu sürüm hem HDInsight 3.6 hem de 4.0 için geçerlidir.

Yeni özellikler

Hizmet etiketleri

Hizmet etiketleri, Azure hizmetlerine ağ erişimini kolayca kısıtlamanızı sağlayarak Azure sanal makineleri ve Azure sanal ağları için güvenliği basitleştirir. Ağ güvenlik grubu (NSG) kurallarınızda hizmet etiketlerini kullanarak genel olarak veya Azure bölgesine göre belirli bir Azure hizmetine yönelik trafiğe izin verebilir veya trafiği reddedebilirsiniz. Azure, her etiketi temel alan IP adreslerinin bakımını sağlar. Ağ güvenlik grupları (NSG) için HDInsight hizmet etiketleri, sistem durumu ve yönetim hizmetleri için IP adresi gruplarıdır. Bu gruplar, güvenlik kuralı oluşturma karmaşıklığını en aza indirmeye yardımcı olur. HDInsight müşterileri Azure portalı, PowerShell ve REST API aracılığıyla hizmet etiketini etkinleştirebilir. Daha fazla bilgi için bkz . Azure HDInsight için ağ güvenlik grubu (NSG) hizmet etiketleri.

Özel Ambari DB

HDInsight artık Apache Ambari için kendi SQL veritabanınızı kullanmanıza olanak tanır. Bu özel Ambari DB'yi Azure portalından veya Resource Manager şablonu aracılığıyla yapılandırabilirsiniz. Bu özellik, işleme ve kapasite gereksinimleriniz için doğru SQL veritabanını seçmenize olanak tanır. Ayrıca, iş büyümesi gereksinimlerine uyacak şekilde kolayca yükseltebilirsiniz. Daha fazla bilgi için bkz . Özel Ambari DB ile HDInsight kümeleri ayarlama.

Özel Ambari DB.

Kullanımdan kalkma

Bu sürüm için kullanımdan kaldırma yok. Yaklaşan kullanımdan kaldırmalara hazırlanmak için bkz . Yaklaşan değişiklikler.

Davranış değişiklikleri

Bu sürüm için hiçbir davranış değişikliği yok. Yaklaşan davranış değişikliklerine hazırlanmak için bkz . Yaklaşan değişiklikler.

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

Aktarım Katmanı Güvenliği (TLS) 1.2 zorlaması

Aktarım Katmanı Güvenliği (TLS) ve Güvenli Yuva Katmanı (SSL), bir bilgisayar ağı üzerinden iletişim güvenliği sağlayan şifreleme protokolleridir. Daha fazla bilgi için bkz . Aktarım Katmanı Güvenliği. Azure HDInsight kümeleri genel HTTPS uç noktaları üzerinde TLS 1.2 bağlantılarını kabul etse de, eski istemcilerle geriye dönük uyumluluk için TLS 1.1 hala desteklenmektedir.

Sonraki sürümden itibaren, yeni HDInsight kümelerinizi yalnızca TLS 1.2 bağlantılarını kabul edecek şekilde kabul edebilecek ve yapılandırabileceksiniz.

Yılın ilerleyen bölümlerinde, 30.06.2020 tarihinden itibaren Azure HDInsight tüm HTTPS bağlantıları için TLS 1.2 veya sonraki sürümleri zorunlu kılacak. Tüm istemcilerinizin TLS 1.2 veya sonraki sürümlerini işlemeye hazır olduğundan emin olmanızı öneririz.

Azure sanal makine ölçek kümelerine geçme

HDInsight artık kümeyi sağlamak için Azure sanal makinelerini kullanıyor. Şubat 2020'den itibaren (tam tarih daha sonra iletilecektir), HDInsight bunun yerine Azure sanal makine ölçek kümelerini kullanacaktır. Azure sanal makine ölçek kümeleri hakkında daha fazla bilgi edinin.

ESP Spark küme düğümü boyutu değişikliği

Gelecek sürümde:

ESP Spark kümesi için izin verilen en düşük düğüm boyutu Standard_D13_V2 olarak değiştirilir.
A serisi VM'ler, görece düşük CPU ve bellek kapasitesi nedeniyle ESP kümesi sorunlarına neden olabileceğinden yeni ESP kümeleri oluşturmak için kullanım dışı bırakılacaktır.

HBase 2.0 - 2.1

Yaklaşan HDInsight 4.0 sürümünde HBase sürümü 2.0 sürümünden 2.1 sürümüne yükseltilecektir.

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Bileşen sürümü değişikliği

HDInsight 3.6 desteğini 31 Aralık 2020'ye uzattık. Desteklenen HDInsight sürümleri bölümünde daha fazla ayrıntı bulabilirsiniz.

HDInsight 4.0 için bileşen sürümü değişikliği yok.

HDInsight 3.6 üzerinde Apache Zeppelin: 0.7.0-->0.7.3.

En güncel bileşen sürümlerini bu belgeden bulabilirsiniz.

Yeni Bölgeler

Kuzey BAE

KUZEY BAE'nin yönetim IP'leri şunlardır: 65.52.252.96 ve 65.52.252.97.

Sürüm tarihi: 07.11.2019

Bu sürüm hem HDInsight 3.6 hem de 4.0 için geçerlidir.

Yeni özellikler

HDInsight Kimlik Aracısı (HIB) (Önizleme)

HDInsight Kimlik Aracısı (HIB), kullanıcıların çok faktörlü kimlik doğrulaması (MFA) kullanarak Apache Ambari'de oturum açmasını ve Azure Active Directory Etki Alanı Hizmetleri'nde (AAD-DS) parola karmalarına gerek kalmadan gerekli Kerberos biletlerini almalarını sağlar. Şu anda HIB yalnızca Azure Kaynak Yönetimi (ARM) şablonu aracılığıyla dağıtılan kümeler için kullanılabilir.

Kafka REST API Ara Sunucusu (Önizleme)

Kafka REST API Ara Sunucusu, güvenli Azure AD yetkilendirmesi ve OAuth protokolü aracılığıyla Kafka kümesi ile yüksek oranda kullanılabilir REST proxy'nin tek tıklamayla dağıtılabilmesini sağlar.

Otomatik ölçeklendirme

Azure HDInsight için otomatik ölçeklendirme artık Apache Spark ve Hadoop küme türleri için tüm bölgelerde genel kullanıma sunuldu. Bu özellik, büyük veri analizi iş yüklerini daha uygun maliyetli ve üretken bir şekilde yönetmeyi mümkün kılar. Artık HDInsight kümelerinizin kullanımını iyileştirebilir ve yalnızca ihtiyacınız olan kadar ödeme yapabilirsiniz.

Gereksinimlerinize bağlı olarak, yük tabanlı ve zamanlama tabanlı otomatik ölçeklendirme arasından seçim yapabilirsiniz. Yük tabanlı Otomatik Ölçeklendirme geçerli kaynak gereksinimlerine göre küme boyutunun ölçeğini artırıp küçültebilirken, zamanlama tabanlı Otomatik Ölçeklendirme önceden tanımlanmış bir zamanlamaya göre küme boyutunu değiştirebilir.

HBase ve LLAP iş yükü için otomatik ölçeklendirme desteği de genel önizlemedir. Daha fazla bilgi için bkz . Azure HDInsight kümelerini otomatik olarak ölçeklendirme.

Apache HBase için HDInsight Hızlandırılmış Yazma İşlemleri

Hızlandırılmış Yazmalar özelliği Apache HBase Önceden Yazılan Günlük (WAL) performansını geliştirmek için Azure premium SSD yönetilen disklerini kullanır. Daha fazla bilgi için bkz. Apache HBase için Azure HDInsight Hızlandırılmış Yazmalar.

Özel Ambari DB

HDInsight artık müşterilerin Ambari için kendi SQL db'lerini kullanmalarını sağlayan yeni bir kapasite sunuyor. Artık müşteriler Ambari için doğru SQL veritabanını seçebilir ve kendi iş büyüme gereksinimleri temelinde kolayca yükseltebilir. Dağıtım bir Azure Resource Manager şablonuyla gerçekleştirilir. Daha fazla bilgi için bkz . Özel Ambari DB ile HDInsight kümeleri ayarlama.

F serisi sanal makineler artık HDInsight ile kullanılabilir

F serisi sanal makineler (VM'ler), HDInsight'ı hafif işleme gereksinimleriyle kullanmaya başlamak için iyi bir seçimdir. F serisi, saat başına daha düşük bir liste fiyatıyla, vCPU başına Azure İşlem Birimi'ni (ACU) temel alarak Azure portföyündeki fiyat-performans açısından en iyi değerdir. Daha fazla bilgi için bkz . Azure HDInsight kümeniz için doğru VM boyutunu seçme.

Kullanımdan kalkma

G serisi sanal makine kullanımdan kaldırma

Bu sürümden itibaren G serisi VM'ler artık HDInsight'ta sunulmaz.

`Dv1` sanal makinenin kullanımdan kaldırılması

Bu sürümden itibaren HDInsight ile VM kullanımı Dv1 kullanım dışı bırakılmıştır. Tüm müşteri istekleri Dv1 otomatik olarak sunulur Dv2 . ve Dv2 VM'ler arasında Dv1 fiyat farkı yoktur.

Davranış değişiklikleri

Küme yönetilen disk boyutu değişikliği

HDInsight, kümeyle yönetilen disk alanı sağlar. Bu sürümden itibaren, yeni oluşturulan kümedeki her düğümün yönetilen disk boyutu 128 GB olarak değiştirilir.

Yaklaşan değişiklikler

Sonraki sürümlerde aşağıdaki değişiklikler yapılacaktır.

Azure sanal makine ölçek kümelerine geçme

HDInsight artık kümeyi sağlamak için Azure sanal makinelerini kullanıyor. Aralık ayından itibaren HDInsight bunun yerine Azure sanal makine ölçek kümelerini kullanacaktır. Azure sanal makine ölçek kümeleri hakkında daha fazla bilgi edinin.

HBase 2.0 - 2.1

Yaklaşan HDInsight 4.0 sürümünde HBase sürümü 2.0 sürümünden 2.1 sürümüne yükseltilecektir.

ESP kümesi için a serisi sanal makine kullanımdan kaldırma

A serisi VM'ler, nispeten düşük CPU ve bellek kapasitesi nedeniyle ESP kümesi sorunlarına neden olabilir. Gelecek sürümde, yeni ESP kümeleri oluşturmak için A serisi VM'ler kullanım dışı bırakılacaktır.

Hata düzeltmeleri

HDInsight, küme güvenilirliği ve performans geliştirmeleri yapmaya devam eder.

Bileşen sürümü değişikliği

Bu sürüm için bileşen sürümü değişikliği yoktur. HDInsight 4.0 ve HDInsight 3.6 için geçerli bileşen sürümlerini burada bulabilirsiniz.

Yayın Tarihi: 07.08.2019

Bileşen sürümleri

Tüm HDInsight 4.0 bileşenlerinin resmi Apache sürümleri aşağıda verilmiştir. Listelenen bileşenler, kullanılabilir en son kararlı sürümlerin sürümleridir.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

Apache bileşenlerinin sonraki sürümleri, bazen yukarıda listelenen sürümlere ek olarak HDP dağıtımında paketlenir. Bu durumda, bu sonraki sürümler Technical Previews tablosunda listelenir ve üretim ortamında yukarıdaki listenin Apache bileşen sürümlerinin yerini almamalıdır.

Apache düzeltme eki bilgileri

HDInsight 4.0'da kullanılabilen düzeltme ekleri hakkında daha fazla bilgi için aşağıdaki tabloda yer alan her ürün için düzeltme eki listesine bakın.

Ürün adı	Düzeltme eki bilgileri
Ambari	Ambari düzeltme eki bilgileri
Hadoop	Hadoop düzeltme eki bilgileri
HBase	HBase düzeltme eki bilgileri
Hive	Bu sürüm, Hive 3.1.0'a artık Apache düzeltme eki eklememektedir.
Kafka	Bu sürüm, Kafka 1.1.1'e artık Apache düzeltme eki sağlamaz.
Oozie	Oozie yama bilgileri
Phoenix	Phoenix yama bilgileri
Pig	Pig düzeltme eki bilgileri
Ranger	Ranger yama bilgileri
Spark	Spark düzeltme eki bilgileri
Sqoop	Bu sürüm, Sqoop 1.4.7'ye apache düzeltme eki eklemez.
Tez	Bu sürüm, Tez 0.9.1'e artık Apache düzeltme eki sağlamaz.
Zeppelin	Bu sürüm, Zeppelin 0.8.0'a apache düzeltme eki eklememektedir.
Zookeeper	Zookeeper düzeltme eki bilgileri

Ortak Güvenlik Açıkları ve Açığa Çıkarmalar Düzeltildi

Bu sürümde çözülen güvenlik sorunları hakkında daha fazla bilgi için bkz. Hortonworks'ün HDP 3.0.1 için Sabit Ortak Güvenlik Açıkları ve Etkilenmeleri.

Bilinen sorunlar

Varsayılan yükleme ile Güvenli HBase için çoğaltma bozuk

HDInsight 4.0 için aşağıdaki adımları uygulayın:

Kümeler arası iletişimi etkinleştirin.
Etkin baş düğümde oturum açın.

Aşağıdaki komutla çoğaltmayı etkinleştirmek için bir betik indirin:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

komutunu sudo kinit <domainuser>yazın.

Betiği çalıştırmak için aşağıdaki komutu yazın:

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

HDInsight 3.6 için

Etkin HMaster ZK'de oturum açın.

Aşağıdaki komutla çoğaltmayı etkinleştirmek için bir betik indirin:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

komutunu sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>yazın.

Aşağıdaki komutu yazın:

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Phoenix Sqlline, HBase kümesini HDInsight 4.0'a geçirdikten sonra çalışmayı durduruyor

Aşağıdaki adımları yapın:

Aşağıdaki Phoenix tablolarını bırakın:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
Tabloların hiçbirini silemiyorsanız, tablolarla olan bağlantıları temizlemek için HBase'i yeniden başlatın.
sqlline.py komutunu yeniden çalıştırın. Phoenix, 1. adımda silinen tüm tabloları yeniden oluşturur.
HBase verileriniz için Phoenix tablolarını ve görünümlerini yeniden üretin.

Phoenix Sqlline, HDInsight 3.6'dan 4.0'a HBase Phoenix meta verilerini çoğaltdıktan sonra çalışmayı durduruyor

Aşağıdaki adımları yapın:

Çoğaltmayı yapmadan önce hedef 4.0 kümesine gidin ve komutunu yürütür.sqlline.py Bu komut, SYSTEM.MUTEX gibi ve SYSTEM.LOG yalnızca 4.0'da bulunan Phoenix tabloları oluşturur.
Aşağıdaki tabloları bırakın:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
HBase çoğaltmasını başlatma

Kullanımdan kalkma

Apache Storm ve ML hizmetleri HDInsight 4.0'da kullanılamaz.

Yayın Tarihi: 14.04.2019

Yeni özellikler

Yeni güncelleştirmeler ve özellikler aşağıdaki kategorilere ayrılır:

Hadoop ve diğer açık kaynak projeleri güncelleştirme – 20'den fazla açık kaynak projede 1000'den fazla hata düzeltmesine ek olarak, bu güncelleştirme Spark (2.3) ve Kafka'nın (1.0) yeni bir sürümünü içerir.

a. Apache Spark 2.3'teki yeni özellikler

b. Apache Kafka 1.0'daki yeni özellikler
R Server 9.1'i Machine Learning Services 9.3'e güncelleştirin – Bu sürümle, veri bilimciler ve mühendislere apache Spark hızıyla tercih ettikleri dilde sunulan algoritmik yenilikler ve işletimselleştirme kolaylığı ile geliştirilmiş en iyi açık kaynak sağlıyoruz. Bu sürüm, Python desteği eklenerek R Server'da sunulan özelliklere göre genişletilir ve küme adı R Server'dan ML Services'e değiştirilir.
Azure Data Lake Storage 2. Nesil desteği – HDInsight, Azure Data Lake Storage 2. Nesil Önizleme sürümünü destekleyecektir. Kullanılabilir bölgelerde müşteriler, HDInsight kümeleri için Birincil veya İkincil depo olarak bir ADLS 2. Nesil hesabı seçebilir.
HDInsight Kurumsal Güvenlik Paketi Güncelleştirmeleri (Önizleme) – (Önizleme) Sanal Ağ Azure Blob Depolama, ADLS 1. Nesil, Azure Cosmos DB ve Azure DB için Hizmet Uç Noktaları desteği.

Bileşen sürümleri

Tüm HDInsight 3.6 bileşenlerinin resmi Apache sürümleri aşağıda listelenmiştir. Burada listelenen tüm bileşenler, kullanılabilir en son kararlı sürümlerin resmi Apache sürümleridir.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

Birkaç Apache bileşeninin sonraki sürümleri, bazen yukarıda listelenen sürümlere ek olarak HDP dağıtımında paketlenir. Bu durumda, bu sonraki sürümler Technical Previews tablosunda listelenir ve üretim ortamında yukarıdaki listenin Apache bileşen sürümlerinin yerini almamalıdır.

Apache düzeltme eki bilgileri

Hadoop

Bu sürüm Hadoop Common 2.7.3 ve aşağıdaki Apache düzeltme eklerini sağlar:

HADOOP-13190: KMS HA belgelerinde LoadBalancingKMSClientProvider'dan bahsedin.
HADOOP-13227: AsyncCallHandler, zaman uyumsuz çağrıları işlemek için olay odaklı bir mimari kullanmalıdır.
HADOOP-14104: İstemci her zaman kms sağlayıcı yolu için namenode istemelidir.
HADOOP-14799: nimbus-jose-jwt değerini 4.41.1 olarak güncelleştirin.
HADOOP-14814: FsServerDefaults'ta HADOOP-14104 ile uyumsuz API değişikliği düzeltildi.
HADOOP-14903: pom.xml açıkça json-smart ekleyin.
HADOOP-15042: NumberOfPagesRemaining 0 olduğunda Azure PageBlobInputStream.skip() negatif değer döndürebilir.
HADOOP-15255: LdapGroupsMapping'teki grup adları için Büyük/Küçük harf dönüştürme desteği.
HADOOP-15265: json-smart'i açıkça hadoop-auth pom.xml hariç tutun.
HDFS-7922: ShortCircuitCache#close, ScheduledThreadPoolExecutors'ı serbest bırakmıyor.
HDFS-8496: FSDatasetImpl kilidi tutularak stopWriter() çağrısı diğer iş parçacıklarını (cmccabe) engelleyebilir.
HDFS-10267: FsDatasetImpl#recoverAppend ve FsDatasetImpl#recoverClose üzerinde fazladan "eşitlenmiş".
HDFS-10489: HDFS şifreleme bölgeleri için dfs.encryption.key.provider.uri'yi kullanımdan kaldırın.
HDFS-11384: NameNode'un rpc'sini önlemek için dengeleyicinin getBlocks çağrılarını dağıtma seçeneği ekleyin. CallQueueLength ani artışı.
HDFS-11689: Ayrılmış hacky kovan kodu tarafından DFSClient%isHDFSEncryptionEnabled oluşturulan yeni özel durum.
HDFS-11711: DN, "Çok fazla açık dosya" Özel Durumu'nda bloğu silmemelidir.
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay sık sık başarısız oluyor.
HDFS-12781: Aşağı indikten sonra Datanode , Namenode Kullanıcı Arabirimi Datanode sekmesinde uyarı iletisi oluşturulur.
HDFS-13054: Silme çağrısında PathIsNotEmptyDirectoryException'ı DFSClient işleme.
HDFS-13120: Anlık görüntü fark, concat'den sonra bozulabilir.
YARN-3742: Oluşturma zaman aşımına uğradıysa ZKClient YARN RM kapatılır.
YARN-6061: RM'deki kritik iş parçacıkları için UncaughtExceptionHandler ekleyin.
YARN-7558: UI kimlik doğrulaması etkinleştirildiyse yarn logs komutu kapsayıcıları çalıştırmak için günlükleri alamaz.
YARN-7697: Günlük toplama işlemi tamamlanmış olsa bile tamamlanmış uygulama için günlükleri getirme işlemi başarısız oluyor.

HDP 2.6.4 Hadoop Common 2.7.3 ve aşağıdaki Apache düzeltme eklerini sağladı:

HADOOP-13700: Çöp Sepeti'nden unthrown'u IOException kaldırın#initialize ve #getInstance imzaları.
HADOOP-13709: İşlem çıktığında Shell tarafından oluşturulan alt işlemleri temizleme özelliği.
HADOOP-14059: rename(self, subdir) hata iletisinde s3a yazım hatası.
HADOOP-14542: slf4j günlükçü API'sini kabul eden IOUtils.cleanupWithLogger ekleyin.
HDFS-9887: WebHdfs yuva zaman aşımları yapılandırılabilir olmalıdır.
HDFS-9914: Yapılandırılabilir WebhDFS bağlantısı/okuma zaman aşımı düzeltildi.
MAPREDUCE-6698: TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser üzerinde zaman aşımını artırın.
YARN-4550: TestContainerLanch'taki bazı testler İngilizce olmayan yerel ayar ortamında başarısız olur.
YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir, temizleme işleminden IllegalArgumentException nedeniyle aralıklı olarak başarısız oluyor.
YARN-5042: /sys/fs/cgroup dosyasını salt okunur olarak Docker kapsayıcılarına bağlayın.
YARN-5318: TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider'ın aralıklı test hatası düzeltildi.
YARN-5641: Kapsayıcı tamamlandıktan sonra yerelleştirici tarballs arkasında bırakır.
YARN-6004: TestResourceLocalizationService#testDownloadingResourcesOnContainer'ı 150'den az satır olacak şekilde yeniden düzenleme.
YARN-6078: Kapsayıcılar Yerelleştirme durumunda takıldı.
YARN-6805: Null PrivilegedOperationException çıkış kodu nedeniyle LinuxContainerExecutor'da NPE.

HBase

Bu sürüm HBase 1.1.2 ve aşağıdaki Apache düzeltme eklerini sağlar.

HBASE-13376: Stokastik yük dengeleyici geliştirmeleri.
HBASE-13716: Hadoop'un FSConstants'larını kullanmayı bırakın.
HBASE-13848: Kimlik Bilgisi Sağlayıcısı API'si aracılığıyla InfoServer SSL parolalara erişin.
HBASE-13947: AssignmentManager'da Sunucu yerine MasterServices kullanın.
HBASE-14135: HBase Yedekleme/Geri Yükleme Aşama 3: Yedekleme görüntülerini birleştirme.
HBASE-14473: İşlem bölgesi yerelliği paralel olarak.
HBASE-14517: Sürümü ana durum sayfasında göster regionserver's .
HBASE-14606: TestSecureLoadIncrementalHFiles testleri apache üzerinde gövde derlemesinde zaman aşımına uğradı.
HBASE-15210: Milisaniye başına onlarca satırda agresif yük dengeleyici günlüğünü geri alın.
HBASE-15515: Balancer'da LocalityBasedCandidateGenerator'ı geliştirin.
HBASE-15615: Yeniden deneme gerektiğinde RegionServerCallable yanlış uyku süresi.
HBASE-16135: Kaldırılan eşlerin rs altındaki PeerClusterZnode hiçbir zaman silinmeyebilir.
HBASE-16570: Başlangıçta paralel olarak işlem bölgesi yerelliği.
HBASE-16810: HBase Balancer, /hbase/draining znode içindeyken regionservers ArrayIndexOutOfBoundsException oluşturur ve kaldırılır.
HBASE-16852: TestDefaultCompactSelection branch-1.3 üzerinde başarısız oldu.
HBASE-17387: Multi() için RegionActionResult özel durum raporunun yükünü azaltın.
HBASE-17850: Yedekleme sistemi onarım yardımcı programı.
HBASE-17931: Sistem tablolarını en yüksek sürüme sahip sunuculara atayın.
HBASE-18083: Büyük/küçük dosya temiz iş parçacığı numarasını HFileCleaner'da yapılandırılabilir hale getirin.
HBASE-18084: Daha fazla disk alanı tüketen CleanerChore'ı dizinden temizlemek için geliştirin.
HBASE-18164: Çok daha hızlı yerellik maliyeti işlevi ve aday oluşturucu.
HBASE-18212: Yerel dosya sistemiyle tek başına modda HBase günlükleri Uyarı iletisi: org.apache.hadoop.fs.FSDataInputStream sınıfında 'unbuffer' yöntemi çağrılamadı.
HBASE-18808: BackupLogCleaner#getDeletableFiles() içinde etkisiz yapılandırma denetimi.
HBASE-19052: FixedFileTrailer, branch-1.x içindeki CellComparatorImpl sınıfını tanımalıdır.
HBASE-19065: HRegion#bulkLoadHFiles() eşzamanlı Region#flush() öğesinin bitmesini beklemelidir.
HBASE-19285: Tablo başına gecikme süresi histogramları ekleyin.
HBASE-19393: SSL kullanarak HBase kullanıcı arabirimine erişirken HTTP 413 FULL head.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting NPE ile başarısız oluyor.
HBASE-19421: branch-1, Hadoop 3.0.0'a karşı derlenmiyor.
HBASE-19934: Okuma amaçlı çoğaltmalar etkinleştirildiğinde ve bölge bölündükten sonra çevrimiçi anlık görüntü alındığında HBaseSnapshotException.
HBASE-20008: [backport] Bölgeyi böldükten sonra anlık görüntü geri yüklenirken NullPointerException.

Hive

Bu sürüm, aşağıdaki düzeltme eklerine ek olarak Hive 1.2.1 ve Hive 2.1.0 sağlar:

Hive 1.2.1 Apache düzeltme ekleri:

HIVE-10697: ObjectInspectorConvertors#UnionConvertor hatalı bir dönüştürme yapar.
HIVE-11266: dış tablolar için tablo istatistiklerine göre count(*) yanlış sonuç.
HIVE-12245: HBase destekli tablo için sütun açıklamalarını destekler.
HIVE-12315: Vektörleştirilmiş çift bölmeyi sıfıra düzeltme.
HIVE-12360: Koşul gönderimi ile sıkıştırılmamış ORC'de kötü arama.
HIVE-12378: HBaseSerDe.serialize ikili alanında özel durum.
HIVE-12785: Birleşim türüne sahip görünüm ve yapıya UDF bozuk.
HIVE-14013: Açıklama tablosu unicode'u düzgün göstermiyor.
HIVE-14205: Hive, AVRO dosya biçiminde birleşim türünü desteklemez.
HIVE-14421: FS.deleteOnExit, _tmp_space.db dosyalarına başvurular tutar.
HIVE-15563: Gerçek özel durumu ortaya çıkarmak için SQLOperation.runQuery'de Geçersiz İşlem durumu geçiş özel durumunu yoksayın.
HIVE-15680: HIVE modunda hive.optimize.index.filter=true ve aynı ORC tablosuna sorguda iki kez başvurulduğunda yanlış sonuçlar elde edilir.
HIVE-15883: Hive eklemesinde HBase eşlenen tablo ondalık için başarısız oldu.
HIVE-16232: QuotedIdentifier'daki sütunlar için istatistik hesaplamasını destekler.
HIVE-16828: CBO etkinleştirildiğinde, bölümlenmiş görünümlerdeki sorgu IndexOutOfBoundException oluşturur.
HIVE-17013: Bir görünüm üzerinden seçmeye göre bir alt sorguyla isteği silin.
HIVE-17063: Bölüm bırakıldığında dış tabloya üzerine yazma bölümü ekle başarısız oluyor.
HIVE-17259: Hive JDBC, UNIONTYPE sütunlarını tanımıyor.
HIVE-17419: TABLO ÇÖZÜMLE... SÜTUNLAR İçİn İşlem İSTATİSTİkLerİ komutu maskelenmiş tablolar için hesaplanan istatistikleri gösterir.
HIVE-17530: dönüştürürken uniontypeClassCastException.
HIVE-17621: HCatInputFormat bölme hesaplaması sırasında Hive site ayarları yoksayılır.
HIVE-17636: için blobstoresmultiple_agg.q testi ekleyin.
HIVE-17729: Veritabanı Ekleme ve İlgili blobstore testlerini açıklama.
HIVE-17731: HIVE-11985'e dış kullanıcılar için geriye dönük compat bir seçenek ekleyin.
HIVE-17803: Pig çoklu sorgusuyla, aynı tabloya yazan 2 HCatStorer birbirinin çıkışlarını ayaklar altına alır.
HIVE-17829: ArrayIndexOutOfBoundsException - içinde Hive2Avro şeması olan HBASE destekli tablolar.
HIVE-17845: Hedef tablo sütunları küçük harf değilse ekleme başarısız olur.
HIVE-17900: Compactor tarafından tetiklenen sütunlardaki istatistikleri analiz etmek, 1 bölüm sütunuyla > hatalı biçimlendirilmiş SQL oluşturur.
HIVE-18026: Hive webhcat asıl yapılandırma iyileştirmesi.
HIVE-18031: Alter Database işlemi için çoğaltmayı destekler.
HIVE-18090: meta veri deposu hadoop kimlik bilgileriyle bağlandığında asit sinyali başarısız oluyor.
HIVE-18189: hive.groupby.orderby.position.alias değeri true olarak ayarlandığında yanlış sonuçlar döndüren hive sorgusu.
HIVE-18258: Vektörleştirme: Yinelenen sütunlarla Azaltma Tarafı GROUP BY MERGEPARTIAL bozuk.
HIVE-18293: HiveMetaStore çalıştıran kimliğe ait olmayan bir klasörde yer alan tabloları sıkıştıramıyor.
HIVE-18327: MiniHiveKdc için gereksiz HiveConf bağımlılığını kaldırın.
HIVE-18341: Aynı şifreleme anahtarlarıyla TDE için "ham" ad alanı eklemek için repl yük desteği ekleyin.
HIVE-18352: Diğer araçların tümleştirilmesine izin vermek için REPL DUMP işlemi yaparken METADATAONLY seçeneğini tanıtın.
HIVE-18353: CompactorMR, temizlemeyi tetiklemesi için jobclient.close() öğesini çağırmalıdır.
HIVE-18390: ColumnPruner'da bölümlenmiş bir görünüm sorgulanırken IndexOutOfBoundsException.
HIVE-18429: Sıkıştırma, çıkış üretmediğinde bir olayı işlemelidir.
HIVE-18447: JDBC: JDBC kullanıcılarının tanımlama bilgisi bilgilerini bağlantı dizesi aracılığıyla geçirmesi için bir yol sağlayın.
HIVE-18460: Sıkıştırıcı, Ork yazıcısına Tablo özelliklerini geçirmez.
HIVE-18467: Tüm ambar dökümü / yük + oluşturma/bırakma veritabanı olaylarını destekleyin (Anishek Agarwal, Sankar Hariappan tarafından gözden geçirildi).
HIVE-18551: Vektörleştirme: VectorMapOperator, Karma Yetkisiz Kullanım için çok fazla vektör sütunu yazmaya çalışır.
HIVE-18587: DML olayı ekleme dizinlerde sağlama toplamı hesaplamaya çalışabilir.
HIVE-18613: JsonSerDe'yi IKILI türünü destekleyecek şekilde genişletin.
HIVE-18626: Repl load "with" yan tümcesi, yapılandırmayı görevlere geçirmez.
HIVE-18660: PCR, bölümle sanal sütunları ayırt etmez.
HIVE-18754: REPL STATUS , 'with' yan tümcesini desteklemelidir.
HIVE-18754: REPL STATUS , 'with' yan tümcesini desteklemelidir.
HIVE-18788: JDBC PreparedStatement içindeki girişleri temizleyin.
HIVE-18794: Repl load "with" yan tümcesi, bölümlenmeyen tablolar için yapılandırmayı görevlere geçirmez.
HIVE-18808: İstatistik güncelleştirmesi başarısız olduğunda sıkıştırmayı daha sağlam hale getirin.
HIVE-18817: ACID tablosunun okunduğu sırada ArrayIndexOutOfBounds özel durumu.
HIVE-18833: "orcfile olarak dizine eklendiğinde" Otomatik Birleştirme başarısız oluyor.
HIVE-18879: Classpath'te xercesImpl.jar UDFXPathUtil'de katıştırılmış öğeye izin verme seçeneğinin çalışması gerekir.
HIVE-18907: HIVE-18817'den asit anahtar dizini sorununu düzeltmek için yardımcı program oluşturun.

Hive 2.1.0 Apache Düzeltme Ekleri:

HIVE-14013: Açıklama tablosu unicode'u düzgün göstermiyor.
HIVE-14205: Hive, AVRO dosya biçiminde birleşim türünü desteklemez.
HIVE-15563: Gerçek özel durumu ortaya çıkarmak için SQLOperation.runQuery'de Geçersiz İşlem durumu geçiş özel durumunu yoksayın.
HIVE-15680: HIVE modunda hive.optimize.index.filter=true ve aynı ORC tablosuna sorguda iki kez başvurulduğunda yanlış sonuçlar elde edilir.
HIVE-15883: Hive eklemesinde HBase eşlenen tablo ondalık için başarısız oldu.
HIVE-16757: Kullanım dışı bırakılan AbstractRelNode.getRows çağrılarını kaldırın.
HIVE-16828: CBO etkinleştirildiğinde, bölümlenmiş görünümlerdeki sorgu IndexOutOfBoundException oluşturur.
HIVE-17063: Bölüm bırakıldığında dış tabloya üzerine yazma bölümü ekle başarısız oluyor.
HIVE-17259: Hive JDBC, UNIONTYPE sütunlarını tanımıyor.
HIVE-17530: dönüştürürken uniontypeClassCastException.
HIVE-17600: OrcFile'ın enforceBufferSize kullanıcı tarafından ayarlanabilir olmasını sağlayın.
HIVE-17601: LlapServiceDriver'da hata işlemeyi geliştirin.
HIVE-17613: Kısa, aynı iş parçacığı ayırmaları için nesne havuzlarını kaldırın.
HIVE-17617: Boş bir sonuç kümesinin toplaması, boş gruplandırma kümesinin gruplandırması içermelidir.
HIVE-17621: HCatInputFormat bölme hesaplaması sırasında Hive site ayarları yoksayılır.
HIVE-17629: CachedStore: Tabloların/bölümlerin seçmeli önbelleğe alınmasını ve önceden hazırlama sırasında okunmasına izin vermek için onaylı/onaylanmamış bir yapılandırmaya sahip olun.
HIVE-17636: için blobstoresmultiple_agg.q testi ekleyin.
HIVE-17702: ORC'de ondalık okuyucuda yanlış isRepeating işlemesi.
HIVE-17729: Veritabanı Ekleme ve İlgili blobstore testlerini açıklama.
HIVE-17731: HIVE-11985'e dış kullanıcılar için geriye dönük compat bir seçenek ekleyin.
HIVE-17803: Pig çoklu sorgusuyla, aynı tabloya yazan 2 HCatStorer birbirinin çıkışlarını ayaklar altına alır.
HIVE-17845: Hedef tablo sütunları küçük harf değilse ekleme başarısız olur.
HIVE-17900: Compactor tarafından tetiklenen sütunlardaki istatistikleri analiz etmek, 1 bölüm sütunuyla > hatalı biçimlendirilmiş SQL oluşturur.
HIVE-18006: HLLDenseRegister'ın bellek ayak izini iyileştirin.
HIVE-18026: Hive webhcat asıl yapılandırma iyileştirmesi.
HIVE-18031: Alter Database işlemi için çoğaltmayı destekler.
HIVE-18090: meta veri deposu hadoop kimlik bilgileriyle bağlandığında asit sinyali başarısız oluyor.
HIVE-18189: Konuma göre sıralama devre dışı bırakıldığında cbo çalışmaz.
HIVE-18258: Vektörleştirme: Yinelenen sütunlarla Azaltma Tarafı GROUP BY MERGEPARTIAL bozuk.
HIVE-18269: LLAP: Yavaş işlem hattına sahip hızlı llap io, OOM'ye yol açabilir.
HIVE-18293: HiveMetaStore çalıştıran kimliğe ait olmayan bir klasörde yer alan tabloları sıkıştıramıyor.
HIVE-18318: LLAP kayıt okuyucusu engellemediğinde bile kesmeyi denetlemelidir.
HIVE-18326: LLAP Tez zamanlayıcı - yalnızca aralarında bir bağımlılık varsa önceden atanan görevler.
HIVE-18327: MiniHiveKdc için gereksiz HiveConf bağımlılığını kaldırın.
HIVE-18331: TGT'nin süresi dolduğunda yeniden oturum açma ve bazı günlük/lambda ekleme.
HIVE-18341: Aynı şifreleme anahtarlarıyla TDE için "ham" ad alanı eklemek için repl yük desteği ekleyin.
HIVE-18352: Diğer araçların tümleştirilmesine izin vermek için REPL DUMP işlemi yaparken METADATAONLY seçeneğini tanıtın.
HIVE-18353: CompactorMR, temizlemeyi tetiklemesi için jobclient.close() öğesini çağırmalıdır.
HIVE-18384: Kitaplıkta log4j2.x ConcurrentModificationException.
HIVE-18390: ColumnPruner'da bölümlenmiş bir görünüm sorgulanırken IndexOutOfBoundsException.
HIVE-18447: JDBC: JDBC kullanıcılarının tanımlama bilgisi bilgilerini bağlantı dizesi aracılığıyla geçirmesi için bir yol sağlayın.
HIVE-18460: Sıkıştırıcı, Ork yazıcısına Tablo özelliklerini geçirmez.
HIVE-18462: (Eşleme birleştirmesi olan sorgular için biçimlendirilmiş açıklama, biçimlendirilmemiş sütun adına sahip columnExprMap'e sahiptir).
HIVE-18467: tüm ambar dökümü / yük + veritabanı oluşturma/bırakma olaylarını destekleyin.
HIVE-18488: LLAP ORC okuyucularda bazı null denetimler eksik.
HIVE-18490: Koşul olmayan koşula sahip VAR ve YOK olan sorgu yanlış sonuç verebilir.
HIVE-18506: LlapBaseInputFormat - negatif dizi dizini.
HIVE-18517: Vektörleştirme: VECTORMAPOperator'ı VRB'leri kabul edecek şekilde düzeltin ve LLAP Önbelleğini desteklemek için vektörleştirilmiş bayrağı doğru şekilde denetleyin).
HIVE-18523: Giriş olmaması durumunda özet satırını düzeltin.
HIVE-18528: ObjectStore'daki toplam istatistikler yanlış sonuç alıyor.
HIVE-18530: Çoğaltma mm tablosunu atlamalıdır (şimdilik).
HIVE-18548: İçeri aktarmayı düzeltin log4j .
HIVE-18551: Vektörleştirme: VectorMapOperator, Karma Yetkisiz Kullanım için çok fazla vektör sütunu yazmaya çalışır.
HIVE-18577: SemanticAnalyzer.validate bazı anlamsız meta veri deposu çağrıları var.
HIVE-18587: DML olayı ekleme dizinlerde sağlama toplamı hesaplamaya çalışabilir.
HIVE-18597: LLAP: API jar dosyasını her zaman için org.apache.log4jpaketlelog4j2.
HIVE-18613: JsonSerDe'yi IKILI türünü destekleyecek şekilde genişletin.
HIVE-18626: Repl load "with" yan tümcesi, yapılandırmayı görevlere geçirmez.
HIVE-18643: ACID işlemleri için arşivlenmiş bölümleri denetlemeyin.
HIVE-18660: PCR, bölümle sanal sütunları ayırt etmez.
HIVE-18754: REPL STATUS , 'with' yan tümcesini desteklemelidir.
HIVE-18788: JDBC PreparedStatement içindeki girişleri temizleyin.
HIVE-18794: Repl load "with" yan tümcesi, bölümlenmeyen tablolar için yapılandırmayı görevlere geçirmez.
HIVE-18808: İstatistik güncelleştirmesi başarısız olduğunda sıkıştırmayı daha sağlam hale getirin.
HIVE-18815: HPL/SQL'de kullanılmayan özelliği kaldırın.
HIVE-18817: ACID tablosunun okunduğu sırada ArrayIndexOutOfBounds özel durumu.
HIVE-18833: "orcfile olarak dizine eklendiğinde" Otomatik Birleştirme başarısız oluyor.
HIVE-18879: Classpath'te xercesImpl.jar UDFXPathUtil'de katıştırılmış öğeye izin verme seçeneğinin çalışması gerekir.
HIVE-18944: DPP sırasında gruplandırma kümeleri konumu yanlış ayarlandı.

Kafka

Bu sürüm Kafka 1.0.0 ve aşağıdaki Apache düzeltme eklerini sağlar.

KAFKA-4827: Kafka connect: bağlayıcı adında özel karakterlerle hata oluştu.
KAFKA-6118: Kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials içinde geçici hata.
KAFKA-6156: JmxReporter, Windows stili dizin yollarını işleyemez.
KAFKA-6164: ClientQuotaManager iş parçacıkları, günlükleri yüklerken bir hatayla karşılaşıldığında kapanmayı engeller.
KAFKA-6167: Streams dizinindeki zaman damgası geçersiz bir karakter olan iki nokta üst üste işareti içeriyor.
KAFKA-6179: RecordQueue.clear() MinTimestampTracker'ın korunan listesini temizlemez.
KAFKA-6185: Aşağı dönüştürme varsa OOM olasılığı yüksek olan seçici bellek sızıntısı.
KAFKA-6190: GlobalKTable, işlem iletilerini kullanırken geri yüklemeyi hiçbir zaman tamamlamaz.
KAFKA-6210: Inter.broker.protocol.version veya log.message.format.version için 1.0.0 kullanılıyorsa IllegalArgumentException.
KAFKA-6214: Bellek durum deposunda bekleyen çoğaltmaların kullanılması Akışların kilitlenmesine neden olur.
KAFKA-6215: KafkaStreamsTest gövdede başarısız oluyor.
KAFKA-6238: 1.0.0'a sıralı yükseltme uygularken protokol sürümüyle ilgili sorunlar.
KAFKA-6260: AbstractCoordinator NULL Özel Durumunu açıkça işlemez.
KAFKA-6261: İstek günlüğü, acks=0 ise özel durum oluşturur.
KAFKA-6274: Kaynak durum deposu otomatik olarak oluşturulan adları geliştirin KTable .

Mahout

HDP-2.3.x ve 2.4.x sürümlerinde, Mahout'un belirli bir Apache sürümünü göndermek yerine Apache Mahout gövdesindeki belirli bir düzeltme noktasına eşitledik. Bu düzeltme noktası 0.9.0 sürümünden sonra, ancak 0.10.0 sürümünden öncedir. Bu, 0.9.0 sürümü boyunca çok sayıda hata düzeltmesi ve işlevsel geliştirme sağlar, ancak 0.10.0 sürümünde yeni Spark tabanlı Mahout'a tam dönüştürmeden önce Mahout işlevselliğinin kararlı bir sürümünü sağlar.

HDP 2.3.x ve 2.4.x'te Mahout için seçilen düzeltme noktası, Apache Mahout'un "mahout-0.10.x" dalından, 19 Aralık 2014 itibarıyla GitHub'da 0f037cb03e77c096 düzeltmesinden alınacaktır.

HDP-2.5.x ve 2.6.x sürümlerinde, "commons-httpclient" kitaplığını Mahout'tan kaldırdık çünkü bunu olası güvenlik sorunları olan eski bir kitaplık olarak görüntüledik ve Mahout'taki Hadoop-Client'ı HDP-2.5'te kullanılan sürüm olan 2.7.3 sürümüne yükselttik. Sonuç olarak:

Önceden derlenmiş Mahout işlerinin HDP-2.5 veya 2.6 ortamında yeniden derlenmiş olması gerekir.
Bazı Mahout işlerinin "org.apache.commons.httpclient", "net.java.dev.jets3t" veya ilgili sınıf adı ön ekleriyle ilgili "ClassNotFoundException" veya "sınıf yüklenemedi" hatalarıyla karşılaşma olasılığı küçük olabilir. Bu hatalar oluşursa, ortamınızda eski kitaplıktaki güvenlik sorunları riski kabul edilebilirse, iş için gerekli jar'ları sınıf yolunuzda el ile yükleyip yüklemeyemeyeceğinizi düşünebilirsiniz.
İkili uyumluluk sorunları nedeniyle bazı Mahout işlerinin hadoop-common kitaplıklarına yapılan hbase-client kod çağrılarında kilitlenmelerle karşılaşma olasılığı daha da küçüktür. Ne yazık ki, güvenlik sorunları olabilecek Mahout'un HDP-2.4.2 sürümüne geri dönmek dışında bu sorunu çözmenin bir yolu yoktur. Yine, bu olağan dışı olmalıdır ve herhangi bir Mahout iş paketinde gerçekleşme olasılığı düşüktür.

Oozie

Bu sürüm, Oozie 4.2.0'a aşağıdaki Apache düzeltme eklerini sağlar.

OOZIE-2571: Scala 2.11'in kullanılabilmesi için spark.scala.binary.version Maven özelliği ekleyin.
OOZIE-2606: Spark 2.0'ı Oozie ile düzeltmek için spark.yarn.jars ayarlayın.
OOZIE-2658: --driver-class-path, SparkMain'de sınıf yolunun üzerine yazabilir.
OOZIE-2787: Oozie, spark işinin başarısız olmasına neden olan uygulama jar'ını iki kez dağıtır.
OOZIE-2792: Hive2 Hive Spark üzerindeyken eylem Spark uygulama kimliğini günlük dosyasından düzgün ayrıştırmıyor.
OOZIE-2799: Hive üzerinde spark sql için günlük konumunu ayarlama.
OOZIE-2802: Yinelenen sharelibsnedeniyle Spark 2.1.0'da Spark eylem hatası.
OOZIE-2923: Spark seçeneklerini ayrıştırma özelliğini geliştirin.
OOZIE-3109: SCA: Siteler Arası Betik Oluşturma: Yansıtıldı.
OOZIE-3139: Oozie iş akışını yanlış doğrular.
OOZIE-3167: Oozie 4.3 dalında tomcat sürümünü yükseltin.

Phoenix

Bu sürüm Phoenix 4.7.0 ve aşağıdaki Apache düzeltme eklerini sağlar:

PHOENIX-1751: postScannerOpen yerine preScannerNext içinde toplamalar, sıralama vb. gerçekleştirin.
PHOENIX-2714: BaseResultIterators'da bayt tahminlerini düzeltin ve arabirim olarak kullanıma sunun.
PHOENIX-2724: Çok sayıda kılavuzposta sahip sorgu, istatistik olmadan daha yavaştır.
PHOENIX-2855: Geçici çözüm: HBase 1.2 için Zaman Aralığını Artırma Serileştirilmiyor.
PHOENIX-3023: Sınır sorguları varsayılan olarak paralel olarak yürütülürken yavaş performans.
PHOENIX-3040: Sorguları seri olarak yürütmek için kılavuzposts kullanmayın.
PHOENIX-3112: Kısmi satır taraması doğru işlenmiyor.
PHOENIX-3240: Pig yükleyiciden ClassCastException.
PHOENIX-3452: NULLS FIRST/NULL LAST, GROUP BY'ın sırayı koruyup korumadığını etkilemez.
PHOENIX-3469: NULLS LAST/NULLS FIRST için DESC birincil anahtarı için yanlış sıralama düzeni.
PHOENIX-3789: postBatchMutateIndispensably içinde bölgeler arası dizin bakım çağrıları yürütür.
PHOENIX-3865: IS NULL, ilk sütun ailesi filtrelenmediğinde doğru sonuçları döndürmez.
PHOENIX-4290: Sabit dizinlere sahip tablo ile DELETE için tam tablo taraması gerçekleştirildi.
PHOENIX-4373: Yerel dizin değişken uzunluğu anahtarı, yukarı doğrularken sondaki null değerlerine sahip olabilir.
PHOENIX-4466: java.lang.RuntimeException: yanıt kodu 500 - Phoenix sorgu sunucusuna bağlanmak ve verileri yüklemek için spark işi yürütme.
PHOENIX-4489: Phoenix MR Jobs'da HBase Bağlantı sızıntısı.
PHOENIX-4525: GroupBy yürütmesinde tamsayı taşması.
PHOENIX-4560: ORDER BY with GROUP BY , sütunda pk WHERE varsa çalışmaz.
PHOENIX-4586: UPSERT SELECT, alt sorgular için hesaba karşılaştırma işleçleri almaz.
PHOENIX-4588: Çocuklarının Determinism.PER_INVOCATION varsa da klon ifadesi.

Pig

Bu sürüm, Pig 0.16.0'a aşağıdaki Apache düzeltme eklerini sağlar.

PIG-5159: Pig'in kirli geçmişi kaydetmemesi düzeltildi.
PIG-5175: 1.7.26 sürümüne yükseltin jruby .

Ranger

Bu sürüm Ranger 0.7.0 ve aşağıdaki Apache düzeltme eklerini sağlar:

RANGER-1805: Js'de en iyi yöntemleri izlemek için kod geliştirme.
RANGER-1960: Silme için anlık görüntünün tablo adını dikkate alın.
RANGER-1982: Ranger Yöneticisi ve Ranger KMS Analiz Ölçümü için Hata İyileştirmesi.
RANGER-1984: HBase denetim günlüğü kayıtları, erişilen sütunla ilişkili tüm etiketleri göstermeyebilir.
RANGER-1988: Güvenli olmayan rastgeleliği düzeltin.
RANGER-1990: Ranger Admin'de Tek yönlü SSL MySQL desteği ekleyin.
RANGER-2006: Eşitleme kaynağı için ldap ranger'da usersync statik kod analizi tarafından algılanan sorunları düzeltin.
RANGER-2008: Çok satırlı ilke koşulları için ilke değerlendirmesi başarısız oluyor.

Kaydırıcı

Bu sürüm, artık Apache düzeltme ekleri içermeyen Slider 0.92.0 sağlar.

Spark

Bu sürüm Spark 2.3.0 ve aşağıdaki Apache düzeltme eklerini sağlar:

SPARK-13587: Pyspark'ta virtualenv desteği.
SPARK-19964: SparkSubmitSuite'da uzak depolardan okumaktan kaçının.
SPARK-22882: Yapılandırılmış akış için ML testi: ml.classification.
SPARK-22915: Spark.ml.feature için N'den Z'ye akış testleri.
SPARK-23020: İşlem içi başlatıcı testinde başka bir yarışı düzeltin.
SPARK-23040: Karıştırma okuyucu için kesilebilir yineleyici döndürür.
SPARK-23173: JSON'dan veri yüklerken bozuk parke dosyaları oluşturmaktan kaçının.
SPARK-23264: Scala'nın düzeltilmesi. Literals.sql.out'ta MatchError.
SPARK-23288: Parquet havuzu ile çıkış ölçümlerini düzeltin.
SPARK-23329: Trigonometrik işlevlerin belgeleri düzeltildi.
SPARK-23406: Branch-2.3 için akış akışı kendi kendine birleşimlerini etkinleştirin.
SPARK-23434: Spark, HDFS dosya yolu için 'meta veri dizinini' uyarmamalıdır.
SPARK-23436: Bölümün Tarih olarak çıkarılabilmesi için Date olarak yayınlanması gerekir.
SPARK-23457: Görev tamamlama dinleyicilerini önce ParquetFileFormat'a kaydedin.
SPARK-23462: 'StructType' içinde eksik alan hata iletisini iyileştirin.
SPARK-23490: CreateTable'da mevcut tabloyla storage.locationUri dosyasını denetleyin.
SPARK-23524: Büyük yerel karıştırma blokları bozulma açısından denetlenmemelidir.
SPARK-23525: Dış hive tablosu için ALTER TABLE CHANGE COLUMN COMMENT desteği.
SPARK-23553: Testler varsayılan 'spark.sql.sources.default' değerini varsaymamalıdır.
SPARK-23569: pandas_udf python3 stili tür açıklamalı işlevlerle çalışmasına izin verin.
SPARK-23570: HiveExternalCatalogVersionsSuite'a Spark 2.3.0 ekleyin.
SPARK-23598: Büyük bir sorguda çalışma zamanı hatasını önlemek için BufferedRowIterator'daki yöntemleri genel yapın.
SPARK-23599: Sahte Rastgele Sayılardan bir UUID oluşturucu ekleyin.
SPARK-23599: Uuid ifadesinde RandomUUIDGenerator kullanın.
SPARK-23601: Dosyaları yayından kaldırın .md5 .
SPARK-23608: Jetty İşleyicilerinde eşzamanlı değişiklik sorununu önlemek için attachSparkUI ve detachSparkUI işlevleri arasında SHS'de eşitleme ekleyin.
SPARK-23614: Önbelleğe alma kullanıldığında yanlış yeniden kullanım değişimi düzeltildi.
SPARK-23623: CachedKafkaConsumer'da önbelleğe alınmış tüketicilerin eşzamanlı kullanımından kaçının (branch-2.3).
SPARK-23624: Datasource V2'de pushFilters yönteminin belgesini düzeltin.
SPARK-23628: calculateParamLength ifadelerin 1 + sayısını döndürmemelidir.
SPARK-23630: Kullanıcının hadoop konfederasyon özelleştirmelerinin etkili olmasını sağlayın.
SPARK-23635: Spark yürütücüsü env değişkeninin üzerine aynı ad env değişkeni yazılır.
SPARK-23637: Aynı yürütücü birden çok kez öldürülürse Yarn daha fazla kaynak ayırabilir.
SPARK-23639: SparkSQL CLI'da meta veri deposu istemcisi başlatmadan önce belirteci alın.
SPARK-23642: AccumulatorV2 alt sınıfı sıfır düzeltmedir scaladoc .
SPARK-23644: SHS'de REST çağrısı için mutlak yolu kullanın.
SPARK-23645: Anahtar sözcük args ile docs RE 'pandas_udf' ekleyin.
SPARK-23649: UTF-8'de izin verilmeyen karakterler atlanıyor.
SPARK-23658: InProcessAppHandle, getLogger'da yanlış sınıfı kullanıyor.
SPARK-23660: Uygulama hızlı sona erdiğinde yarn kümesi modunda özel durum düzeltildi.
SPARK-23670: SparkPlanGraphWrapper üzerindeki bellek sızıntısını düzeltin.
SPARK-23671: SHS iş parçacığı havuzunu etkinleştirmek için koşulu düzeltin.
SPARK-23691: Mümkün olduğunca PySpark testlerinde sql_conf yardımcı programını kullanın.
SPARK-23695: Kinesis akış testleri için hata iletisini düzeltin.
SPARK-23706: spark.conf.get(value, default=None) PySpark'ta None üretmelidir.
SPARK-23728: Ml testlerini akış testlerini çalıştıran beklenen özel durumlarla düzeltin.
SPARK-23729: Glob'ları çözerken URI parçasına saygı gösterin.
SPARK-23759: Spark kullanıcı arabirimi belirli ana bilgisayar adına / IP'ye bağlanamıyor.
SPARK-23760: CodegenContext.withSubExprEliminationExprs, CSE durumunu doğru kaydetmeli/geri yüklemelidir.
SPARK-23769: Denetimi gereksiz yere devre dışı bırakmayan Scalastyle açıklamaları kaldırın.
SPARK-23788: StreamingQuerySuite'ta yarış düzeltildi.
SPARK-23802: PropagateEmptyRelation, sorgu planını çözümlenmemiş durumda bırakabilir.
SPARK-23806: Broadcast.unpersist, dinamik ayırma ile kullanıldığında önemli özel duruma neden olabilir.
SPARK-23808: Yalnızca test spark oturumlarında varsayılan Spark oturumlarını ayarlayın.
SPARK-23809: Active SparkSession, getOrCreate tarafından ayarlanmalıdır.
SPARK-23816: Sonlandırılan görevler FetchFailures'ı yoksamalıdır.
SPARK-23822: Parquet şeması uyuşmazlıkları için hata iletisini geliştirin.
SPARK-23823: Kaynağı transformExpression'da tutun.
SPARK-23827: StreamingJoinExec, giriş verilerinin belirli sayıda bölüme bölümlendiğinden emin olmalıdır.
SPARK-23838: SQL sorgusu çalıştırılıyor, SQL sekmesinde "tamamlandı" olarak görüntülenir.
SPARK-23881: JobCancellationSuite flaky testini düzeltin." karıştırma okuyucusunun kesilebilir yineleyicisi".

Sqoop

Bu sürüm, Sqoop 1.4.6'ya apache düzeltme eki eklemez.

Storm

Bu sürüm Storm 1.1.1 ve aşağıdaki Apache düzeltme eklerini sağlar:

STORM-2652: JmsSpout açık yönteminde özel durum oluştu.
STORM-2841: testNoAcksIfFlushFails UT, NullPointerException ile başarısız oluyor.
STORM-2854: Olay günlüğünü takılabilir hale getirmek için IEventLogger'ı kullanıma sunma.
STORM-2870: FileBasedEventLogger, işlemin tamamlanmasını engelleyen daemon ExecutorService olmayan bir sızıntıya neden oluyor.
STORM-2960: Storm işlemleri için uygun işletim sistemi hesabı ayarlamanın önemini vurgulasanız iyi olur.

Tez

Bu sürüm Tez 0.7.0 ve aşağıdaki Apache düzeltme eklerini sağlar:

TEZ-1526: Büyük işler için TezTaskID için LoadingCache yavaş.

Zeppelin

Bu sürüm, Zeppelin 0.7.3'e apache düzeltme eki eklemez.

ZEPPELIN-3072: Çok fazla not defteri varsa Zeppelin kullanıcı arabirimi yavaşlar/yanıt vermez hale gelir.
ZEPPELIN-3129: Zeppelin kullanıcı arabirimi Internet Explorer'da oturumu kapatmıyor.
ZEPPELIN-903: CXF değerini ile Jersey2değiştirin.

ZooKeeper

Bu sürüm ZooKeeper 3.4.6 ve aşağıdaki Apache düzeltme eklerini sağlar:

ZOOKEEPER-1256: ClientPortBindTest macOS X'te başarısız oluyor.
ZOOKEEPER-1901: [JDK8] AsyncOps testlerinde karşılaştırma için alt öğeleri sıralayın.
ZOOKEEPER-2423: Güvenlik açığı nedeniyle Netty sürümünü yükseltin (CVE-2014-3488).
ZOOKEEPER-2693: Wchp/wchc dört harfli sözcüklere (4lw) DOS saldırısı.
ZOOKEEPER-2726: Yama, olası bir yarış durumu sağlar.

Ortak Güvenlik Açıkları ve Açığa Çıkarmalar Düzeltildi

Bu bölüm, bu sürümde ele alınan tüm Genel Güvenlik Açıklarını ve Etkilenmeleri (CVE) kapsar.

CVE-2017-7676

Özet: Apache Ranger ilke değerlendirmesi '*' joker karakterden sonraki karakterleri yoksayar
Önem Derecesi: Kritik
Satıcı: Hortonworks
Etkilenen Sürümler: Apache Ranger 0.5.x/0.6.x/0.7.0 sürümlerini içeren HDInsight 3.6 sürümleri
Etkilenen kullanıcılar: Ranger ilkelerini '' joker karakterden sonraki karakterlerle kullanan ortamlar – mytest, test*.txt
Etki: İlke kaynak eşleştiricisi '*' joker karakterden sonraki karakterleri yoksayar ve bu da istenmeyen davranışa neden olabilir.
Düzeltme ayrıntısı: Ranger ilkesi kaynak eşleştiricisi joker karakter eşleşmelerini doğru şekilde işleyecek şekilde güncelleştirildi.
Önerilen Eylem: HDI 3.6'ya yükseltin (Apache Ranger 0.7.1+ ile).

CVE-2017-7677

Özet: Apache Ranger Hive Yetkili, dış konum belirtildiğinde RWX iznini denetlemelidir
Önem Derecesi: Kritik
Satıcı: Hortonworks
Etkilenen Sürümler: Apache Ranger 0.5.x/0.6.x/0.7.0 sürümlerini içeren HDInsight 3.6 sürümleri
Etkilenen kullanıcılar: Hive tabloları için dış konum kullanan ortamlar
Etki: Hive tabloları için dış konum kullanan ortamlarda Apache Ranger Hive Yetkili, oluşturma tablosu için belirtilen dış konum için RWX izni olup olmadığını denetlemelidir.
Düzeltme ayrıntısı: Ranger Hive Authorizer, dış konumla izin denetimini doğru şekilde işleyecek şekilde güncelleştirildi.
Önerilen Eylem: Kullanıcıların HDI 3.6'ya yükseltmesi gerekir (Apache Ranger 0.7.1+ ile).

CVE-2017-9799

Özet: Apache Storm'da kodun yanlış kullanıcı olarak olası yürütülmesi
Önem Derecesi: Önemli
Satıcı: Hortonworks
Etkilenen Sürümler: HDP 2.4.0, HDP-2.5.0, HDP-2.6.0
Etkilenen kullanıcılar: Storm'ı güvenli modda kullanan ve topoloji tabanlı yapıtları dağıtmak için blobstore veya herhangi bir topoloji kaynağını dağıtmak için blobstore kullanan kullanıcılar.
Etki: Bazı durumlarda ve storm yapılandırmalarında, bir topolojinin sahibinin yöneticiyi farklı, kök olmayan bir kullanıcı olarak başlatması için kandırması teorik olarak mümkündür. En kötü durumda, bu durum diğer kullanıcının kimlik bilgilerinin güvenliğinin tehlikeye atılmasına neden olabilir. Bu güvenlik açığı yalnızca güvenliği etkinleştirilmiş Apache Storm yüklemeleri için geçerlidir.
Azaltma: Şu anda geçici bir çözüm olmadığından HDP-2.6.2.1 sürümüne yükseltin.

CVE-2016-4970

Özet: 4.0.37 öncesi Netty 4.0.x'te işleyici/ssl/OpenSslEngine.java. Final ve 4.1.x 4.1.1 öncesi. Son, uzak saldırganların hizmet reddine (sonsuz döngü) neden olmasına izin verir
Önem Derecesi: Orta
Satıcı: Hortonworks
Etkilenen Sürümler: 2.3.x sürümünden bu yana HDP 2.x.x
Etkilenen Kullanıcılar: HDFS kullanan tüm kullanıcılar.
Etki: Hortonworks doğrudan Hadoop kod tabanında OpenSslEngine.java kullanmadığından etki düşüktür.
Önerilen Eylem: HDP 2.6.3'e yükseltin.

CVE-2016-8746

Özet: İlke değerlendirmesinde Apache Ranger yol eşleştirme sorunu
Önem Derecesi: Normal
Satıcı: Hortonworks
Etkilenen Sürümler: Apache Ranger sürüm 0.6.0/0.6.1/0.6.2 dahil olmak üzere tüm HDP 2.5 sürümleri
Etkilenen kullanıcılar: Ranger ilkesi yönetici aracının tüm kullanıcıları.
Etki: Ranger ilke altyapısı, bir ilke joker karakterler ve özyinelemeli bayraklar içerdiğinde belirli koşullarda yolları yanlış eşleştirir.
Düzeltme ayrıntısı: Sabit ilke değerlendirme mantığı
Önerilen Eylem: Kullanıcılar HDP 2.5.4+ sürümüne (Apache Ranger 0.6.3+ile) veya HDP 2.6+ sürümüne (Apache Ranger 0.7.0+ile) yükseltmelidir

CVE-2016-8751

Özet: Apache Ranger depolanmış siteler arası betik oluşturma sorunu
Önem Derecesi: Normal
Satıcı: Hortonworks
Etkilenen Sürümler: Apache Ranger sürüm 0.5.x/0.6.0/0.6.1/0.6.2 dahil olmak üzere tüm HDP 2.3/2.4/2.5 sürümleri
Etkilenen kullanıcılar: Ranger ilkesi yönetici aracının tüm kullanıcıları.
Etki: Apache Ranger, özel ilke koşulları girilirken Depolanan Siteler Arası Betik oluşturma özelliğine karşı savunmasızdır. Yönetici kullanıcılar, normal kullanıcılar oturum açıp ilkelere eriştiğinde bazı rastgele JavaScript kodu yürütmelerini depolayabilir.
Düzeltme ayrıntısı: Kullanıcı girişini temizleme mantığı eklendi.
Önerilen Eylem: Kullanıcılar HDP 2.5.4+ sürümüne (Apache Ranger 0.6.3+ile) veya HDP 2.6+ sürümüne (Apache Ranger 0.7.0+ile) yükseltmelidir

Destek sorunları düzeltildi

Daha önce Hortonworks Desteği aracılığıyla günlüğe kaydedilen ancak artık geçerli sürümde giderilen seçili sorunları temsil eden sorunlar düzeltildi. Bu sorunlar Bilinen Sorunlar bölümünde önceki sürümlerde bildirilmiş olabilir; yani müşteriler tarafından bildirildi veya Hortonworks Kalite Mühendisliği ekibi tarafından belirlendi.

Yanlış Sonuçlar

Hata Kimliği	Apache JIRA	Özet
HATA-100019	YARN-8145	yarn rmadmin -getGroups kullanıcı için güncelleştirilmiş gruplar döndürmez
HATA-100058	PHOENIX-2645	Joker karakterler yeni satır karakterleriyle eşleşmiyor
HATA-100266	PHOENIX-3521, PHOENIX-4190	Yerel dizinlerle ilgili sonuçlar yanlış
HATA-88774	HIVE-17617, HIVE-18413, HIVE-18523	query36 başarısız oluyor, satır sayısı uyuşmazlığı
HATA-89765	HIVE-17702	yanlış ORC'de ondalık okuyucuda işlemeyi yeniden oluşturma
HATA-92293	HADOOP-15042	NumberOfPagesRemaining 0 olduğunda Azure PageBlobInputStream.skip() negatif değer döndürebilir
HATA-92345	ATLAS-2285	Kullanıcı arabirimi: Kaydedilen arama tarih özniteliğiyle yeniden adlandırıldı.
HATA-92563	HIVE-17495, HIVE-18528	ObjectStore'daki toplam istatistikler yanlış sonuç alıyor
HATA-92957	HIVE-11266	count(*) dış tablolar için tablo istatistiklerine göre yanlış sonuç
HATA-93097	RANGER-1944	Yönetici Denetimi için eylem filtresi çalışmıyor
HATA-93335	HIVE-12315	vectorization_short_regress.q çift hesaplama için yanlış sonuç sorunu var
HATA-93415	HIVE-18258, HIVE-18310	Vektörleştirme: Yinelenen sütunlarla MERGEPARTIAL'a Göre Azaltma Tarafı GRUPLANDıRma bozuk
HATA-93939	ATLAS-2294	Tür oluşturulurken ek parametre "açıklama" eklendi
HATA-94007	PHOENIX-1751, PHOENIX-3112	Phoenix Sorguları HBase Kısmi satırları nedeniyle Null değerler döndürür
HATA-94266	HIVE-12505	Aynı şifreli bölgeye üzerine yazma ekleme işlemi, mevcut dosyaların bazılarını sessizce kaldıramıyor
HATA-94414	HIVE-15680	Hive.optimize.index.filter=true ve aynı ORC tablosuna sorguda iki kez başvurulduğunda yanlış sonuçlar
HATA-95048	HIVE-18490	Var olan ve koşul olmayan koşula sahip OLMAYAN sorgu yanlış sonuç verebilir
HATA-95053	PHOENIX-3865	İlk sütun ailesi filtrelenmediğinde IS NULL doğru sonuçlar döndürmüyor
HATA-95476	RANGER-1966	İlke altyapısı başlatma bazı durumlarda bağlam zenginleştiricileri oluşturmaz
HATA-95566	SPARK-23281	Bileşik order by yan tümcesi hem özgün sütunlara hem de diğer adlara başvurduğunda sorgu yanlış sırada sonuç üretir
HATA-95907	PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560	Sorguda toplama olduğunda ORDER BY ASC ile ilgili sorunları düzeltme
HATA-96389	PHOENIX-4586	UPSERT SELECT, alt sorgular için hesap karşılaştırma işleçlerini almaz.
HATA-96602	HIVE-18660	PCR bölümle sanal sütunları ayırt etmez
HATA-97686	ATLAS-2468	[Temel Arama] NEQ'un sayısal türlerle kullanıldığında VEYA ile ilgili sorun
HATA-97708	HIVE-18817	ACID tablosunun okunduğu sırada ArrayIndexOutOfBounds özel durumu.
HATA-97864	HIVE-18833	"Orcfile olarak dizine ekle" durumunda Otomatik Birleştirme başarısız oluyor
HATA-97889	RANGER-2008	Çok satırlı ilke koşulları için ilke değerlendirmesi başarısız oluyor.
HATA-98655	RANGER-2066	HBase sütun ailesi erişimi, sütun ailesindeki etiketli bir sütun tarafından yetkilendirilmiştir
HATA-99883	HIVE-19073, HIVE-19145	StatsOptimizer sabit sütunları manglelayabilir

Diğer

Hata Kimliği	Apache JIRA	Özet
HATA-100267	HBASE-17170	HBase, sınıf yükleyici farklılıkları nedeniyle DoNotRetryIOException'i de yeniden dener.
HATA-92367	YARN-7558	Kullanıcı arabirimi kimlik doğrulaması etkinse "yarn logs" komutu kapsayıcıları çalıştırmak için günlükleri alamaz.
HATA-93159	OOZIE-3139	Oozie iş akışını yanlış doğrular
HATA-93936	ATLAS-2289	KafkaNotification uygulamasından taşınacak ekli kafka/zookeeper sunucusu başlatma/durdurma kodu
HATA-93942	ATLAS-2312	Birden çok iş parçacığından aynı anda kullanılmasını önlemek için ThreadLocal DateFormat nesnelerini kullanma
HATA-93946	ATLAS-2319	Kullanıcı arabirimi: Hem Düz hem de Ağaç yapısındaki etiket listesinde 25'ten fazla konumda bulunan bir etiketi silme, etiketi listeden kaldırmak için yenileme gerektirir.
HATA-94618	YARN-5037, YARN-7274	Yaprak kuyruğu düzeyinde esnekliği devre dışı bırakma olanağı
HATA-94901	HBASE-19285	Tablo başına gecikme süresi histogramları ekleme
HATA-95259	HADOOP-15185, HADOOP-15186	Bağlayıcıyı ADLS SDK'sının geçerli sürümünü kullanacak şekilde güncelleştirme `adls`
HATA-95619	HIVE-18551	Vektörleştirme: VectorMapOperator, Karma Yetkisiz Kullanım için çok fazla vektör sütunu yazmaya çalışıyor
HATA-97223	SPARK-23434	Spark, HDFS dosya yolu için 'meta veri dizinini' uyarmamalıdır

Performans

Hata Kimliği	Apache JIRA	Özet
HATA-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	Dengeleyicide hızlı yerellik hesaplaması
HATA-91300	HBASE-17387	Multi() için RegionActionResult özel durum raporunun yükünü azaltma
HATA-91804	TEZ-1526	Büyük işler için TezTaskID için LoadingCache yavaş
HATA-92760	ACCUMULO-4578	Sıkıştırmayı iptal etme FATE işlemi ad alanı kilidini serbest bırakmıyor
HATA-93577	RANGER-1938	Denetim için Solr kurulumu DocValues'u etkili bir şekilde kullanmıyor
HATA-93910	HIVE-18293	Hive, HiveMetaStore çalıştıran kimliğe ait olmayan bir klasörde yer alan tabloları sıkıştıramıyor
HATA-94345	HIVE-18429	Sıkıştırma, çıkış üretmediğinde bir servis talebini işlemelidir
HATA-94381	HADOOP-13227, HDFS-13054	RequestHedgingProxyProvider RetryAction sırasını işleme: FAIL < RETRY < FAILOVER_AND_RETRY.
HATA-94432	HIVE-18353	CompactorMR temizlemeyi tetiklemesi için jobclient.close() öğesini çağırmalıdır
HATA-94869	PHOENIX-4290, PHOENIX-4373	Yerel dizine alınan tuzlu phoenix tablosu için Get on `HRegion` için aralık dışında bir satır istendi.
HATA-94928	HDFS-11078	LazyPersistFileScrubber içindeki NPE düzeltilir
HATA-94964	HIVE-18269, HIVE-18318, HIVE-18326	Birden çok LLAP düzeltmesi
HATA-95669	HIVE-18577, HIVE-18643	ACID bölümlenmiş tablosunda güncelleştirme/silme sorgusu çalıştırıldığında HS2 tüm bölümleri okur.
HATA-96390	HDFS-10453	Çoğaltma arasındaki yarış ve büyük bir kümedeki aynı dosyayı silme nedeniyle ReplicationMonitor iş parçacığı uzun süre takılabilir.
HATA-96625	HIVE-16110	"VectorUDFAdaptor'a geri dönmek yerine "Vectorization: Support 2 Value CASE WHEN" geri dönüşü
HATA-97109	HIVE-16757	Yeni estimateRowCount(RelMetadataQuery...) yerine kullanım dışı getRows() kullanımının ciddi performans etkisi vardır
HATA-97110	PHOENIX-3789	postBatchMutateIndispensably içinde bölgeler arası dizin bakım çağrıları yürütme
HATA-98833	YARN-6797	TimelineWriter POST yanıtını tam olarak kullanmaz
HATA-98931	ATLAS-2491	Hive kancasını Atlas v2 bildirimlerini kullanacak şekilde güncelleştirme

Olası Veri Kaybı

Hata Kimliği	Apache JIRA	Özet
HATA-95613	HBASE-18808	BackupLogCleaner#getDeletableFiles() hatasız yapılandırma denetimi
HATA-97051	HIVE-17403	Yönetilmeyen ve işlemsel tablolar için başarısız birleştirme
HATA-97787	HIVE-18460	Sıkıştırıcı, Ork yazıcısına Tablo özelliklerini geçirmiyor
HATA-97788	HIVE-18613	JsonSerDe'yi İKILI türü destekleyecek şekilde genişletme

Sorgu Hatası

Hata Kimliği	Apache JIRA	Özet
HATA-100180	CALCITE-2232	Toplama dizinleri ayarlanırken AggregatePullUpConstantsRule'da onaylama hatası
HATA-100422	HIVE-19085	FastHiveDecimal abs(0) ayarı, oturum açma `+ve`
HATA-100834	PHOENIX-4658	IllegalStateException: requestSeek ReversedKeyValueHeap üzerinde çağrılamıyor
HATA-102078	HIVE-17978	TPCDS sorguları 58 ve 83, vektörleştirmede özel durumlar oluşturur.
HATA-92483	HIVE-17900	Compactor tarafından tetiklenen sütunlardaki istatistikleri analiz etmek, 1 bölüm sütunuyla > hatalı biçimlendirilmiş SQL oluşturur
HATA-93135	HIVE-15874, HIVE-18189	hive.groupby.orderby.position.alias değerini true olarak ayarlarken hive sorgusu yanlış sonuçlar döndürerek
HATA-93136	HIVE-18189	Konuma göre sıralama devre dışı bırakıldığında `cbo` çalışmıyor
HATA-93595	HIVE-12378, HIVE-15883	Hive eklemesinde HBase eşlenmiş tablo ondalık ve ikili sütunlar için başarısız oldu
HATA-94007	PHOENIX-1751, PHOENIX-3112	Phoenix Sorguları HBase Kısmi satırları nedeniyle Null değerler döndürür
HATA-94144	HIVE-17063	dış tabloya bölüm üzerine yazma ekleme işlemi, önce bölümü bıraktığında başarısız oluyor
HATA-94280	HIVE-12785	Birleşim türüne sahip görünüm ve yapıyı "atamak" için UDF bozuk
HATA-94505	PHOENIX-4525	GroupBy yürütmesinde tamsayı taşması
HATA-95618	HIVE-18506	LlapBaseInputFormat - negatif dizi dizini
HATA-95644	HIVE-9152	CombineHiveInputFormat: Java.lang.IllegalArgumentException özel durumuyla Tez'de Hive sorgusu başarısız oluyor
HATA-96762	PHOENIX-4588	Ayrıca, alt öğelerinin Determinism.PER_INVOCATION varsa, kopya ifadesi
HATA-97145	HIVE-12245, HIVE-17829	HBase destekli tablo için destek sütunu açıklamaları
HATA-97741	HIVE-18944	DPP sırasında gruplandırma kümeleri konumu yanlış ayarlandı
HATA-98082	HIVE-18597	LLAP: API jar'ını her zaman için paketle `log4j2org.apache.log4j`
HATA-99849	Yok	Dosya sihirbazından yeni tablo oluşturma, varsayılan veritabanını kullanmayı dener

Güvenlik

Hata Kimliği	Apache JIRA	Özet
HATA-100436	RANGER-2060	`Knox` proxy ile `knox-sso` ranger için çalışmıyor
HATA-101038	SPARK-24062	Zeppelin %Spark yorumlayıcısı "Bağlantı reddedildi" hatası, "Gizli anahtar belirtilmeli..." HiveThriftServer hatası
HATA-101359	ACCUMULO-4056	Yayınlandığında commons-collection sürümünü 3.2.2 sürümüne güncelleştirin
HATA-54240	HIVE-18879	Classpath'te xercesImpl.jar UDFXPathUtil içindeki katıştırılmış öğeye izin verme seçeneğinin çalışması gerekiyor
HATA-79059	OOZIE-3109	Çıkış günlüğü akışının HTML'ye özgü karakterleri
HATA-90041	OOZIE-2723	JSON.org lisansı artık CatX
HATA-93754	RANGER-1943	Koleksiyon boş veya null olduğunda Ranger Solr yetkilendirmesi atlanır
HATA-93804	HIVE-17419	TABLOYU ÇÖZÜMLE... SÜTUNLAR İçİn İşlem İSTATİSTİkLerİ komutu maskelenmiş tablolar için hesaplanan istatistikleri gösterir
HATA-94276	ZEPPELIN-3129	Zeppelin kullanıcı arabirimi Internet Explorer'da oturumu kapatmıyor
HATA-95349	ZOOKEEPER-1256, ZOOKEEPER-1901	Yükseltme netty
HATA-95483	Yok	CVE-2017-15713 için düzeltme
HATA-95646	OOZIE-3167	Oozie 4.3 dalında tomcat sürümünü yükseltme
HATA-95823	Yok	`Knox`:Yükseltmek `Beanutils`
HATA-95908	RANGER-1960	HBase kimlik doğrulaması, anlık görüntüyü silmek için tablo ad alanını dikkate almaz
HATA-96191	FALCON-2322, FALCON-2323	Güvenlik açıklarını önlemek için Jackson ve Spring sürümlerini yükseltin
HATA-96502	RANGER-1990	Ranger Yöneticisi'nde Tek yönlü SSL MySQL desteği ekleme
HATA-96712	FLUME-3194	derby'yi en son (1.14.1.0) sürümüne yükseltin
HATA-96713	FLUME-2678	CVE-2014-0107 güvenlik açığını çözmek için xalan'ı 2.7.2 sürümüne yükseltin
HATA-96714	FLUME-2050	'a `log4j2` yükseltme (GA olduğunda)
HATA-96737	Yok	Yerel dosyalara erişmek için Java io dosya sistemi yöntemlerini kullanma
HATA-96925	Yok	Hadoop'ta Tomcat'i 6.0.48'den 6.0.53'e yükseltme
HATA-96977	FLUME-3132	Tomcat `jasper` kitaplığı bağımlılıklarını yükseltme
HATA-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	Nimbus-JOSE-JWT kitaplığını 4.39'un üzerindeki sürümle yükseltme
HATA-97101	RANGER-1988	Güvenli olmayan rastgeleliği düzeltme
HATA-97178	ATLAS-2467	Spring ve nimbus-jose-jwt için bağımlılık yükseltmesi
HATA-97180	Yok	Nimbus-jose-jwt'i yükseltme
HATA-98038	HIVE-18788	JDBC PreparedStatement içindeki girişleri temizleme
HATA-98353	HADOOP-13707	"HTTP SPNEGO yapılandırılmamışken kerberos etkinleştirilirse bazı bağlantılara erişilemiyor"
HATA-98372	HBASE-13848	Kimlik Bilgisi Sağlayıcısı API'si aracılığıyla InfoServer SSL parolalarını erişme
HATA-98385	ATLAS-2500	Atlas yanıtına daha fazla üst bilgi ekleyin.
HATA-98564	HADOOP-14651	Tamamhttp sürümü 2.7.5'e güncelleştirin
HATA-99440	RANGER-2045	Açık izin verme ilkesi olmayan Hive tablo sütunları 'desc table' komutuyla listelenir
HATA-99803	Yok	Oozie, HBase dinamik sınıf yüklemesini devre dışı bırakmalıdır

Sebat

Hata Kimliği	Apache JIRA	Özet
HATA-100040	ATLAS-2536	Atlas Hive Kancasında NPE
HATA-100057	HIVE-19251	LIMIT ile ObjectStore.getNextNotification daha az bellek kullanmalıdır
HATA-100072	HIVE-19130	REPL LOAD uygulanan bırakma bölümü olayı olduğunda NPE oluşturulur.
HATA-100073	Yok	veri düğümünden `hiveserver` çok fazla close_wait bağlantısı
HATA-100319	HIVE-19248	Dosya kopyalama başarısız olursa REPL LOAD hata oluşturmaz.
HATA-100352	Yok	CLONE - RM temizleme mantığı /registry znode'sini çok sık tarar
HATA-100427	HIVE-19249	Çoğaltma: WITH yan tümcesi her durumda yapılandırmayı Göreve doğru geçirmiyor
HATA-100430	HIVE-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
HATA-100432	HIVE-19219	İstenen olaylar temizlenirse artımlı REPL DUMP hatası vermelidir.
HATA-100448	SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881	`Spark2` 2.3.0+ güncelleştirme (11/4)
HATA-100740	HIVE-16107	JDBC: HttpClient, NoHttpResponseException üzerinde bir kez daha yeniden denemelidir
HATA-100810	HIVE-19054	Hive İşlevleri çoğaltması başarısız oluyor
HATA-100937	MAPREDUCE-6889	MR istemci hizmetlerini kapatmak için job#close API'sini ekleyin.
HATA-101065	ATLAS-2587	Ara sunucu için HA'da /apache_atlas/active_server_info znode için `Knox` okuma ACL'sini ayarlayın.
HATA-101093	STORM-2993	Zaman döndürme ilkesi kullanıldığında Storm HDFS cıvatası ClosedChannelException oluşturur
HATA-101181	Yok	PhoenixStorageHandler, VE koşulunu doğru şekilde işlemez
HATA-101266	PHOENIX-4635	org.apache.phoenix.hive.mapreduce.PhoenixInputFormat içinde HBase Bağlantı sızıntısı
HATA-101458	HIVE-11464	birden çok çıkış varsa köken bilgileri eksik
HATA-101485	Yok	hive meta veri deposu thrift api'si yavaş ve istemci zaman aşımına neden oluyor
HATA-101628	HIVE-19331	Buluta hive artımlı çoğaltması başarısız oldu.
HATA-102048	HIVE-19381	Bulutta Hive İşlevi Çoğaltması FunctionTask ile başarısız oluyor
HATA-102064	Yok	ReplCopyTask'te Hive Çoğaltma `\[ onprem to onprem \]` testleri başarısız oldu
HATA-102137	HIVE-19423	ReplCopyTask'te Hive Çoğaltma `\[ Onprem to Cloud \]` testleri başarısız oldu
HATA-102305	HIVE-19430	HS2 ve hive meta veri deposu OOM dökümleri
HATA-102361	Yok	hedef hive kümesine çoğaltılan tek eklemede birden çok ekleme sonucu ( `onprem - s3` )
HATA-87624	Yok	Storm olay günlüğünün etkinleştirilmesi çalışanların sürekli olarak ölmesine neden olur
HATA-88929	HBASE-15615	RegionServerCallable için yeniden deneme gerektiğinde yanlış uyku süresi
HATA-89628	HIVE-17613	kısa, aynı iş parçacığı ayırmaları için nesne havuzlarını kaldırma
HATA-89813	Yok	SCA: Kod Doğruluğu: Eşitlenmemiş Yöntem Geçersiz Kılmaları Eşitlenmiş Yöntem
HATA-90437	ZEPPELIN-3072	Çok fazla not defteri varsa Zeppelin kullanıcı arabirimi yavaş/yanıt vermiyor olur
HATA-90640	HBASE-19065	HRegion#bulkLoadHFiles() eşzamanlı Region#flush() öğesinin bitmesini beklemelidir
HATA-91202	HIVE-17013	Bir görünüm üzerinde seçmeye bağlı olarak alt sorguyla isteği silme
HATA-91350	KNOX-1108	NiFiHaDispatch yük devredmiyor
HATA-92054	HIVE-13120	ORC bölmeleri oluştururken doA'ları yayma
HATA-92373	FALCON-2314	BeanShell bağımlılığını önlemek için TestNG sürümünü 6.13.1 sürümüne çarpın
HATA-92381	Yok	testContainerLogsWithNewAPI ve testContainerLogsWithOldAPI UT başarısız oluyor
HATA-92389	STORM-2841	testNoAcksIfFlushFails UT, NullPointerException ile başarısız oluyor
HATA-92586	SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095	`Spark2` Güncel güncelleştirme: 2.2.1 (16 Ocak)
HATA-92680	ATLAS-2288	Hive aracılığıyla hbase tablosu oluşturulduğunda import-hive betiği çalıştırılırken NoClassDefFoundError Özel Durumu
HATA-92760	ACCUMULO-4578	Sıkıştırmayı iptal etme FATE işlemi ad alanı kilidini serbest bırakmıyor
HATA-92797	HDFS-10267, HDFS-8496	Belirli kullanım örneklerinde veri düğümü kilidi çekişmesini azaltma
HATA-92813	FLUME-2973	hdfs havuzundaki kilitlenme
HATA-92957	HIVE-11266	count(*) dış tablolar için tablo istatistiklerine göre yanlış sonuç
HATA-93018	ATLAS-2310	HA'da pasif düğüm isteği yanlış URL kodlamasıyla yeniden yönlendirir
HATA-93116	RANGER-1957	Ranger Usersync, artımlı eşitleme etkinleştirildiğinde kullanıcıları veya grupları düzenli aralıklarla eşitlemiyor.
HATA-93361	HIVE-12360	Sıkıştırılmamış ORC'de koşul gönderimi ile kötü arama
HATA-93426	CALCITE-2086	Büyük Yetkilendirme üst bilgileri nedeniyle belirli durumlarda HTTP/413
HATA-93429	PHOENIX-3240	Pig yükleyicisinden ClassCastException
HATA-93485	Yok	mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException tablosu alınamıyor: LLAP'deki sütunlarda analiz tablosu çalıştırılırken tablo bulunamadı
HATA-93512	PHOENIX-4466	java.lang.RuntimeException: yanıt kodu 500 - Phoenix sorgu sunucusuna bağlanmak ve verileri yüklemek için spark işi yürütme
HATA-93550	Yok	Zeppelin %spark.r, scala sürüm uyuşmazlığı nedeniyle Spark1 ile çalışmıyor
HATA-93910	HIVE-18293	Hive, HiveMetaStore çalıştıran kimliğe ait olmayan bir klasörde yer alan tabloları sıkıştıramıyor
HATA-93926	ZEPPELIN-3114	Not defterleri ve yorumlayıcılar 1d stres testlerinden sonra >zeppelin'e kaydedilmiyor
HATA-93932	ATLAS-2320	classification "*" with query throws 500 Internal server exception.
HATA-93948	YARN-7697	NM, günlük toplamadaki sızıntı nedeniyle OOM ile birlikte düşüyor (bölüm#1)
HATA-93965	ATLAS-2229	DSL araması: dize olmayan sıralama özniteliği özel durum oluşturur
HATA-93986	YARN-7697	NM, günlük toplamadaki sızıntı nedeniyle OOM ile birlikte düşüyor (bölüm#2)
HATA-94030	ATLAS-2332	İç içe koleksiyon veri türüne sahip özniteliklerle tür oluşturma işlemi başarısız oluyor
HATA-94080	YARN-3742, YARN-6061	Her iki RM de güvenli kümede beklemede
HATA-94081	HIVE-18384	Kitaplıkta `log4j2.x` ConcurrentModificationException
HATA-94168	Yok	Yarn RM, Service Registry yanlış durumda hatayla kapanıyor
HATA-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	HDFS birden çok için destek vermelidir `KMS Uris`
HATA-94345	HIVE-18429	Sıkıştırma, çıkış üretmediğinde bir servis talebini işlemelidir
HATA-94372	ATLAS-2229	DSL sorgusu: hive_table adı = ["t1","t2"] geçersiz DSL sorgusu özel durumu oluşturur
HATA-94381	HADOOP-13227, HDFS-13054	RequestHedgingProxyProvider RetryAction sırasını işleme: FAIL < RETRY < FAILOVER_AND_RETRY.
HATA-94432	HIVE-18353	CompactorMR temizlemeyi tetiklemesi için jobclient.close() öğesini çağırmalıdır
HATA-94575	SPARK-22587	fs.defaultFS ve uygulama jar dosyası farklı URL'yse Spark işi başarısız oluyor
HATA-94791	SPARK-22793	Spark Thrift Sunucusu'nda bellek sızıntısı
HATA-94928	HDFS-11078	LazyPersistFileScrubber içindeki NPE düzeltilir
HATA-95013	HIVE-18488	LLAP ORC okuyucularda bazı null denetimler eksik
HATA-95077	HIVE-14205	Hive, AVRO dosya biçiminde birleşim türünü desteklemez
HATA-95200	HDFS-13061	SaslDataTransferClient#checkTrustAndSend kısmen güvenilen bir kanala güvenmemelidir
HATA-95201	HDFS-13060	TrustedChannelResolver için BlacklistBasedTrustedChannelResolver ekleme
HATA-95284	HBASE-19395	[branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting NPE ile başarısız oluyor
HATA-95301	HIVE-18517	Vektörleştirme: VECTORMapOperator'ı VRB'leri kabul etmek ve LLAP Önbelleğini desteklemek için vektörleştirilmiş bayrağı doğru şekilde denetlemek için düzeltin
HATA-95542	HBASE-16135	Kaldırılan eşlerin rs altındaki PeerClusterZnode hiçbir zaman silinmeyebilir
HATA-95595	HIVE-15563	Gerçek özel durumu ortaya çıkarmak için SQLOperation.runQuery'de Geçersiz İşlem durumu geçiş özel durumunu yoksayın.
HATA-95596	YARN-4126, YARN-5750	TestClientRMService başarısız oluyor
HATA-96019	HIVE-18548	İçeri aktarmayı düzeltme `log4j`
HATA-96196	HDFS-13120	Anlık görüntü farkları, arayı kaldırdıktan sonra bozulabilir
HATA-96289	HDFS-11701	Çözümlenmemiş Ana Bilgisayardan NPE kalıcı DFSInputStream hatalarına neden oluyor
HATA-96291	STORM-2652	JmsSpout open yönteminde özel durum oluştu
HATA-96363	HIVE-18959	LLAP içinde ek iş parçacığı havuzu oluşturmaktan kaçının
HATA-96390	HDFS-10453	ReplicationMonitor iş parçacığı, büyük bir kümede aynı dosyanın çoğaltılması ve silinmesi arasındaki yarış nedeniyle uzun süre takılabilir.
HATA-96454	YARN-4593	AbstractService.getConfig() Dosyasında Kilitlenme
HATA-96704	FALCON-2322	SubmitAndSchedule akışı sırasında ClassCastException
HATA-96720	KAYDıRıCı-1262	Kaydırıcı functest'leri ortamda başarısız oluyor `Kerberized`
HATA-96931	SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391	Güncel güncelleştirme `Spark2` (19 Şubat)
HATA-97067	HIVE-10697	ObjectInspectorConvertors#UnionConvertor hatalı dönüştürme yapıyor
HATA-97244	KNOX-1083	HttpClient varsayılan zaman aşımı mantıklı bir değer olmalıdır
HATA-97459	ZEPPELIN-3271	Zamanlayıcıyı devre dışı bırakma seçeneği
HATA-97511	KNOX-1197	Authentication=Anonim hizmette olduğunda AnonymousAuthFilter eklenmez
HATA-97601	HIVE-17479	Hazırlama dizinleri güncelleştirme/silme sorguları için temizlenmiyor
HATA-97605	HIVE-18858	MR işi gönderilirken iş yapılandırmasındaki sistem özellikleri çözümlenmiyor
HATA-97674	OOZIE-3186	Oozie, jceks://file/ kullanarak bağlı yapılandırmayı kullanamıyor...
HATA-97743	Yok	storm topolojisi dağıtılırken java.lang.NoClassDefFoundError özel durumu
HATA-97756	PHOENIX-4576	LocalIndexSplitMergeIT testlerinin başarısız olduğunu düzeltme
HATA-97771	HDFS-11711	DN , "Çok fazla açık dosya" Özel Durumu'nda bloğu silmemelidir
HATA-97869	KNOX-1190	`Knox` Google OIDC için SSO desteği bozuk.
HATA-97879	PHOENIX-4489	Phoenix MR Jobs'da HBase Bağlantı sızıntısı
HATA-98392	RANGER-2007	ranger-tagsync'in Kerberos bileti yenilenemiyor
HATA-98484	Yok	Buluta Hive Artımlı Çoğaltma çalışmıyor
HATA-98533	HBASE-19934, HBASE-20008	Boş işaretçi özel durumu nedeniyle HBase anlık görüntü geri yüklemesi başarısız oluyor
HATA-98555	PHOENIX-4662	Önbellekteki TableResultIterator.java nullPointerException yeniden gönderildi
HATA-98579	HBASE-13716	Hadoop'un FSConstants'larını kullanmayı durdurma
HATA-98705	KNOX-1230	Url Mangling'e neden olan `Knox` birçok Eşzamanlı İstek
HATA-98983	KNOX-1108	NiFiHaDispatch yük devredmiyor
HATA-99107	HIVE-19054	İşlev çoğaltması kök olarak "hive.repl.replica.functions.root.dir" kullanacaktır
HATA-99145	RANGER-2035	Oracle arka ucu ile boş implClass ile servicedef'lere erişim hataları
HATA-99160	KAYDıRıCı-1259	Kaydırıcı çok girişli ortamlarda çalışmıyor
HATA-99239	ATLAS-2462	Tüm tablolar için Sqoop içeri aktarma komutunda tablo sağlanmayan NPE oluşturur
HATA-99301	ATLAS-2530	hive_process ve hive_column_lineage ad özniteliğinin başındaki yeni satır
HATA-99453	HIVE-19065	Meta veri deposu istemci uyumluluk denetimi syncMetaStoreClient içermelidir
HATA-99521	Yok	Yineleyiciler yeniden kanıtlandığında HashJoin için ServerCache yeniden oluşturulmaz
HATA-99590	PHOENIX-3518	RenewLeaseTask'te Bellek Sızıntısı
HATA-99618	SPARK-23599, SPARK-23806	`Spark2` 2.3.0+ güncelleştirme (3/28)
HATA-99672	ATLAS-2524	V2 bildirimleriyle Hive kancası - 'farklı görünümü değiştirme' işleminin yanlış işlenmesi
HATA-99809	HBASE-20375	hbase-spark modülünde getCurrentUserCredentials kullanımını kaldırma

Desteklenebilirlik

Hata Kimliği	Apache JIRA	Özet
HATA-87343	HIVE-18031	Alter Database işlemi için çoğaltma desteği.
HATA-91293	RANGER-2060	`Knox` proxy ile `knox-sso` ranger için çalışmıyor
HATA-93116	RANGER-1957	Ranger Usersync, artımlı eşitleme etkinleştirildiğinde kullanıcıları veya grupları düzenli aralıklarla eşitlemiyor.
HATA-93577	RANGER-1938	Denetim için Solr kurulumu DocValues'u etkili bir şekilde kullanmıyor
HATA-96082	RANGER-1982	Ranger Yöneticisi ve Ranger'ın Analiz Ölçümü için Hata İyileştirmesi `Kms`
HATA-96479	HDFS-12781	Aşağıdan sonra `Datanode` , `Namenode` Kullanıcı Arabirimi `Datanode` sekmesinde uyarı iletisi oluşturulur.
HATA-97864	HIVE-18833	"Orcfile olarak dizine ekle" durumunda Otomatik Birleştirme başarısız oluyor
HATA-98814	HDFS-13314	FsImage bozulması algılarsa NameNode isteğe bağlı olarak çıkmalıdır

Yükselt

Hata Kimliği	Apache JIRA	Özet
HATA-100134	SPARK-22919	"Bump Apache httpclient sürümleri" geri döndürülür
HATA-95823	Yok	`Knox`:Yükseltmek `Beanutils`
HATA-96751	KNOX-1076	nimbus-jose-jwt değerini 4.41.2 olarak güncelleştirin
HATA-97864	HIVE-18833	"Orcfile olarak dizine ekle" durumunda Otomatik Birleştirme başarısız oluyor
HATA-99056	HADOOP-13556	Configuration.getPropsWithPrefix öğesini yineleyici yerine getProps kullanacak şekilde değiştirin
HATA-99378	ATLAS-2461, ATLAS-2554	Titan graph DB'de Atlas verilerini dışarı aktarmak için geçiş yardımcı programı

Kullanılabilirlik

Hata Kimliği	Apache JIRA	Özet
HATA-100045	HIVE-19056	ORC dosyasında 0 satır olduğunda FixAcidKeyIndex'te IllegalArgumentException
HATA-100139	KNOX-1243	Hizmette Yapılandırılan gerekli DN'leri `KnoxToken` normalleştirme
HATA-100570	ATLAS-2557	UGI'den gelen gruplar yanlış ayarlandığında veya boş olmadığında hadoop `ldap` gruplarına izin vermek `lookup` için düzeltme
HATA-100646	ATLAS-2102	Atlas Kullanıcı Arabirimi Geliştirmeleri: Arama sonuçları sayfası
HATA-100737	HIVE-19049	Alter tablosu için destek ekleme Druid için sütun ekleme
HATA-100750	KNOX-1246	Ranger için en son yapılandırmaları desteklemek için içindeki `Knox` hizmet yapılandırmasını güncelleştirin.
HATA-100965	ATLAS-2581	V2 Hive kanca bildirimleriyle regresyon: Tabloyu farklı bir veritabanına taşıma
HATA-84413	ATLAS-1964	Kullanıcı arabirimi: Search tablosunda sütunları sıralama desteği
HATA-90570	HDFS-11384, HDFS-12347	NameNode'un rpc'sini önlemek için dengeleyicinin getBlocks çağrılarını dağıtma seçeneği ekleyin. CallQueueLength ani artışı
HATA-90584	HBASE-19052	FixedFileTrailer, branch-1.x içindeki CellComparatorImpl sınıfını tanımalıdır
HATA-90979	KNOX-1224	`Knox` `HADispatcher` HA'da Atlas'ı desteklemek için ara sunucu.
HATA-91293	RANGER-2060	`Knox` knox-sso ile proxy ranger için çalışmıyor
HATA-92236	ATLAS-2281	Etiket/Tür özniteliği filtre sorgularını null/null olmayan filtrelerle kaydetme.
HATA-92238	ATLAS-2282	Kaydedilen sık kullanılan arama yalnızca 25'in üzerinde sık kullanılan arama olduğunda oluşturulduktan sonra yenilemede görünür.
HATA-92333	ATLAS-2286	Önceden oluşturulmuş 'kafka_topic' türü 'topic' özniteliğini benzersiz olarak bildirmemelidir
HATA-92678	ATLAS-2276	hdfs_path tür varlığı için yol değeri hive-bridge'den küçük harfe ayarlanır.
HATA-93097	RANGER-1944	Yönetici Denetimi için eylem filtresi çalışmıyor
HATA-93135	HIVE-15874, HIVE-18189	hive.groupby.orderby.position.alias değerini true olarak ayarlarken hive sorgusu yanlış sonuçlar döndürerek
HATA-93136	HIVE-18189	Konuma göre sıralama devre dışı bırakıldığında `cbo` çalışmıyor
HATA-93387	HIVE-17600	OrcFile'ın "enforceBufferSize" kullanıcı tarafından ayarlanabilir olmasını sağlayın.
HATA-93495	RANGER-1937	Ranger `tagsync` , Atlas içeri aktarma özelliğini desteklemek için ENTITY_CREATE bildirimi işlemelidir
HATA-93512	PHOENIX-4466	java.lang.RuntimeException: yanıt kodu 500 - Phoenix sorgu sunucusuna bağlanmak ve verileri yüklemek için spark işi yürütme
HATA-93801	HBASE-19393	SSL kullanarak HBase kullanıcı arabirimine erişirken HTTP 413 FULL head.
HATA-93804	HIVE-17419	TABLOYU ÇÖZÜMLE... SÜTUNLAR İçİn İşlem İSTATİSTİkLerİ komutu maskelenmiş tablolar için hesaplanan istatistikleri gösterir
HATA-93932	ATLAS-2320	classification "*" with query throws 500 Internal server exception.
HATA-93933	ATLAS-2286	Önceden oluşturulmuş 'kafka_topic' türü 'topic' özniteliğini benzersiz olarak bildirmemelidir
HATA-93938	ATLAS-2283, ATLAS-2295	Sınıflandırmalar için kullanıcı arabirimi güncelleştirmeleri
HATA-93941	ATLAS-2296, ATLAS-2307	İsteğe bağlı olarak alt tür varlıklarını ve alt sınıflandırma türlerini dışlamak için temel arama iyileştirmesi
HATA-93944	ATLAS-2318	Kullanıcı arabirimi: Alt etikete iki kez tıklandığında üst etiket seçilir
HATA-93946	ATLAS-2319	Kullanıcı arabirimi: Hem Düz hem de Ağaç yapısındaki etiket listesinde 25'ten fazla konumda bulunan bir etiketi silme, etiketi listeden kaldırmak için yenileme gerektirir.
HATA-93977	HIVE-16232	QuotedIdentifier'da sütun için destek istatistikleri hesaplaması
HATA-94030	ATLAS-2332	İç içe koleksiyon veri türüne sahip özniteliklerle tür oluşturma işlemi başarısız oluyor
HATA-94099	ATLAS-2352	Atlas sunucusu Kerberos DelegationToken için geçerliliği belirtmek için yapılandırma sağlamalıdır
HATA-94280	HIVE-12785	Birleşim türüne sahip görünüm ve yapıyı "atamak" için UDF bozuk
HATA-94332	SQOOP-2930	Sqoop job exec kaydedilen iş genel özelliklerini geçersiz kılmaz
HATA-94428	Yok	`Dataplane` Profil Oluşturucu Aracısı REST API `Knox` desteği
HATA-94514	ATLAS-2339	Kullanıcı Arabirimi: Temel arama sonucu görünümündeki "sütunlarda" yapılan değişiklikler DSL'yi de etkiler.
HATA-94515	ATLAS-2169	Sabit silme yapılandırıldığında silme isteği başarısız oluyor
HATA-94518	ATLAS-2329	Kullanıcı yanlış olan başka bir etikete tıklarsa Atlas Kullanıcı Arabirimi Birden Çok Vurgulama görünür
HATA-94519	ATLAS-2272	Arama API'sini kaydet'i kullanarak sürüklenen sütunların durumunu kaydedin.
HATA-94627	HIVE-17731	HIVE-11985'e dış kullanıcılar için geriye dönük `compat` seçenek ekleme
HATA-94786	HIVE-6091	Bağlantı oluşturma/kapatma için boş `pipeout` dosyalar oluşturulur
HATA-94793	HIVE-14013	Açıklama tablosu unicode'un düzgün şekilde gösterilmediği
HATA-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	Spark 2.0'ı Oozie ile düzeltmek için spark.yarn.jars'ı ayarlama
HATA-94901	HBASE-19285	Tablo başına gecikme süresi histogramları ekleme
HATA-94908	ATLAS-1921	Kullanıcı arabirimi: Varlık ve özellik özniteliklerini kullanarak arama yapma: Kullanıcı arabirimi aralık denetimi gerçekleştirmez ve integral ve float veri türleri için sınır dışı değerlerin sağlanmasına izin verir.
HATA-95086	RANGER-1953	kullanıcı grubu sayfa listesinde iyileştirme
HATA-95193	KAYDıRıCı-1252	Kaydırıcı aracısı Python 2.7.5-58 ile SSL doğrulama hatalarıyla başarısız oluyor
HATA-95314	YARN-7699	queueUsagePercentage, REST api çağrısı için `getApp` INF olarak geliyor
HATA-95315	HBASE-13947, HBASE-14517, HBASE-17931	Sistem tablolarını en yüksek sürüme sahip sunuculara atama
HATA-95392	ATLAS-2421	V2 veri yapılarını desteklemek için bildirim güncelleştirmeleri
HATA-95476	RANGER-1966	İlke altyapısı başlatma bazı durumlarda bağlam zenginleştiricileri oluşturmaz
HATA-95512	HIVE-18467	tüm ambar dökümü / load + veritabanı olaylarını oluşturma/bırakma desteği
HATA-95593	Yok	Oozie DB yardımcı programlarını oluşturmayı destekleyecek `Spark2sharelib` şekilde genişletme
HATA-95595	HIVE-15563	Gerçek özel durumu ortaya çıkarmak için SQLOperation.runQuery'de Geçersiz İşlem durumu geçiş özel durumunu yoksayın.
HATA-95685	ATLAS-2422	Dışarı Aktarma: Tür tabanlı Dışarı Aktarma desteği
HATA-95798	PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040	Sorguları seri olarak yürütmek için kılavuzposts kullanmayın
HATA-95969	HIVE-16828, HIVE-17063, HIVE-18390	Bölümlenmiş görünüm FAILED: IndexOutOfBoundsException Index: 1, Size: 1 ile başarısız oluyor
HATA-96019	HIVE-18548	İçeri aktarmayı düzeltme `log4j`
HATA-96288	HBASE-14123, HBASE-14135, HBASE-17850	Backport HBase Yedekleme/Geri Yükleme 2.0
HATA-96313	KNOX-1119	`Pac4J` OAuth/OpenID Sorumlusu yapılandırılabilir olmalıdır
HATA-96365	ATLAS-2442	Varlık kaynağında salt okunur izni olan kullanıcı temel arama gerçekleştiremiyor
HATA-96479	HDFS-12781	Aşağıdan sonra `Datanode` , `Namenode` Kullanıcı Arabirimi `Datanode` sekmesinde uyarı iletisi oluşturulur.
HATA-96502	RANGER-1990	Ranger Yöneticisi'nde Tek yönlü SSL MySQL desteği ekleme
HATA-96718	ATLAS-2439	Sqoop kancasını V2 bildirimlerini kullanacak şekilde güncelleştirme
HATA-96748	HIVE-18587	insert DML olayı dizinlerde sağlama toplamı hesaplamaya çalışabilir
HATA-96821	HBASE-18212	Yerel dosya sistemiyle tek başına modda HBase günlükleri Uyarı iletisi: org.apache.hadoop.fs.FSDataInputStream sınıfında 'unbuffer' yöntemi çağrılamadı
HATA-96847	HIVE-18754	REPL STATUS , 'with' yan tümcesini desteklemelidir
HATA-96873	ATLAS-2443	Giden DELETE iletilerinde gerekli varlık özniteliklerini yakalama
HATA-96880	SPARK-23230	Hive.default.fileformat başka tür dosya türleriyse, tablo oluşturma `textfile` hataya `serde` neden olur
HATA-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	Spark seçeneklerini ayrıştırma iyileştirme
HATA-97100	RANGER-1984	HBase denetim günlüğü kayıtları, erişilen sütunla ilişkili tüm etiketleri göstermeyebilir
HATA-97110	PHOENIX-3789	postBatchMutateIndispensably içinde bölgeler arası dizin bakım çağrıları yürütme
HATA-97145	HIVE-12245, HIVE-17829	HBase destekli tablo için destek sütunu açıklamaları
HATA-97409	HADOOP-15255	LdapGroupsMapping'te grup adları için Büyük/Küçük harf dönüştürme desteği
HATA-97535	HIVE-18710	inheritPerms'i Hive 2.X'te ACID'e genişletme
HATA-97742	OOZIE-1624	JAR'ler için `sharelib` dışlama deseni
HATA-97744	PHOENIX-3994	Dizin RPC önceliği hala hbase-site.xml denetleyici fabrikası özelliğine bağlıdır
HATA-97787	HIVE-18460	Sıkıştırıcı, Ork yazıcısına Tablo özelliklerini geçirmiyor
HATA-97788	HIVE-18613	JsonSerDe'yi İKILI türü destekleyecek şekilde genişletme
HATA-97899	HIVE-18808	İstatistik güncelleştirmesi başarısız olduğunda sıkıştırmayı daha sağlam hale getirin
HATA-98038	HIVE-18788	JDBC PreparedStatement içindeki girişleri temizleme
HATA-98383	HIVE-18907	HIVE-18817'den asit anahtar dizini sorununu düzeltmek için yardımcı program oluşturma
HATA-98388	RANGER-1828	İyi kodlama uygulaması-ranger'da daha fazla üst bilgi ekleme
HATA-98392	RANGER-2007	ranger-tagsync'in Kerberos bileti yenilenemiyor
HATA-98533	HBASE-19934, HBASE-20008	Boş işaretçi özel durumu nedeniyle HBase anlık görüntü geri yüklemesi başarısız oluyor
HATA-98552	HBASE-18083, HBASE-18084	HFileCleaner'da büyük/küçük dosya temiz iş parçacığı numarasını yapılandırılabilir hale getirme
HATA-98705	KNOX-1230	Url Mangling'e neden olan `Knox` birçok Eşzamanlı İstek
HATA-98711	Yok	NiFi dağıtımı, service.xml değişiklik yapmadan iki yönlü SSL kullanamaz
HATA-98880	OOZIE-3199	Sistem özelliği kısıtlamasının yapılandırılabilir olmasına izin ver
HATA-98931	ATLAS-2491	Hive kancasını Atlas v2 bildirimlerini kullanacak şekilde güncelleştirme
HATA-98983	KNOX-1108	NiFiHaDispatch yük devredmiyor
HATA-99088	ATLAS-2511	Hive'dan Atlas'a seçmeli olarak veritabanı/tablo aktarma seçenekleri sağlama
HATA-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	Spark sorgusu "java.io.FileNotFoundException: hive-site.xml (İzin reddedildi)" özel durumuyla başarısız oldu
HATA-99239	ATLAS-2462	Tüm tablolar için Sqoop içeri aktarma komutunda tablo sağlanmayan NPE oluşturur
HATA-99636	KNOX-1238	Ağ Geçidi için Özel Güven Deposu Ayarlarını Düzeltme
HATA-99650	KNOX-1223	Zeppelin'in proxy'si `Knox` /api/ticket'ı beklendiği gibi yeniden yönlendirmez
HATA-99804	OOZIE-2858	HiveMain, ShellMain ve SparkMain özelliklerin ve yapılandırma dosyalarının üzerine yerel olarak yazmamalıdır
HATA-99805	OOZIE-2885	Spark eylemlerini çalıştırmanın sınıf yolu üzerinde Hive'a ihtiyacı olmamalıdır
HATA-99806	OOZIE-2845	HiveConf'ta değişken ayarlayan yansıma tabanlı kodu değiştirme
HATA-99807	OOZIE-2844	.properties eksik veya okunabilir olmadığında Oozie eylemlerinin `log4j`kararlılığını artırın
RMP-9995	AMBARI-22222	Yerel diskte /apps/druid yerine /var/druid dizinini kullanmak için druid'yi değiştirin

Davranış değişiklikleri

Apache Bileşeni	Apache JIRA	Özet	Ayrıntılar
Spark 2.3	Yok	Apache Spark sürüm notlarında belgelendiği gibi değişiklikler	- Bir "Kullanımdan kaldırma" belgesi ve "Davranış değişikliği" kılavuzu vardır, https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - SQL bölümü için ayrıntılı bir "Geçiş" kılavuzu daha vardır (2.2'den 2.3'e), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	HIVE-12505	Spark işi başarıyla tamamlanır ancak HDFS disk kotası dolu hatası var	Senaryo: Komutunu çalıştıran kullanıcının Çöp Kutusu klasöründe bir kota ayarlandığında insert komutunun üzerine yazılıyor . Önceki Davranış: İş, verileri Çöp Sepeti'ne taşıyamasa da başarılı olur. Sonuç, tabloda daha önce var olan bazı verileri yanlışlıkla içerebilir. Yeni Davranış: Çöp Kutusu klasörüne taşıma işlemi başarısız olduğunda dosyalar kalıcı olarak silinir.
Kafka 1.0	Yok	Apache Spark sürüm notlarında belgelendiği gibi değişiklikler	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive/ Ranger		INSERT OVERWRITE için gereken başka bir ranger hive ilkesi	Senaryo: INSERT OVERWRITE için gereken başka bir ranger hive ilkesi Önceki davranış: Hive INSERT OVERWRITE sorguları her zamanki gibi başarılı olur. Yeni davranış: HDP-2.6.x sürümüne yükselttikten sonra Hive INSERT OVERWRITE sorguları beklenmedik şekilde başarısız oluyor ve şu hatayla karşılanıyor: Deyim derlenirken hata oluştu: FAILED: HiveAccessControlException İzin reddedildi: kullanıcı jdoe'su /tmp/(state=42000,code=40000) üzerinde YAZMA ayrıcalığına sahip değil HDP-2.6.0 itibarıyla Hive INSERT OVERWRITE* sorguları, kullanıcıya HDFS ilkesi aracılığıyla yazma ayrıcalığı verilmiş olsa bile yazma işlemlerine izin vermek için Ranger URI ilkesi gerektirir. Geçici Çözüm/Beklenen Müşteri Eylemi: 1. Hive deposu altında yeni bir ilke oluşturun. 2. Veritabanı'nı gördüğünüz açılan listede URI'yi seçin. 3. Yolu güncelleştirin (Örnek: /tmp/*) 4. Kullanıcıları ve grubu ekleyin ve kaydedin. 5. Ekleme sorgusunu yeniden deneyin.
HDFS	Yok	HDFS birden çok için destek vermelidir `KMS Uris`	Önceki Davranış: KMS sağlayıcı yolunu yapılandırmak için dfs.encryption.key.provider.uri özelliği kullanıldı. Yeni Davranış: kms sağlayıcı yolunu yapılandırmak için dfs.encryption.key.provider.uri artık hadoop.security.key.provider.path yerine kullanım dışı bırakılmıştır.
Zeplin	ZEPPELIN-3271	Zamanlayıcıyı devre dışı bırakma seçeneği	Etkilenen Bileşen: Zeppelin-Server Önceki Davranış: Zeppelin'in önceki sürümlerinde zamanlayıcıyı devre dışı bırakma seçeneği yoktu. Yeni Davranış: Varsayılan olarak, varsayılan olarak devre dışı bırakılacağı için kullanıcılar artık zamanlayıcıyı görmez. Geçici çözüm/Beklenen Müşteri Eylemi: Zamanlayıcıyı etkinleştirmek istiyorsanız Ambari'deki Zeppelin ayarlarında özel zeppelin sitesinin altına true değeriyle azeppelin.notebook.cron.enable eklemeniz gerekir.

Bilinen sorunlar

ADLS 2 . Nesil ile HDInsight tümleştirmesi Kullanıcı dizinleri ve izinleriyle Azure Data Lake Storage 2. Nesil kullanan HDInsight ESP kümelerinde iki sorun vardır:
1. Kullanıcıların giriş dizinleri Baş Düğüm 1'de oluşturulmuyor. Geçici bir çözüm olarak, dizinleri el ile oluşturun ve sahipliğini ilgili kullanıcının UPN'sine değiştirir.
2. /hdp dizinindeki izinler şu anda 751 olarak ayarlanmadı. Bunun şu şekilde ayarlanması gerekir:
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Spark 2.3
- [SPARK-23523][SQL] OptimizeMetadataOnlyQuery kuralının neden olduğu yanlış sonuç
- [SPARK-23406] Akış akışı kendi kendine birleşimlerindeki hatalar
- Azure Data Lake Storage (2. Nesil) kümenin varsayılan depolama alanı olduğunda Spark örnek not defterleri kullanılamaz.
Kurumsal Güvenlik Paketi
- Spark Thrift Server, ODBC istemcilerinden gelen bağlantıları kabul etmez. Geçici çözüm adımları:
  1. Küme oluşturulduktan sonra yaklaşık 15 dakika bekleyin.
  2. ranger kullanıcı arabiriminde hivesampletable_policy olup olmadığını denetleyin.
  3. Spark hizmetini yeniden başlatın. STS bağlantısı şimdi çalışmalıdır.
Ranger hizmet denetimi hatası için geçici çözüm
- RANGER-1607: Önceki HDP sürümlerinden HDP 2.6.2'ye yükseltirken Ranger hizmet denetimi hatası için geçici çözüm.
  
  Not
  
  Yalnızca Ranger SSL etkin olduğunda.
Bu sorun, Ambari aracılığıyla önceki HDP sürümlerinden HDP-2.6.1'e yükseltmeye çalışırken ortaya çıkar. Ambari, Ambari'de Ranger hizmetine hizmet denetimi yapmak için curl çağrısı kullanır. Ambari tarafından kullanılan JDK sürümü JDK-1.7 ise curl çağrısı aşağıdaki hatayla başarısız olur:

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

Bu hatanın nedeni Ranger'da kullanılan tomcat sürümünün Tomcat-7.0.7* olmasıdır. JDK-1.7 kullanımı, Tomcat-7.0.7* içinde sağlanan varsayılan şifrelemelerle çakıştırılır.

Bu sorunu iki yolla çözebilirsiniz:
- Ambari'de kullanılan JDK'yi JDK-1.7'den JDK-1.8'e güncelleştirin (Ambari Başvuru Kılavuzu'nda JDK Sürümünü Değiştirme bölümüne bakın).
- JDK-1.7 ortamını desteklemeye devam etmek istiyorsanız:
  1. Ambari Ranger yapılandırmanızdaki ranger-admin-site bölümüne ranger.tomcat.ciphers özelliğini aşağıdaki değerle ekleyin:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. Ortamınız Ranger-KMS için yapılandırılmışsa Ambari Ranger yapılandırmanızda ranger.tomcat.ciphers özelliğini Ambari Ranger yapılandırmanızda yer alan theranger-kms-site bölümüne aşağıdaki değerle ekleyin:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA SSL_RSA_WITH_3DES_EDE_CBC_SHA
Not

Not edilen değerler çalışma örnekleridir ve ortamınızı göstermeyebilir. Bu özellikleri ayarlama yönteminizin ortamınızın yapılandırma biçimiyle eşleştiğinden emin olun.
RangerUI: İlke formuna girilen ilke koşulu metninin kaçışı

Etkilenen Bileşen: Ranger

Sorunun Açıklaması

Kullanıcı özel ilke koşullarıyla ilke oluşturmak isterse ve ifade veya metin özel karakterler içeriyorsa, ilke zorlaması çalışmaz. İlke veritabanına kaydedilmeden önce özel karakterler ASCII'ye dönüştürülür.

Özel Karakterler: & <> " ' '

Örneğin, ilke kaydedildikten sonra tags.attributes['type']='abc' koşul aşağıdakine dönüştürülür.

tags.attds[' dsds']=' cssdfs'

İlkeyi düzenleme modunda açarak bu karakterlerle ilke koşulunu görebilirsiniz.

Geçici çözüm
- Seçenek 1: Ranger REST API aracılığıyla ilke oluşturma/güncelleştirme
  
  REST URL: http://< host>:6080/service/plugins/policies
  
  İlke koşuluyla ilke oluşturma:
  
  Aşağıdaki örnek etiketleri 'tags-test' olarak oluşturacak ve select, update, create, drop, alter, index, lock, all gibi tüm hive bileşeni izinlerini seçerek ilke koşulu astags.attr['type']=='abc' olan 'public' grubuna atayacaktır.
  
  Örnek:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  Mevcut ilkeyi ilke koşuluyla güncelleştirin:
  
  Aşağıdaki örnek ilkeyi 'tags-test' olarak etiketlerle güncelleştirir ve select, update, create, drop, alter, index, lock, all gibi tüm hive bileşeni izinlerini seçerek ilke koşulunu astags.attr['type']=='abc' olan 'public' grubuna atar.
  
  REST URL: http://< host-name>:6080/service/plugins/policies/<policy-id>
  
  Örnek:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- Seçenek 2: JavaScript değişikliklerini uygulama
  
  JS dosyasını güncelleştirme adımları:
  1. /usr/hdp/current/ranger-admin altında PermissionList.js dosyasını öğrenin
  2. renderPolicyCondtion işlevinin tanımını bulun (satır no: 404).
  3. Bu işlevden şu satırı kaldırın; örneğin görüntüleme işlevinin altında (satır no: 434)
    
    val = _.escape(val);//Satır No:460
    
    Yukarıdaki satırı kaldırdıktan sonra Ranger kullanıcı arabirimi, özel karakterler içerebilen ilke koşuluna sahip ilkeler oluşturmanıza olanak sağlar ve ilke değerlendirmesi aynı ilke için başarılı olur.

ADLS 2. Nesil ile HDInsight Tümleştirmesi: ESP kümeleri 1 ile ilgili kullanıcı dizinleri ve izin sorunu . Kullanıcıların giriş dizinleri Baş Düğüm 1'de oluşturulmuyor. Geçici çözüm, bunları el ile oluşturmak ve sahipliğini ilgili kullanıcının UPN'sine değiştirmektir. 2. /hdp üzerindeki izinler şu anda 751 olarak ayarlanmadı. Bunun bir chmod 751 /hdp b. chmod –R 755 /hdp/apps olarak ayarlanması gerekir

Kullanımdan kalkma

OMS Portalı: OMS portalına işaret eden HDInsight kaynak sayfasından bağlantıyı kaldırdık. Azure İzleyici günlükleri başlangıçta yapılandırmasını yönetmek ve toplanan verileri analiz etmek için OMS portalı adlı kendi portalını kullandı. Bu portaldaki tüm işlevler, geliştirilmeye devam edeceği Azure portalına taşındı. HDInsight, OMS portalı desteğini kullanım dışı bırakmıştır. Müşteriler Azure portalında HDInsight Azure İzleyici günlükleri tümleştirmesi kullanır.
Spark 2.3:Spark Release 2.3.0 kullanımdan kaldırılanlar

Yükseltme

Bu özelliklerin tümü HDInsight 3.6'da kullanılabilir. Spark, Kafka ve R Server'ın (Machine Learning Services) en son sürümünü almak için HDInsight 3.6 kümesi oluşturduğunuzda Spark, Kafka, ML Services sürümünü seçin. ADLS için destek almak için seçenek olarak ADLS depolama türünü seçebilirsiniz. Mevcut kümeler bu sürümlere otomatik olarak yükseltilmeyecektir.

Haziran 2018'den sonra oluşturulan tüm yeni kümeler, tüm açık kaynak projelerinde 1000'den fazla hata düzeltmesini otomatik olarak alır. Daha yeni bir HDInsight sürümüne yükseltmeyle ilgili en iyi yöntemler için bu kılavuzu izleyin.

Aracılığıyla paylaş

Arşivlenmiş sürüm notları

Özet

Piyasaya çıkış bilgileri

Sürüm tarihi: 22 Ekim 2024

Güncelleştirildi

Çok yakında

Yayın tarihi: 30 Ağustos 2024

Yayın tarihi: 09 Ağustos 2024

Güncelleştirmeler

Sürüm tarihi: 05 Temmuz 2024

Düzeltilen sorunlar

Sürüm tarihi: 19 Haziran 2024

Düzeltilen sorunlar

Sürüm tarihi: 16 Mayıs 2024

Sürüm tarihi: 15 Nisan 2024

Sürüm tarihi: 15 Şubat 2024

Yeni özellikler

Çok yakında

Sonraki adımlar

Sürüm tarihi: 10 Ocak 2024

Düzeltilen sorunlar

Çok yakında

Sürüm tarihi: 26 Ekim 2023

Yenilikler

Çok yakında

Yayın tarihi: 7 Eylül 2023

Yakında

Sürüm tarihi: 25 Temmuz 2023

Yenilikler

Çok yakında

Sürüm tarihi: 08 Mayıs 2023

Sürüm tarihi: 28 Şubat 2023

Sırada ne var?

Sürüm tarihi: 12 Aralık 2022

Açık kaynak hata düzeltmeleri

Sürüm tarihi: 10.08.2022

Yeni Özellik

Sabit

Log Analytics

Diğer hata düzeltmeleri

Açık kaynak hata düzeltmeleri

TEZ hata düzeltmeleri

Hive hata düzeltmeleri

Bilinen sorunlar

Sürüm tarihi: 10.08.2022

Yeni Özellik

Sabit

Log Analytics

Diğer hata düzeltmeleri

Açık kaynak hata düzeltmeleri

TEZ hata düzeltmeleri

Hive hata düzeltmeleri

Bilinen sorunlar

Sürüm tarihi: 06.03.2022

Yayında öne çıkanlar

Ambari

TEZ hata düzeltmeleri

HBase hata düzeltmeleri

Hive hata düzeltmeleri

Sürüm tarihi: 10.03.2022

Spark 3.1 genel kullanıma sunuldu

Kafka 2.4 genel kullanıma sunuldu

HWC'deki Eşleme Veri Türü artık HDInsight 4.0'da destekleniyor

Yeni bölgeler

OSS arka bağlantı noktası değişiklikleri

Bu sürüm için OSS tarafından desteklenen Apache JIRA'ları aşağıdadır:

Kullanımdan kaldırma bildirimleri

HDInsight üzerinde Azure Sanal Makine Ölçek Kümeleri

Azure HDInsight HBase iş yüklerinin ölçeklendirilmesi artık yalnızca el ile ölçeklendirme kullanılarak desteklenecek

Sürüm tarihi: 27.12.2021

Sürüm tarihi: 27.07.2021

Yeni özellikler

Kısıtlı Genel Bağlantı için Azure HDInsight desteği 15 Ekim 2021'de genel kullanıma sunulmuştur

Azure Özel Bağlantı için Azure HDInsight desteği genel olarak 15 Ekim 2021'de kullanılabilir

Yeni Azure İzleyici tümleştirme deneyimi (Önizleme)

Kullanımdan kalkma

Davranış değişiklikleri

HDInsight Etkileşimli Sorgusu yalnızca zamanlama tabanlı Otomatik Ölçeklendirmeyi destekler

Yaklaşan değişiklikler

HDInsight `Dv2` Sanal Makineler için Fiyat Düzeltmesi

`Eav4`-series desteği

Varsayılan küme VM boyutları -series olarak `Ev3`değiştirilir

Varsayılan küme VM boyutu -series olarak `Ev3`değişir