Archivált kibocsátási megjegyzések

Az Azure HDInsight a nagyvállalati ügyfelek körében a nyílt forráskódú Azure-elemzés egyik legnépszerűbb szolgáltatása. Iratkozzon fel a HDInsight kibocsátási megjegyzéseire a HDInsight és az összes HDInsight-verzió naprakész információiért.

A feliratkozáshoz kattintson a szalagcím "watch" gombjára, és figyelje meg a HDInsight-kiadásokat.

Az Azure HDInsight rendszeres időközönként kiadja a karbantartási frissítéseket a hibajavítások, a teljesítményjavítások és a biztonsági javítások biztosításához, így biztosítva, hogy naprakész maradjon ezekkel a frissítésekkel, garantálva az optimális teljesítményt és megbízhatóságot.

Ez a kibocsátási megjegyzés a következőre vonatkozik:

HDInsight 5.1-es verzió.

HDInsight 5.0-s verzió.

HDInsight 4.0-s verzió.

A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kibocsátási megjegyzés a 2409240625 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd a HDInsight 5.x összetevőverzióit.

• MSI-alapú hitelesítés támogatása elérhető az Azure Blob Storage-hoz.

  • Az Azure HDInsight mostantól támogatja az OAuth-alapú hitelesítést az Azure Blob Storage eléréséhez az Azure Active Directory (AAD) és a felügyelt identitások (MSI) használatával. Ezzel a fejlesztéssel a HDInsight felhasználó által hozzárendelt felügyelt identitásokat használ az Azure Blob Storage eléréséhez. További információ: Felügyelt identitások az Azure-erőforrásokhoz.

• A HDInsight szolgáltatás az Azure alapszintű terheléselosztó elavulásának bejelentése miatt vált át a standard terheléselosztók használatára az összes fürtkonfigurációhoz.

  Megjegyzés

  Ez a módosítás minden régióban elérhető. Hozza létre újra a fürtöt a módosítás felhasználásához. Ha segítségre van szüksége, forduljon az ügyfélszolgálathoz.

  Fontos

  Ha saját virtuális hálózatot (egyéni virtuális hálózatot) használ a fürt létrehozása során, vegye figyelembe, hogy a fürt létrehozása nem fog sikerülni, ha a módosítás engedélyezve van. Javasoljuk, hogy az áttelepítési útmutatóra hivatkozva hozza létre újra a fürtöt. Ha segítségre van szüksége, forduljon az ügyfélszolgálathoz.

• Alapszintű és standard A sorozatú virtuális gépek kivonása.

  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
  • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

• A HDInsight 4.0 és a HDInsight 5.0 kivonási értesítései.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A.

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről.

Az Azure HDInsight rendszeres időközönként kiadja a karbantartási frissítéseket a hibajavítások, a teljesítményjavítások és a biztonsági javítások biztosításához, így biztosítva, hogy naprakész maradjon ezekkel a frissítésekkel, garantálva az optimális teljesítményt és megbízhatóságot.

Ez a kibocsátási megjegyzés a következőre vonatkozik:

HDInsight 5.1-es verzió.

HDInsight 5.0-s verzió.

HDInsight 4.0-s verzió.

A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kibocsátási megjegyzés a 2407260448 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd a HDInsight 5.x összetevőverzióit.

A probléma kijavítva

• Alapértelmezett adatbázis-hibajavítás.

Hamarosan

• Alapszintű és standard A sorozatú virtuális gépek kivonása.
  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
  • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
• A HDInsight 4.0 és a HDInsight 5.0 kivonási értesítései.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A.

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről.

Ez a kibocsátási megjegyzés a következőre vonatkozik:

HDInsight 5.1-es verzió.

HDInsight 5.0-s verzió.

HDInsight 4.0-s verzió.

A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kibocsátási megjegyzés a 2407260448 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd a HDInsight 5.x összetevőverzióit.

Az Azure Monitor Agent hozzáadása a Log Analyticshez a HDInsightban

SystemMSI A Log Analyticshez készült DCR hozzáadása és automatizált használata az Új Azure Monitor-élmény (előzetes verzió) elavulása miatt.

• A HOBO-címkék felülírják a felhasználói címkéket.

  • A HOBO-címkék felülírják a felhasználói címkéket az alerőforrásokon a HDInsight-fürt létrehozásakor.

Ez a kibocsátási megjegyzés a következőre vonatkozik:

HDInsight 5.1-es verzió.

HDInsight 5.0-s verzió.

HDInsight 4.0-s verzió.

A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kibocsátási megjegyzés a 2406180258 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd a HDInsight 5.x összetevőverzióit.

• Biztonsági fejlesztések

  • A fürtök címkéinek az SFI-követelményekkel összhangban történő használatának fejlesztései .
  • A mintavételi szkriptek fejlesztései az SFI-követelményeknek megfelelően.

• A HDInsight Log Analytics fejlesztései a HDInsight erőforrás-szolgáltató rendszer által felügyelt identitás támogatásával.

• Új tevékenység hozzáadása a mdsd régi (2024 előtt létrehozott) rendszerkép ügynökverziójának frissítéséhez.

• A MISE engedélyezése az átjáróban az MSAL-migrálás folyamatos fejlesztései részeként.

• A Spark Thrift Server Httpheader hiveConf beépítése a Jetty HTTP ConnectionFactory-ba.

• A RANGER-3753 és a RANGER-3593 visszaállítása.

  A setOwnerUser Ranger 2.3.0 kiadásban megadott implementáció kritikus regressziós problémával rendelkezik, amikor a Hive használja. A Ranger 2.3.0-s verziójában, amikor a HiveServer2 megpróbálja kiértékelni a szabályzatokat, a Ranger-ügyfél megpróbálja lekérni a hive-tábla tulajdonosát a setOwnerUser függvény metaadattára meghívásával, amely lényegében a tárhoz való hívással ellenőrzi a táblához való hozzáférést. Ez a probléma miatt a lekérdezések lassúak lesznek, amikor a Hive a 2.3.0 Ranger-en fut.

Új régiók hozzáadva

• Észak-Olaszország
• Izrael középső régiója
• Közép-Spanyolország
• Mexikó középső régiója
• Jio India Central

Hozzáadás a 2024. júniusi archív jegyzetekhez

Hamarosan

• Alapszintű és standard A sorozatú virtuális gépek kivonása.
  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
  • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
• A HDInsight 4.0 és a HDInsight 5.0 kivonási értesítései.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A.

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről.

Ez a kibocsátási megjegyzés a következőre vonatkozik:

HDInsight 5.0-s verzió.

HDInsight 4.0-s verzió.

A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kibocsátási megjegyzés a 2405081840 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd a HDInsight 5.x összetevőverzióit.

Kijavított problémák

• Az SFI-kezdeményezés részeként hozzáadta az API-t az átjáróhoz a Keyvault jogkivonatának lekéréséhez.
• Az új Naplófigyelő HDInsightSparkLogs táblában a naplótípushoz SparkDriverLognéhány mező hiányzott. Például: LogLevel & Message. Ez a kiadás hozzáadja a hiányzó mezőket a sémákhoz, és rögzített formázást biztosít a sémákhoz SparkDriverLog.
• A Livy-naplók nem érhetők el a Log Analytics monitorozási SparkDriverLog táblájában, amely a Livy-napló forrásútvonalával és a konfigurációkban lévő SparkLivyLog regex naplóelemzésével kapcsolatos probléma miatt történt.
• Minden HDInsight-fürt, amely elsődleges tárfiókként használja az ADLS Gen2-t, msI-alapú hozzáférést használhat az alkalmazáskódban használt Bármely Azure-erőforráshoz (például SQL, Keyvaults).

Hamarosan

• Alapszintű és standard A sorozatú virtuális gépek kivonása.
  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
  • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
• A HDInsight 4.0 és a HDInsight 5.0 kivonási értesítései.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A.

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről.

Ez a kibocsátási megjegyzés a HDInsight 5.1-es verziójára vonatkozik.

A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kibocsátási megjegyzés a 2403290825 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd a HDInsight 5.x összetevőverzióit.

Kijavított problémák

• Az Ambari DB, a Hive Warehouse Controller (HWC), a Spark és a HDFS hibajavításai
• Hibajavítások a HDInsightSparkLogs-hez készült Log Analytics-modulhoz
• A HDInsight erőforrás-szolgáltató CVE-javításai.

Hamarosan

• Alapszintű és standard A sorozatú virtuális gépek kivonása.
  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
  • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
• A HDInsight 4.0 és a HDInsight 5.0 kivonási értesítései.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A.

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről.

Ez a kiadás a HDInsight 4.x és 5.x verziókra vonatkozik. A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2401250802 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

• HDInsight 5.x összetevőverziók

• Apache Ranger-támogatás a Spark SQL-hez a Spark 3.3.0-s (HDInsight 5.1-es verziójában) vállalati biztonsági csomaggal. További információt itt találhat.

Kijavított problémák

• Az Ambari és az Oozie összetevőinek biztonsági javításai

• Alapszintű és standard A sorozatú virtuális gépek kivonása.
  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
  • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről

• Azure HDInsight: Gyakori kérdések
• Az operációs rendszer javítási ütemtervének beállítása Linux-alapú HDInsight fürtökhöz
• Előző kibocsátási megjegyzés

Az Azure HDInsight a nagyvállalati ügyfelek körében a nyílt forráskódú Azure-elemzés egyik legnépszerűbb szolgáltatása. Ha a kibocsátási megjegyzésekre szeretne előfizetni, tekintse meg a GitHub-adattár kiadásait.

Ez a gyorsjavítás-kiadás a HDInsight 4.x és 5.x verziókra vonatkozik. A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2401030422 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

• HDInsight 5.x összetevőverziók

• Az Ambari és az Oozie összetevőinek biztonsági javításai

• Alapszintű és standard A sorozatú virtuális gépek kivonása.
  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
  • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2310140056 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

• HDInsight 5.x összetevőverziók

• A HDInsight 2023. november 1-től jelenti be a HDInsight 5.1 általános elérhetőségét. Ez a kiadás teljes veremfrissítést biztosít az nyílt forráskód összetevőkre és a Microsoft integrációira.

  • Legújabb nyílt forráskódú verziók – A HDInsight 5.1 a legújabb stabil nyílt forráskódú verzióval rendelkezik. Az ügyfelek élvezhetik a legújabb nyílt forráskód funkciókat, a Microsoft teljesítménybeli fejlesztéseit és a hibajavításokat.
  • Biztonságos – A legújabb verziókban a legújabb biztonsági javítások, a nyílt forráskódú biztonsági javítások és a Microsoft által végzett biztonsági fejlesztések is elérhetőek.
  • Alacsonyabb TCO – A teljesítménybeli fejlesztések révén az ügyfelek csökkenthetik az üzemeltetési költségeket, valamint a továbbfejlesztett automatikus skálázást.

• Fürtengedélyek a biztonságos tároláshoz

  • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiók csatlakoztatásához.

• HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.

  • A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfél létrehozási hibákba ütközhet, ha ez az ellenőrzés nincs engedélyezve.

• Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]

  • A nem ESP ABFS-fürtök korlátozzák, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtanak végre a tárolási műveletekhez. Ez a módosítás javítja a fürt biztonsági helyzetét.

• In-line kvótafrissítés.

  • Most közvetlenül a Saját kvóta oldalról kérheti a kvótanövelést, és a közvetlen API-hívás sokkal gyorsabb. Ha az API-hívás meghiúsul, létrehozhat egy új támogatási kérést a kvótanöveléshez.

• A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Ezt a módosítást minden régióban bevezetjük a közelgő kiadástól kezdve.

• Alapszintű és standard A sorozatú virtuális gépek kivonása.

  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
  • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2308221128 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

• HDInsight 5.x összetevőverziók

• A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Ezt a módosítást 2023. szeptember 30-ig hajtjuk végre.
• Fürtengedélyek a biztonságos tároláshoz
  • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
• In-line kvótafrissítés.
  • A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás lesz, ami gyorsabb. Ha az APdI-hívás meghiúsul, az ügyfeleknek új támogatási kérelmet kell létrehozniuk a kvótanöveléshez.
• HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
  • A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfeleknek ennek megfelelően kell tervezniük, mivel ez a módosítás kötelező ellenőrzés lenne a fürtlétrehozás 2023. szeptember 30-a előtti hibáinak elkerülése érdekében. 
• Alapszintű és standard A sorozatú virtuális gépek kivonása.
  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
• Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
  • Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt végre kell hajtaniuk a frissítéseket. 

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Itt további javaslatokat, ötleteket és egyéb témákat adhat hozzá, és szavazhat rájuk – HDInsight Community (azure.com).

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2307201242 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

• HDInsight 5.x összetevőverziók

• A HDInsight 5.1 mostantól esp-fürttel is támogatott.
• A Ranger 2.3.0 és az Oozie 5.2.1 frissített verziója mostantól a HDInsight 5.1 része
• A Spark 3.3.1 (HDInsight 5.1) fürt a Hive Warehouse Connector (HWC) 2.1-et tartalmazza, amely együttműködik az Interaktív lekérdezési (HDInsight 5.1) fürttel.
• Az Ubuntu 18.04-et a 2023. júliusi Azure HDInsighthoz készült Azure Linux-csapat támogatja az ESM (kiterjesztett biztonsági karbantartás) keretében.

• A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt kell megtervezniük a frissítéseket.
• Fürtengedélyek a biztonságos tároláshoz
  • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
• In-line kvótafrissítés.
  • A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás lesz, ami gyorsabb. Ha az API-hívás sikertelen, az ügyfeleknek létre kell hozniuk egy új támogatási kérelmet a kvótanöveléshez.
• HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
  • A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfeleknek ennek megfelelően kell tervezniük, mivel ez a módosítás kötelező ellenőrzés lenne a fürtlétrehozás 2023. szeptember 30-a előtt bekövetkező hibáinak elkerülése érdekében. 
• Alapszintű és standard A sorozatú virtuális gépek kivonása.
  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
• Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
  • Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt kell megtervezniük a frissítéseket. 

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Itt további javaslatokat, ötleteket és egyéb témákat adhat hozzá, és szavazhat rájuk – HDInsight-közösség (azure.com), és kövessen minket további frissítésekért az X-en

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető. Ez a kiadás a 2304280205 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

• HDInsight 5.x összetevőverziók

1. Az Azure HDInsight 5.1 frissítése

   1. Apache HBase 2.4.11
   2. Apache Phoenix 5.1.2
   3. Apache Hive 3.1.2
   4. Apache Spark 3.3.1
   5. Apache Tez 0.9.1
   6. Apache Zeppelin 0.10.1
   7. Apache Livy 0.5
   8. Apache Kafka 3.2.0

   Megjegyzés

   • Minden összetevő integrálva van a Hadoop 3.3.4 > ZK 3.6.3
   • A fenti frissített összetevők mostantól nyilvános előzetes verziójú, nem ESP-fürtökben is elérhetők.

1. Továbbfejlesztett automatikus skálázás a HDInsighthoz

   Az Azure HDInsight jelentős fejlesztéseket hajtott végre az automatikus skálázás stabilitásán és késésén. Az alapvető változások közé tartozik a jobb visszajelzési ciklus a skálázási döntésekhez, a skálázási késés jelentős javulása és a leszerelt csomópontok újrakommissziójának támogatása. További információ a fejlesztésekről, a fürt egyéni konfigurálásáról és a továbbfejlesztett automatikus skálázásra való migrálásáról. A továbbfejlesztett automatikus skálázási funkció 2023. május 17-én érhető el az összes támogatott régióban.

2. Az Apache Kafka 2.4.1-hez készült Azure HDInsight ESP mostantól általánosan elérhető.

   Az Apache Kafka 2.4.1-hez készült Azure HDInsight ESP 2022 áprilisa óta nyilvános előzetes verzióban érhető el. A CVE javításainak és stabilitásának jelentős fejlesztései után az Azure HDInsight ESP Kafka 2.4.1 általánosan elérhetővé válik, és készen áll az éles számítási feladatokra, és megismerkedhet a konfigurálás és a migrálás módjával.

3. A HDInsight kvótakezelése

   A HDInsight jelenleg regionális szinten foglalja le a kvótát az ügyfél-előfizetésekhez. Az ügyfeleknek kiosztott magok általánosak, és nem virtuálisgép-családi szinten vannak besorolva (például, Dv2, Ev3, Eav4stb.).

   A HDInsight továbbfejlesztett nézetet vezetett be, amely részletes és besorolást biztosít a családi szintű virtuális gépek kvótáihoz. Ez a funkció lehetővé teszi, hogy az ügyfelek a virtuális gép családi szintjén tekinthetik meg a régió aktuális és fennmaradó kvótáit. A továbbfejlesztett nézettel az ügyfelek gazdagabb láthatóságot, kvóták tervezését és jobb felhasználói élményt biztosítanak. Ez a funkció jelenleg az USA keleti régiójához tartozó HDInsight 4.x és 5.x rendszeren érhető el. További követendő régiók.

   További információ: Fürtkapacitás-tervezés az Azure HDInsightban | Microsoft Learn

• Közép-Lengyelország

• A fürtnév maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében.
• Fürtengedélyek a biztonságos tároláshoz
  • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
• In-line kvótafrissítés.
  • A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás, amely gyorsabb. Ha az API-hívás sikertelen, az ügyfeleknek létre kell hozniuk egy új támogatási kérelmet a kvótanöveléshez.
• HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
  • A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfeleknek ennek megfelelően kell tervezni, mivel ez kötelező ellenőrzés lenne a fürtlétrehozás hibáinak elkerülése érdekében.
• Alapszintű és standard A sorozatú virtuális gépek kivonása.
  • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
• Nem ESP ABFS-fürtök [Fürtengedélyek a világ számára olvasható]
  • Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek meg kell tervezni a frissítéseket.

Ez a kiadás a HDInsight 4.0-ra vonatkozik. és 5.0, 5.1. A HDInsight-kiadás több napon keresztül minden régióban elérhető. Ez a kiadás a 2302250400 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

• HDInsight 5.x összetevőverziók

HDInsight 5.1

Elindítottuk a HDInsight 5.1 új verzióját. Minden új nyílt forráskódú kiadás növekményes kiadásként hozzáadva a HDInsight 5.1-es verziójához.

További információ: HDInsight 5.1.0-s verzió

Kafka 3.2.0 frissítés (előzetes verzió)

• A Kafka 3.2.0 számos jelentős új funkciót/fejlesztést tartalmaz.
  • Frissített Zookeeper 3.6.3-ra
  • A Kafka Streams támogatása
  • A Kafka-gyártó számára alapértelmezés szerint engedélyezett erősebb kézbesítési garanciák.
  • log4j 1.x helyett reload4j.
  • Küldjön egy tippet a partícióvezetőnek a partíció helyreállításához.
  • JoinGroupRequest és LeaveGroupRequest van egy ok csatolva.
  • Hozzáadva a közvetítők számának metrikái8.
  • Tükrözési Maker2 fejlesztések.

HBase 2.4.11 frissítés (előzetes verzió)

• Ez a verzió olyan új funkciókkal rendelkezik, mint például a blokkgyorsítótár új gyorsítótárazási mechanizmusainak hozzáadása, a táblázat módosításának hbase:meta table és megtekintésének lehetősége a hbase:meta HBase WEB felhasználói felületén.

Phoenix 5.1.2 frissítés (előzetes verzió)

• A Phoenix verziója ebben a kiadásban az 5.1.2-es verzióra frissült. Ez a frissítés tartalmazza a Phoenix Query Servert is. A Phoenix Query Server a szabványos Phoenix JDBC-illesztőt proxyzja, és egy visszafelé kompatibilis vezetékes protokollt biztosít a JDBC-illesztőprogram meghívásához.

Ambari CV-k

• Több Ambari CV-t is kijavítottunk.

• Automatikus skálázás
  • Automatikus skálázás továbbfejlesztett késéssel és számos fejlesztéssel
• Fürtnévváltoztatás korlátozása
  • A fürtnév maximális hossza 45-ről 59-re változik a nyilvános, az Azure China és az Azure Government esetében.
• Fürtengedélyek a biztonságos tároláshoz
  • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
• Nem ESP ABFS-fürtök [Fürtengedélyek a világ számára olvasható]
  • Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek meg kell tervezni a frissítéseket.
• Nyílt forráskódú frissítések
  • Az Apache Spark 3.3.0 és a Hadoop 3.3.4 fejlesztés alatt áll a HDInsight 5.1-ben, és számos jelentős új funkciót, teljesítményt és egyéb fejlesztést tartalmaz.

Ez a kiadás a HDInsight 4.0-ra vonatkozik. és az 5.0 HDInsight kiadás több napon keresztül minden régió számára elérhetővé válik.

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

• HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
• HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

• Log Analytics – Az ügyfelek engedélyezhetik a klasszikus monitorozást az OMS legújabb 14.19-es verziójának beszerzéséhez. A régi verziók eltávolításához tiltsa le és engedélyezze a klasszikus monitorozást.
• Az Ambari felhasználói automatikus felhasználói felülete inaktivitás miatt kijelentkezik. További információ:
• Spark – A Spark 3.1.3 új és optimalizált verziója szerepel ebben a kiadásban. Teszteltük az Apache Spark 3.1.2(korábbi verzió) és az Apache Spark 3.1.3 (jelenlegi verzió) verzióját a TPC-DS benchmark használatával. A tesztet az Apache Spark 1 TB-os számítási feladathoz készült E8 V3 termékváltozatával végezték el. Az Apache Spark 3.1.3 (jelenlegi verzió) több mint 40%-kal felülmúlta az Apache Spark 3.1.2-t (korábbi verzió) a TPC-DS-lekérdezések teljes lekérdezési futásidejében ugyanazokkal a hardveres specifikációkkal. A Microsoft Spark csapata optimalizálásokat adott hozzá az Azure Synapse-ban az Azure HDInsighttal. További információ: Adatterhelések felgyorsítása az Apache Spark 3.1.2 teljesítményfrissítéseivel az Azure Synapse-ben

• Közép-Katar
• Észak-Németország

• A HDInsight átlépett az Azul Zulu Java JDK 8-ról Adoptium Temurin JDK 8, amely támogatja a kiváló minőségű TCK-tanúsítvánnyal rendelkező futtatókörnyezeteket és a kapcsolódó technológiákat a Java-ökoszisztémában való használathoz.

• A HDInsight át lett migrálva.reload4j A log4j módosítások a következőre vonatkoznak:

  • Apache Hadoop
  • Apache Zookeeper
  • Apache Oozie
  • Apache Ranger
  • Apache Sqoop
  • Apache Pig
  • Apache Ambari
  • Apache Kafka
  • Apache Spark
  • Apache Zeppelin
  • Apache Livy
  • Apache Rubix
  • Apache Hive
  • Apache Tez
  • Apache HBase
  • OMI
  • Apache Pheonix

A TLS1.2 implementálásához szükséges HDInsight előrehaladtával a korábbi verziók frissülnek a platformon. Ha bármilyen alkalmazást futtat a HDInsighton, és a TLS 1.0 és 1.1 rendszert használják, frissítsen a TLS 1.2-re a szolgáltatások megszakadásának elkerülése érdekében.

További információ: A Transport Layer Security (TLS) engedélyezése

2022. november 30-tól megszűnik az Azure HDInsight-fürtök támogatása az Ubuntu 16.04 LTS-en. A HDInsight 2021. június 27-től megkezdi a fürtlemezképek kiadását az Ubuntu 18.04-es verziójával. Azt javasoljuk ügyfeleinknek, hogy az Ubuntu 16.04 használatával fürtöket futtató ügyfeleink 2022. november 30-ig a legújabb HDInsight-lemezképekkel építsék újra a fürtöket.

A fürt Ubuntu-verziójának ellenőrzéséről itt talál további információt

1. Hajtsa végre az "lsb_release -a" parancsot a terminálban.

2. Ha a kimenet "Description" tulajdonságának értéke "Ubuntu 16.04 LTS", akkor ez a frissítés a fürtre vonatkozik.

• A Rendelkezésre állási zónák kafka- és HBase-fürtökhöz (írási hozzáférés) való kiválasztásának támogatása.

Hive hibajavítások

Ez a kiadás a HDInsight 4.0-ra vonatkozik.  A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik.

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

1. Külső lemezek csatolása HDI Hadoop-/Spark-fürtökben

A HDInsight-fürt SKU-n alapuló előre definiált lemezterülettel rendelkezik. Ez a hely nagy feladatok esetén nem biztos, hogy elegendő.

Ez az új funkció lehetővé teszi további lemezek hozzáadását a fürtben, amelyek csomópontkezelő helyi könyvtárként szolgálnak. A HIVE és a Spark-fürt létrehozása során adjon hozzá lemezeket a feldolgozó csomópontokhoz, míg a kijelölt lemezek a csomópontkezelő helyi könyvtárainak részei.

További információ:

2. Szelektív naplózási elemzés

A szelektív naplózási elemzés mostantól minden régióban elérhető a nyilvános előzetes verzióhoz. A fürtöt egy log analytics-munkaterülethez csatlakoztathatja. Ha engedélyezve van, megtekintheti a naplókat és metrikákat, például a HDInsight biztonsági naplóit, a Yarn Resource Managert, a rendszermetrikákat stb. Figyelheti a számítási feladatokat, és megtekintheti, hogy ezek hogyan befolyásolják a fürt stabilitását. A szelektív naplózás lehetővé teszi az összes tábla engedélyezését/letiltását, vagy a szelektív táblák engedélyezését a Log Analytics-munkaterületen. Az egyes táblák forrástípusát módosíthatja, mivel a Genf új verziójában egy tábla több forrással rendelkezik.

1. A genfi monitorozási rendszer mdsd(MDS démont) használ, amely egy monitorozási ügynök, és folyékonyan használható a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
2. A szelektív naplózás szkriptművelettel tiltja le/engedélyezi a táblákat és a naplótípusokat. Mivel nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
3. A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására/engedélyezésére.

További információ:

Az OMS 13-at futtató Azure HDInsighttal integrált Log Analytics használatához az OMS 14-es verziójára kell frissíteni a legújabb biztonsági frissítéseket. Az OMS 13-at használó régebbi fürtverziót használó ügyfeleknek telepíteniük kell az OMS 14-es verzióját a biztonsági követelményeknek való megfelelés érdekében. (Az aktuális verzió ellenőrzése és a 14-es telepítés)

Az OMS aktuális verziójának ellenőrzése

1. Jelentkezzen be a fürtbe az SSH használatával.
2. Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

Az OMS-verzió frissítése 13-ról 14-re

1. Jelentkezzen be az Azure Portalra
2. Az erőforráscsoportban válassza ki a HDInsight-fürt erőforrását
3. Szkriptműveletek kiválasztása
4. A szkriptművelet elküldése panelen válassza a Szkripttípus egyéniként lehetőséget
5. Illessze be a következő hivatkozást a Bash-szkript URL-cím mezőjébe https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
6. Csomóponttípus(ok) kiválasztása
7. Válassza a Létrehozás elemet

1. Ellenőrizze a javítás sikeres telepítését az alábbi lépésekkel:

2. Jelentkezzen be a fürtbe az SSH használatával.

3. Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

1. A Yarn-napló parancssori felülete nem tudta lekérni a naplókat, ha valamelyik TFile sérült vagy üres.
2. Az OAuth-jogkivonat az Azure Active Directoryból való lekérése során érvénytelen szolgáltatásnév-adathibát oldott fel.
3. Továbbfejlesztett fürtlétrehozás megbízhatósága, ha több mint 100 működő csomópont van konfigurálva.

A HDInsight kompatibilis az Apache HIVE 3.1.2-vel. A jelen kiadás hibája miatt a Hive-verzió 3.1.0-s verzióként jelenik meg a Hive-felületeken. A funkcióra azonban nincs hatással.

Ez a kiadás a HDInsight 4.0-ra vonatkozik.  A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik.

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

1. Külső lemezek csatolása HDI Hadoop-/Spark-fürtökben

A HDInsight-fürt SKU-n alapuló előre definiált lemezterülettel rendelkezik. Ez a hely nagy feladatok esetén nem biztos, hogy elegendő.

Ez az új funkció lehetővé teszi további lemezek hozzáadását a fürtben, amelyek csomópontkezelő helyi könyvtárként lesznek használva. A HIVE és a Spark-fürt létrehozása során adjon hozzá lemezeket a feldolgozó csomópontokhoz, míg a kijelölt lemezek a csomópontkezelő helyi könyvtárainak részei.

További információ:

2. Szelektív naplózási elemzés

A szelektív naplózási elemzés mostantól minden régióban elérhető a nyilvános előzetes verzióhoz. A fürtöt egy log analytics-munkaterülethez csatlakoztathatja. Ha engedélyezve van, megtekintheti a naplókat és metrikákat, például a HDInsight biztonsági naplóit, a Yarn Resource Managert, a rendszermetrikákat stb. Figyelheti a számítási feladatokat, és megtekintheti, hogy ezek hogyan befolyásolják a fürt stabilitását. A szelektív naplózás lehetővé teszi az összes tábla engedélyezését/letiltását, vagy a szelektív táblák engedélyezését a Log Analytics-munkaterületen. Az egyes táblák forrástípusát módosíthatja, mivel a Genf új verziójában egy tábla több forrással rendelkezik.

1. A genfi monitorozási rendszer mdsd(MDS démont) használ, amely egy monitorozási ügynök, és folyékonyan használható a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
2. A szelektív naplózás szkriptművelettel tiltja le/engedélyezi a táblákat és a naplótípusokat. Mivel nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
3. A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására/engedélyezésére.

További információ:

Az OMS 13-at futtató Azure HDInsighttal integrált Log Analytics használatához az OMS 14-es verziójára kell frissíteni a legújabb biztonsági frissítéseket. Az OMS 13-at használó régebbi fürtverziót használó ügyfeleknek telepíteniük kell az OMS 14-es verzióját a biztonsági követelményeknek való megfelelés érdekében. (Az aktuális verzió ellenőrzése és a 14-es telepítés)

Az OMS aktuális verziójának ellenőrzése

1. Jelentkezzen be a fürtbe az SSH használatával.
2. Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

Az OMS-verzió frissítése 13-ról 14-re

1. Jelentkezzen be az Azure Portalra
2. Az erőforráscsoportban válassza ki a HDInsight-fürt erőforrását
3. Szkriptműveletek kiválasztása
4. A szkriptművelet elküldése panelen válassza a Szkripttípus egyéniként lehetőséget
5. Illessze be a következő hivatkozást a Bash-szkript URL-cím mezőjébe https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
6. Csomóponttípus(ok) kiválasztása
7. Válassza a Létrehozás elemet

1. Ellenőrizze a javítás sikeres telepítését az alábbi lépésekkel:

2. Jelentkezzen be a fürtbe az SSH használatával.

3. Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

1. A Yarn-napló parancssori felülete nem tudta lekérni a naplókat, ha valamelyik TFile sérült vagy üres.
2. Az OAuth-jogkivonat az Azure Active Directoryból való lekérése során érvénytelen szolgáltatásnév-adathibát oldott fel.
3. Továbbfejlesztett fürtlétrehozás megbízhatósága, ha több mint 100 működő csomópont van konfigurálva.

A HDInsight kompatibilis az Apache HIVE 3.1.2-vel. A jelen kiadás hibája miatt a Hive-verzió 3.1.0-s verzióként jelenik meg a Hive-felületeken. A funkcióra azonban nincs hatással.

Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.

A Hive Warehouse-összekötő (HWC) a Spark 3.1.2-ben

A Hive Warehouse Connector (HWC) lehetővé teszi, hogy kihasználja a Hive és a Spark egyedi funkcióit a nagy teljesítményű big data-alkalmazások létrehozásához. A HWC jelenleg csak a Spark 2.4-ben támogatott. Ez a funkció üzleti értéket ad hozzá azáltal, hogy engedélyezi az ACID-tranzakciókat a Hive-táblákon a Spark használatával. Ez a funkció olyan ügyfelek számára hasznos, akik a Hive-t és a Sparkot is használják az adattulajdonukban. További információ: Apache Spark > Hive – Hive Warehouse Connector – Azure HDInsight | Microsoft Docs

• Skálázási és kiépítési fejlesztések változásai
• A HDI-hive mostantól kompatibilis az OSS 3.1.2-es verziójával

A HDI Hive 3.1-es verziója az OSS Hive 3.1.2-re frissül. Ez a verzió az nyílt forráskód Hive 3.1.2-es verziójában elérhető összes javítást és funkciót tartalmazza.

Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.

A kiadás operációsrendszer-verziói a következők:

• HDInsight 4.0: Ubuntu 18.04.5

A Spark 3.1 mostantól általánosan elérhető a HDInsight 4.0-s kiadásában. Ez a kiadás tartalmazza a

• Adaptív lekérdezés végrehajtása,
• Rendezési egyesítési illesztés átalakítása szórásos kivonatos illesztéssé,
• Spark Catalyst Optimizer,
• Dinamikus partíciómetszet,
• Az ügyfelek új Spark 3.1-fürtöket hozhatnak létre, és nem Spark 3.0-s (előzetes verziójú) fürtöket.

További információ: Az Apache Spark 3.1 mostantól általánosan elérhető a HDInsighton – Microsoft Tech Community.

A fejlesztések teljes listáját az Apache Spark 3.1 kibocsátási megjegyzéseiben találja.

A migrálással kapcsolatos további információkért tekintse meg a migrálási útmutatót .

A Kafka 2.4.1 mostantól általánosan elérhető. További információ: Kafka 2.4.1 Kibocsátási megjegyzések. További funkciók: MirrorMaker 2 rendelkezésre állás, új metrikakategória AtMinIsr témakörpartíció, továbbfejlesztett közvetítő indítási ideje lusta igény szerint mmap indexfájlok, további fogyasztói metrikák a felhasználói szavazás viselkedésének megfigyeléséhez.

Ez a kiadás tartalmazza a Map Datatype támogatást a HWC 1.0-hoz (Spark 2.4) a Spark-shell alkalmazáson keresztül, és minden más spark-ügyfelet, amelyet a HWC támogat. Az alábbi fejlesztések a többi adattípushoz hasonlóan az alábbiakat tartalmazzák:

A felhasználó

• Hozzon létre egy Hive-táblát a Map adattípust tartalmazó oszlop(ok)ból, szúrjon be adatokat, és olvassa el az eredményeket.
• Hozzon létre egy Apache Spark-adatkeretet térképtípussal, és végezze el a köteg/stream olvasását és írását.

A HDInsight mostantól két új régióra bővítette földrajzi jelenlétét: Kína keleti régiója 3. és Kína északi régiója 3.

A Hive-ben található OSS-háttérjelentések, beleértve a HWC 1.0-t (Spark 2.4), amely támogatja a Térkép adattípust.

A HDInsight a továbbiakban nem fogja használni az Azure Virtual Machine Scale Setset a fürtök kiépítéséhez, nem várható kompatibilitástörő változás. A virtuálisgép-méretezési csoportok meglévő HDInsight-fürtjeinek nincs hatása, a legújabb rendszerképeken lévő új fürtök már nem fogják használni a virtuálisgép-méretezési csoportokat.

2022. március 01-től a HDInsight csak a HBase manuális méretezését támogatja, nincs hatással a futó fürtökre. Az új HBase-fürtök nem fogják tudni engedélyezni az ütemezésalapú automatikus skálázást. A HBase-fürt manuális méretezéséről további információt az Azure HDInsight-fürtök manuális skálázásával kapcsolatos dokumentációnkban talál.

Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.

A kiadás operációsrendszer-verziói a következők:

• HDInsight 4.0: Ubuntu 18.04.5 LTS

A HDInsight 4.0-s rendszerképe frissült, hogy enyhítse Log4j a biztonsági réseket a Microsoft CVE-2021-44228 Apache Log4j 2-re adott válaszában leírtak szerint.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A kiadás operációsrendszer-verziói a következők:

• HDInsight 3.6: Ubuntu 16.04.7 LTS
• HDInsight 4.0: Ubuntu 18.04.5 LTS

Az Azure HDInsight mostantól minden régióban támogatja a korlátozott nyilvános kapcsolatot. Az alábbiakban bemutatjuk a képesség főbb főbb jellemzőit:

• Lehetőség az erőforrás-szolgáltató fürtkommunikációra való megfordítására, hogy az a fürtről az erőforrás-szolgáltató felé irányuló kimenő forgalomra legyen képes
• Saját Private Link-kompatibilis erőforrások (például tárolás, SQL, kulcstartó) HDInsight-fürthöz való elérésének támogatása az erőforrások csak magánhálózaton keresztüli eléréséhez
• Nincs kiépített nyilvános IP-cím

Ezzel az új funkcióval kihagyhatja a HDInsight felügyeleti IP-címeinek bejövő hálózati biztonsági csoport (NSG) szolgáltatáscímkéinek szabályait is. További információ a nyilvános kapcsolatok korlátozásáról

Mostantól privát végpontokkal is csatlakozhat a HDInsight-fürtökhöz privát kapcsolaton keresztül. A privát kapcsolat olyan virtuális hálózatok közötti forgatókönyvekben használható, ahol a virtuális hálózatok közötti társviszony-létesítés nem érhető el vagy engedélyezve van.

Az Azure Private Link lehetővé teszi az Azure PaaS-szolgáltatások (például az Azure Storage és az SQL Database) és az Azure által üzemeltetett ügyfél-/partnerszolgáltatások elérését a virtuális hálózat egy privát végpontján keresztül.

A virtuális hálózat és a szolgáltatás közötti forgalom a Microsoft gerinchálózatán halad át. Ezáltal kiküszöbölhető a szolgáltatás nyilvános internetes kitettsége.

Engedélyezze a privát kapcsolat engedélyezését. 

Az új Azure Monitor-integrációs felület az USA keleti régiójában és Nyugat-Európában jelenik meg ezzel a kiadással. Az új Azure Monitor-felületről itt talál további információt.

A HDInsight 3.6-os verziója 2022. október 01-én elavult.

Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás felülmúlhatja az automatikus skálázás költségelőnyét.

2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az új interaktív lekérdezésfürtökön már nem engedélyezheti a terhelésalapú automatikus skálázást. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.

A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.

A következő változások a közelgő kiadásokban történnek.

A HDInsight 4.0 ESP Spark-fürt beépített LLAP-összetevőkkel rendelkezik, és mindkét fejcsomóponton fut. Az ESP Spark-fürt LLAP-összetevői eredetileg a HDInsight 3.6 ESP Sparkhoz lettek hozzáadva, de a HDInsight 4.0 ESP Sparkhoz nincs valós felhasználói esete. A következő, 2021 szeptemberében ütemezett kiadásban a HDInsight eltávolítja a beépített LLAP-összetevőt a HDInsight 4.0 ESP Spark-fürtből. Ez a módosítás segít kiépíteni a csomópontok számítási feladatait, és elkerülheti az ESP Spark és az ESP Interaktív Hive-fürttípus közötti félreértéseket.

• USA 3. nyugati régiója
• Jio Nyugat-India
• Ausztrália középső régiója

Ezzel a kiadással a következő összetevőverzió módosult:

• ORC-verzió 1.5.1-től 1.5.9-es verzióig

Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

A kiadáshoz a háttérportolt Apache JIRA-k a következők:

2021. április 25-én kijavítottunk egy díjszabási hibát a Dv2 HDInsight virtuálisgép-sorozatában. A díjszabási hiba miatt április 25-e előtt néhány ügyfél számláinak díja csökkent, és a javítással az árak most már megegyeznek a HDInsight díjszabási oldalán és a HDInsight díjszabási kalkulátorban meghirdetett árakkalkulátorral. A díjszabási hiba a következő régiókban lévő, virtuális gépeket használó Dv2 ügyfeleket érintette:

• Közép-Kanada
• Kelet-Kanada
• Kelet-Ázsia
• Dél-Afrika északi régiója
• Délkelet-Ázsia
• Egyesült Arab Emírségek középső régiója

2021. április 25-től a virtuális gépek korrigált összege Dv2 az Ön fiókjában lesz. Az ügyfélértesítéseket a rendszer a módosítás előtt elküldte az előfizetés-tulajdonosoknak. A tarifakalkulátor, a HDInsight díjszabási lapja vagy a HDInsight-fürt létrehozása panel az Azure Portalon a régióban lévő virtuális gépek korrigált költségeinek Dv2 megtekintéséhez használható.

Nincs szükség más műveletre. Az árkorrekció csak a megadott régiókban 2021. április 25-én vagy azt követően érvényes használatra vonatkozik, az ezen időpontot megelőző használatra nem. Annak érdekében, hogy a legeredményesebb és legköltséghatékonyabb megoldással rendelkezzen, javasoljuk, hogy tekintse át a fürtök díjszabását, a VCPU-t és a RAM-ot Dv2 , és hasonlítsa össze a Dv2 specifikációkat a Ev3 virtuális gépekkel, és ellenőrizze, hogy a megoldás kihasználná-e az újabb virtuálisgép-sorozatok egyikét.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A kiadás operációsrendszer-verziói a következők:

• HDInsight 3.6: Ubuntu 16.04.7 LTS
• HDInsight 4.0: Ubuntu 18.04.5 LTS

Az Ubuntu kiadási ciklusában hivatkozott Ubuntu 16.04 kernel 2021 áprilisában éri el az End of Life (EOL) rendszert. Ezzel a kiadással elindítottuk az Ubuntu 18.04-en futó új HDInsight 4.0-fürtrendszerképet. Az újonnan létrehozott HDInsight 4.0-fürtök alapértelmezés szerint az Ubuntu 18.04-en futnak, amint elérhetők. Az Ubuntu 16.04 meglévő fürtöi ugyanúgy futnak, mint a teljes támogatással.

A HDInsight 3.6 továbbra is az Ubuntu 16.04-en fog futni. 2021. július 1-től alapszintű támogatásra vált (a Standard támogatástól kezdve). A dátumokkal és a támogatási lehetőségekkel kapcsolatos további információkért tekintse meg az Azure HDInsight verzióit. Az Ubuntu 18.04 nem támogatott a HDInsight 3.6-hoz. Ha az Ubuntu 18.04-et szeretné használni, át kell telepítenie a fürtöket a HDInsight 4.0-ra.

Ha meglévő HDInsight 4.0-fürtöket szeretne áthelyezni az Ubuntu 18.04-re, el kell helyeznie és újra létre kell hoznia a fürtöket. Tervezze meg a fürtök létrehozását vagy újbóli létrehozását az Ubuntu 18.04-támogatás elérhetővé válása után.

Az új fürt létrehozása után SSH-t adhat a fürthöz, és futtathatja sudo lsb_release -a annak ellenőrzéséhez, hogy az Ubuntu 18.04-es rendszeren fut-e. Javasoljuk, hogy az éles környezetbe való áttérés előtt tesztelje az alkalmazásokat a teszt-előfizetésekben.

A HDInsight továbbfejlesztette és optimalizálta a HBase által gyorsított írásvédett fürtök skálázását. További információ a HBase gyorsított írásáról.

Ebben a kiadásban nincs elavulás.

A HDInsight-fürtfőcsomópont felelős a fürt inicializálásáért és felügyeletéért. Standard_A5 virtuális gép mérete megbízhatósági problémákat tapasztal a HDInsight 4.0 fő csomópontjaként. Ettől a kiadástól kezdve az ügyfelek nem hozhatnak létre új fürtöket, Standard_A5 virtuálisgép-mérettel főcsomópontként. Más kétmagos virtuális gépeket is használhat, például E2_v3 vagy E2s_v3. A meglévő fürtök a jelenlegi módon fognak futni. A head node-hoz erősen ajánlott négymagos virtuális gép, amely biztosítja az éles HDInsight-fürtök magas rendelkezésre állását és megbízhatóságát.

A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.

A következő változások a következő kiadásokban fognak történni.

Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás felülmúlhatja az automatikus skálázás költségelőnyét.

2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az automatikus skálázás már nem engedélyezhető az új interaktív lekérdezési fürtökön. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.

A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. Ez az áttelepítés megváltoztatja a fürt gazdagépének teljes tartományneve névformátumát, és az állomásnévben szereplő számok nem lesznek garantálva egymás után. Ha az egyes csomópontok teljes tartományneveit szeretné lekérni, tekintse meg a fürtcsomópontok gazdagépneveit.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

A HDInsight a Spark 3.0.0 támogatását hozzáadta a HDInsight 4.0-hoz előzetes verziójú funkcióként.

A HDInsight hozzáadta a Kafka 2.4.1-támogatást a HDInsight 4.0-hoz előzetes verziójú funkcióként.

Ebben a kiadásban a HDInsight -series támogatást adott hozzá Eav4.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Ebben a kiadásban nincs elavulás.

A HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókkal kapcsolatos további információkért tekintse meg az elérhető verziókat. További információ a HDInsight 4.0 újdonságairól.

A fürt alapértelmezett virtuálisgép-méretei D sorozatról -sorozatra változnak Ev3. Ez a módosítás a fő csomópontokra és a feldolgozó csomópontokra vonatkozik. Annak érdekében, hogy ez a módosítás ne befolyásolja a tesztelt munkafolyamatokat, adja meg az ARM-sablonban használni kívánt virtuálisgép-méreteket.

A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.

A következő változások a következő kiadásokban fognak történni.

Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás meghaladja az automatikus skálázás költségelőnyét.

2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az automatikus skálázás már nem engedélyezhető az új interaktív lekérdezési fürtökön. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.

A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.

A HDInsight-fürtök jelenleg az Ubuntu 16.04 LTS-en futnak. Az Ubuntu kiadási ciklusában hivatkozott Ubuntu 16.04 kernel 2021 áprilisában éri el az End of Life (EOL) rendszert. Az Ubuntu 18.04-en futó új HDInsight 4.0-s fürtrendszerképet 2021 májusában fogjuk elindítani. Az újonnan létrehozott HDInsight 4.0-fürtök alapértelmezés szerint az Ubuntu 18.04-en futnak, amint elérhetők. Az Ubuntu 16.04 meglévő fürtöi ugyanúgy futnak, mint a teljes támogatással.

A HDInsight 3.6 továbbra is az Ubuntu 16.04-en fog futni. 2021. június 30-ig megszűnik a standard támogatás, és 2021. július 1-től alapszintű támogatásra változik. A dátumokkal és a támogatási lehetőségekkel kapcsolatos további információkért tekintse meg az Azure HDInsight verzióit. Az Ubuntu 18.04 nem támogatott a HDInsight 3.6-hoz. Ha az Ubuntu 18.04-et szeretné használni, át kell telepítenie a fürtöket a HDInsight 4.0-ra.

Ha meglévő fürtöket szeretne áthelyezni az Ubuntu 18.04-re, el kell helyeznie és újra létre kell hoznia a fürtöket. Tervezze meg a fürt létrehozását vagy újbóli létrehozását az Ubuntu 18.04-támogatás elérhetővé válása után. Egy újabb értesítést küldünk, miután az új rendszerkép minden régióban elérhetővé válik.

Erősen ajánlott, hogy előre tesztelje a szkriptműveleteket és a peremcsomópontokon üzembe helyezett egyéni alkalmazásokat egy Ubuntu 18.04 virtuális gépen (VM). Létrehozhat Ubuntu Linux rendszerű virtuális gépet a 18.04-LTS-en, majd létrehozhat és használhat egy biztonságos rendszerhéj-(SSH-) kulcspárt a virtuális gépen a szkriptműveletek és a peremcsomópontokon üzembe helyezett egyéni alkalmazások futtatásához és teszteléséhez.

A HDInsight-fürtfőcsomópont felelős a fürt inicializálásáért és felügyeletéért. Standard_A5 virtuális gép mérete megbízhatósági problémákat tapasztal a HDInsight 4.0 fő csomópontjaként. A következő, 2021. májusi kiadástól kezdve az ügyfelek nem hozhatnak létre új fürtöket, Standard_A5 virtuálisgép-méretet főcsomópontként. Más kétmagos virtuális gépeket is használhat, például E2_v3 vagy E2s_v3. A meglévő fürtök a jelenlegi módon fognak futni. Az éles HDInsight-fürtök magas rendelkezésre állása és megbízhatósága érdekében a head node-hoz erősen ajánlott egy négymagos virtuális gép.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

A Spark 3.0.0 és a Kafka 2.4.1 előzetes verziója is támogatott. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A HDInsight ebben a kiadásban dav4-sorozatú támogatást adott hozzá. További információ a Dav4-sorozatról itt.

A Kafka REST Proxy lehetővé teszi a Kafka-fürttel való interakciót EGY REST API-n keresztül HTTPS-en keresztül. A Kafka REST Proxy a jelen kiadástól kezdve általánosan elérhető. További információ a Kafka REST Proxyról itt.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standard_A8, standard_A9, standard_A10 és standard_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

A fürt alapértelmezett virtuálisgép-méretei D sorozatról -sorozatra változnak Ev3. Ez a módosítás a fő csomópontokra és a feldolgozó csomópontokra vonatkozik. Annak érdekében, hogy ez a módosítás ne befolyásolja a tesztelt munkafolyamatokat, adja meg az ARM-sablonban használni kívánt virtuálisgép-méreteket.

A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.

A következő változások a következő kiadásokban fognak történni.

2021 februárjától a HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókkal kapcsolatos további információkért tekintse meg az elérhető verziókat. További információ a HDInsight 4.0 újdonságairól.

A HDInsight az operációs rendszer verzióját Ubuntu 16.04-ről 18.04-re frissíti. A frissítés 2021 áprilisa előtt fejeződik be.

A HDInsight 3.6-os verziójának támogatása megszűnik. 2021. június 30-tól az ügyfelek nem hozhatnak létre új HDInsight 3.6-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Ettől a kiadástól kezdve az ügyfelek használhatják az Azure KeyVault verzió nélküli titkosítási kulcs URL-címeit az ügyfelek által kezelt kulcsok inaktív állapotban történő titkosításához. A HDInsight automatikusan elforgatja a kulcsokat, amint lejárnak vagy új verziókra cserélik őket. További részletek itt olvashatók.

A HDInsight korábban nem támogatta a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. Ebben a kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuális gépméretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek 2020. december 31. után nem hozhatnak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.

2020. november 16-tól a HDInsight letiltja, hogy az új ügyfelek fürtöket hozzanak létre standard_A8, standard_A9, standard_A10 és standard_A11 virtuálisgép-méretek használatával. Azok a meglévő ügyfelek, akik az elmúlt három hónapban használták ezeket a virtuálisgép-méreteket, nem lesznek hatással. 2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standard_A8, standard_A9, standard_A10 és standard_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

A HDInsight hálózati biztonsági csoportokat (NSG-ket) és felhasználó által megadott útvonalakat (UDR-eket) adott hozzá a skálázási művelettel való ellenőrzéshez. Ugyanez az ellenőrzés a fürtlétrehozás mellett a fürt skálázására is megtörténik. Ez az ellenőrzés segít megelőzni a kiszámíthatatlan hibákat. Ha az ellenőrzés nem sikerül, a skálázás meghiúsul. További információ az NSG-k és az UDR-ek helyes konfigurálásáról, tekintse meg a HDInsight felügyeleti IP-címeit.

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Ezzel a kiadással általánosan elérhető a HDInsight Identity Broker (HIB), amely engedélyezi az OAuth-hitelesítést ESP-fürtökhöz. A kiadás után létrehozott HIB-fürtök a legújabb HIB-funkciókkal rendelkeznek:

• Magas rendelkezésre állás (HA)
• Többtényezős hitelesítés (MFA) támogatása
• Az összevont felhasználók jelszókivonat-szinkronizálás nélkül jelentkeznek be az AAD-DS szolgáltatásba. További információt a HIB dokumentációjában talál.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek 2020. december 31. után nem hoznak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.

2020. november 16-tól a HDInsight letiltja, hogy az új ügyfelek fürtöket hozzanak létre standard_A8, standard_A9, standard_A10 és standard_A11 virtuálisgép-méretek használatával. Azok a meglévő ügyfelek, akik az elmúlt három hónapban használták ezeket a virtuálisgép-méreteket, nem lesznek hatással. 2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standard_A8, standard_A9, standard_A10 és standard_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

A kiadás viselkedése nem változik.

A következő változások a következő kiadásokban fognak történni.

A HDInsight jelenleg nem támogatja a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. A közelgő kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuálisgép-méretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.

2021 februárjától a HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókról további információt a támogatott verziókban talál. További információ a HDInsight 4.0 újdonságairól

A HDInsight 3.6-os verziójának támogatása megszűnik. 2021. június 30-tól az ügyfelek nem hozhatnak létre új HDInsight 3.6-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Kijavítottuk a fürtben lévő virtuális gépek újraindításával kapcsolatos problémát, a PowerShell vagy a REST API használatával újraindulhatnak a fürt csomópontjai.

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A HDInsight mostantól támogatja az előzetes verzióban nyilvános IP- és privát kapcsolat nélküli fürtök létrehozását. Az ügyfelek az új speciális hálózati beállítások használatával hozhatnak létre egy teljesen izolált fürtöt nyilvános IP-cím nélkül, és saját privát végpontjaik használatával érhetik el a fürtöt.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek ezután nem hoznak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.

A kiadás viselkedése nem változik.

A következő változások a következő kiadásokban fognak történni.

A HDInsight jelenleg nem támogatja a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. A közelgő kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuálisgép-méretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Az Interaktív lekérdezésfürt típus automatikus méretezése mostantól általánosan elérhető a HDInsight 4.0-hoz. A 2020. augusztus 27. után létrehozott összes Interaktív lekérdezés 4.0-fürt rendelkezik ga-támogatással az automatikus skálázáshoz.

A HDInsight mostantól támogatja a Prémium ADLS Gen2-t a HDInsight HBase 3.6 és 4.0 fürtök elsődleges tárfiókjaként. A gyorsított írásokkal együtt jobb teljesítményt érhet el a HBase-fürtök számára.

A tartalék tartomány az alapul szolgáló hardver logikai csoportosítása egy Azure-adatközpontban. Mindegyik tartalék tartomány közös áramforrással és hálózati kapcsolóval rendelkezik. Mielőtt a HDInsight Kafka az összes partícióreplikát ugyanabban a tartalék tartományban tárolhatná. Ettől a kiadástól kezdve a HDInsight mostantól támogatja a Kafka-partíciók azure-beli tartalék tartományokon alapuló automatikus elosztását.

Az ügyfelek platform által felügyelt kulcsokkal rendelkező IPsec-titkosítással engedélyezhetik a fürtcsomópontok közötti átvitel titkosítását. Ez a beállítás a fürt létrehozásakor engedélyezhető. További információ a titkosítás átvitel közbeni engedélyezéséről.

Ha engedélyezi a titkosítást a gazdagépen, a virtuálisgép-gazdagépen tárolt adatok inaktív állapotban lesznek titkosítva, és a tárolási szolgáltatásba titkosított folyamatok lesznek titkosítva. Ebből a kiadásból engedélyezheti a titkosítást a gazdagépen a ideiglenes adatlemezen a fürt létrehozásakor. A gazdagépen a titkosítás csak bizonyos virtuálisgép-termékváltozatokon támogatott korlátozott régiókban. A HDInsight a következő csomópontkonfigurációt és termékváltozatokat támogatja. További részletek a gazdagépen történő titkosítás engedélyezéséről.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Nincs elavulás ehhez a kiadáshoz.

A kiadás viselkedése nem változik.

A következő változások a következő kiadásokban fognak történni.

A HDInsight ma nem támogatja a Zookeeper termékváltozatának módosítását a Spark, a Hadoop és az ML Services-fürttípusokhoz. A2_v2/A2 termékváltozatot használ a Zookeeper-csomópontokhoz, és az ügyfeleknek nem kell fizetniük érte. A közelgő kiadásban az ügyfelek szükség szerint módosíthatják a Zookeeper termékváltozatát a Sparkhoz, a Hadoophoz és az ML Serviceshez. Az A2_v2/A2-n kívüli termékváltozattal rendelkező Zookeeper-csomópontokért díjat számítunk fel. Az alapértelmezett termékváltozat továbbra is A2_V2/A2 lesz, és ingyenes.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Ez a kiadás csak a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A SparkCruise egy automatikus számítási újrahasználati rendszer a Spark számára. A korábbi lekérdezési számítási feladatok alapján történő materializáláshoz gyakran használt alkifejezéseket választ ki. A SparkCruise ezeket az alkifejezéseket a lekérdezésfeldolgozás részeként materializálja, és a számítási újrahasználat automatikusan a háttérben lesz alkalmazva. A Spark-kód módosítása nélkül is élvezheti a SparkCruise előnyeit.

Az Apache Ambari Hive View úgy lett kialakítva, hogy segítsen Hive-lekérdezéseket létrehozni, optimalizálni és végrehajtani a webböngészőből. A Hive View natív módon támogatott a HDInsight 4.0-fürtökhöz a jelen kiadástól kezdve. A meglévő fürtökre nem vonatkozik. A beépített Hive-nézet beszerzéséhez el kell helyeznie és újra létre kell hoznia a fürtöt.

Az Apache Tez View a Hive Tez-feladat végrehajtásának nyomon követésére és hibakeresésére szolgál. A Tez View natív módon támogatott a HDInsight 4.0-hoz a jelen kiadástól kezdve. A meglévő fürtökre nem vonatkozik. A beépített Tez nézet beszerzéséhez el kell dobnia és újra létre kell hoznia a fürtöt.

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

Ebben a kiadásban az Ambari verziója 2.x.x.x.x-ről 4.1-esre változik. Az Ambari: Ambari > felhasználói > verzióiban ellenőrizheti a verem verzióját (HDInsight 4.1).

Nincsenek közelgő kompatibilitástörő változások, amelyekre figyelmet kell fordítania.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Az alábbi JIRA-k a Hive-hez vannak visszahordva:

• HIVE-23619
• HIVE-21223
• HIVE-22599
• HIVE-22121
• HIVE-22136
• HIVE-18786

Az alábbi JIRA-k a HBase-hez vannak visszahordva:

• HBASE-21458
• HBASE-24208
• HBASE-24205

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kijavítottunk egy hibát az Azure Portalon, ahol a felhasználók hibát tapasztaltak, amikor SSH-hitelesítési típusú nyilvános kulcs használatával hoztak létre Egy Azure HDInsight-fürtöt. Amikor a felhasználók a Véleményezés + Létrehozás gombra kattintanak, a következő hibaüzenet jelenik meg: "Nem tartalmazhat három egymást követő karaktert az SSH-felhasználónévből". Ez a probléma már ki lett javítva, de előfordulhat, hogy frissítenie kell a böngésző gyorsítótárát a CTRL + F5 billentyűkombináció lenyomásával a javított nézet betöltéséhez. A probléma megkerülő megoldása a fürt ARM-sablonnal történő létrehozása volt.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Az Azure HDInsight mostantól támogatja az Azure Customer Lockboxot. Lehetővé teszi, hogy az ügyfelek áttekinthessék és jóváhagyják vagy elutasítsák az ügyféladat-hozzáférési kérelmeket. Ezt akkor használják, ha a Microsoft mérnökének hozzá kell férnie az ügyféladatokhoz egy támogatási kérelem során. További információ: Customer Lockbox for Microsoft Azure.

Az ügyfelek mostantól használhatják a SZOLGÁLTATÁSvégpont-szabályzatokat (SEP) a HDInsight-fürt alhálózatán. További információ az Azure szolgáltatásvégpont-szabályzatáról.

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

Nincs olyan viselkedésbeli változás, amelyre figyelmet kell fordítania.

A következő változások a következő kiadásokban fognak történni.

A HDInsight ma nem támogatja a Zookeeper termékváltozatának módosítását a Spark, a Hadoop és az ML Services-fürttípusokhoz. A2_v2/A2 termékváltozatot használ a Zookeeper-csomópontokhoz, és az ügyfeleknek nem kell fizetniük érte. A közelgő kiadásban az ügyfelek szükség szerint módosíthatják a Zookeeper termékváltozatát a Sparkhoz, a Hadoophoz és az ML-szolgáltatásokhoz. Az A2_v2/A2-n kívüli termékváltozattal rendelkező Zookeeper-csomópontokért díjat számítunk fel. Az alapértelmezett termékváltozat továbbra is A2_V2/A2 lesz, és ingyenes.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Az előző kiadásban hiba történt a Hive Warehouse-összekötő használhatóságára vonatkozóan. A probléma már ki lett javítva.

A Zeppelin helytelenül csonkolt bevezető nullákat a karakterlánc formátumú táblakimenetben. Ebben a kiadásban kijavítottuk ezt a problémát.

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A HDInsight azure-beli virtuális gépeket használ a fürt üzembe helyezéséhez. Ebből a kiadásból az újonnan létrehozott HDInsight-fürtök az Azure-beli virtuálisgép-méretezési csoportot használják. A változás fokozatosan halad. Nem kell kompatibilitástörő változásra számítania. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

Ebben a kiadásban támogatjuk a HDInsight-fürtben lévő virtuális gépek újraindítását a nem válaszoló csomópontok újraindításához. Jelenleg csak API-n keresztül teheti meg, a PowerShell és a CLI támogatása folyamatban van. Az API-val kapcsolatos további információkért tekintse meg ezt a dokumentumot.

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

Az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz. A fő csomópontként alacsony maggal és memóriával rendelkező virtuális gépek az ESP-fürttel kapcsolatos problémákat okozhatnak viszonylag alacsony processzor- és memóriakapacitás miatt. A kiadástól kezdve használja a Standard_D13_V2-nál magasabb termékváltozatokat, és Standard_E16_V3 az ESP Spark-fürtök fő csomópontjaként.

A HDInsight-fürtök magas rendelkezésre állásának és megbízhatóságának biztosításához legalább 4 magos virtuális gép szükséges a head node-hoz. 2020. április 6-tól az ügyfelek csak a 4 magos vagy annál magasabb virtuális gépet választhatják az új HDInsight-fürtök fő csomópontjaként. A meglévő fürtök továbbra is a várt módon fognak futni.

Amikor a feldolgozó csomópontok 80%-a készen áll, a fürt működési szakaszba lép. Ebben a szakaszban az ügyfelek minden adatsík-műveletet elvégezhetnek, például szkripteket és feladatokat futtathatnak. Az ügyfelek azonban nem végezhetnek semmilyen vezérlősík-műveletet, például fel- és leskálázást. Csak a törlés támogatott.

Az üzemeltetési szakasz után a fürt további 60 percet vár a fennmaradó 20%-os munkavégző csomópontokra. A 60 perces időszak végén a fürt a futó fázisba kerül, még akkor is, ha az összes feldolgozó csomópont még mindig nem érhető el. Ha egy fürt belép a futó fázisba, használhatja a szokásos módon. A rendszer a szabályozási terv olyan műveleteit is elfogadja, mint a vertikális fel- és leskálázás, valamint az olyan adatterv-műveletek, mint a szkriptek és feladatok futtatása. Ha a kért munkavégző csomópontok némelyike nem érhető el, a fürt részleges sikerként lesz megjelölve. A sikeresen üzembe helyezett csomópontokért díjat számítunk fel.

Korábban a fürt létrehozásakor az ügyfelek létrehozhatnak egy új szolgáltatásnevet a csatlakoztatott ADLS Gen 1-fiók eléréséhez az Azure Portalon. 2020. június 15-től az új szolgáltatásnév létrehozása nem lehetséges a HDInsight létrehozási munkafolyamatában, csak a meglévő szolgáltatásnév támogatott. Lásd: Szolgáltatásnév és tanúsítványok létrehozása az Azure Active Directory használatával.

A HDInsight támogatja a szkriptműveletek fürtlétrehozással való futtatását. Ebből a kiadásból a fürtlétrehozással kapcsolatos összes szkriptműveletnek 60 percen belül be kell fejeződnie, vagy időtúllépést kell végrehajtania. A futó fürtökre küldött szkriptműveletek nem lesznek hatással. További részletek itt olvashatók.

Nincsenek közelgő kompatibilitástörő változások, amelyekre figyelmet kell fordítania.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

A HBase verziója a 2.0-s verzióról a 2.1.6-os verzióra frissül.

A Spark verziója a 2.4.0-s verzióról a 2.4.4-es verzióra frissül.

A Kafka verziója a 2.1.0-s verzióról a 2.1.1-es verzióra frissül.

Ebben a dokumentumban megtalálja a HDInsight 4.0 ad HDInsight 3.6 aktuális összetevőverzióit

Ebben a kiadásban probléma merült fel a Hive Warehouse Connector esetében. A javítás a következő kiadásban fog szerepelni. A kiadás előtt létrehozott meglévő fürtökre nincs hatással. Ha lehetséges, kerülje a fürt elvetését és újrakészítését. Ha további segítségre van szüksége ehhez, nyissa meg a támogatási jegyet.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A Transport Layer Security (TLS) és a Secure Sockets Layer (SSL) olyan titkosítási protokollok, amelyek a számítógépes hálózaton keresztül biztosítják a kommunikáció biztonságát. További információ a TLS-ről. A HDInsight a TLS 1.2-t használja a nyilvános HTTP-végpontokon, de a TLS 1.1 továbbra is támogatott a visszamenőleges kompatibilitás érdekében.

Ezzel a kiadással az ügyfelek csak a nyilvános fürtvégponton keresztüli összes kapcsolat esetében választhatják a TLS 1.2-t. Ennek támogatásához megjelenik az új minSupportedTlsVersion tulajdonság, amely a fürt létrehozásakor adható meg. Ha a tulajdonság nincs beállítva, a fürt továbbra is támogatja a TLS 1.0, 1.1 és 1.2 elemet, ami megegyezik a mai működésével. Az ügyfelek ennek a tulajdonságnak az értékét "1.2" értékre állíthatják, ami azt jelenti, hogy a fürt csak a TLS 1.2-t és újabb verziót támogatja. További információ: Transport Layer Security.

A HDInsight összes felügyelt lemeze azure Storage Service Encryption (SSE) védelemmel rendelkezik. Az ezeken a lemezeken lévő adatokat alapértelmezés szerint a Microsoft által felügyelt kulcsok titkosítják. Ettől a kiadástól kezdve használhatja a saját kulcsát (BYOK) a lemeztitkosításhoz, és kezelheti azt az Azure Key Vault használatával. A BYOK-titkosítás egy egylépéses konfiguráció a fürt létrehozása során, más költségek nélkül. Csak regisztrálja a HDInsightot felügyelt identitásként az Azure Key Vaultban, és adja hozzá a titkosítási kulcsot a fürt létrehozásakor. További információ: Ügyfél által felügyelt kulcslemez titkosítása.

Ehhez a kiadáshoz nincs elavulás. A közelgő elavulásokra való felkészüléshez tekintse meg a közelgő módosításokat.

Ennek a kiadásnak a viselkedése nem változik. A közelgő változásokra való felkészüléshez tekintse meg a közelgő módosításokat.

A következő változások a következő kiadásokban fognak történni.

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2 használatával. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 3.6-ban átvált a Spark 2.3-ra 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HDInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében. További információ: Apache Kafka számítási feladatok migrálása az Azure HDInsight 4.0-ba.

A közelgő HDInsight 4.0-s kiadásban a HBase verziója a 2.0-s verzióról a 2.1.6-os verzióra frissül

A HDInsight 4.0 közelgő kiadásában a Spark verziója a 2.4.0-s verzióról 2.4.4-es verzióra frissül

A HDInsight 4.0 közelgő kiadásában a Kafka verziója a 2.1.0-s verzióról a 2.1.1-es verzióra frissül

A HDInsight-fürtök magas rendelkezésre állásának és megbízhatóságának biztosításához legalább 4 magos virtuális gép szükséges a head node-hoz. 2020. április 6-tól az ügyfelek csak a 4 magos vagy annál magasabb virtuális gépet választhatják az új HDInsight-fürtök fő csomópontjaként. A meglévő fürtök továbbra is a várt módon fognak futni.

A közelgő kiadásban az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz. Az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak. Az A-sorozatú virtuális gépek elavultak lesznek az új ESP-fürtök létrehozásához.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A következő kiadásban a HDInsight az Azure-beli virtuálisgép-méretezési csoportokat fogja használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Ebben a kiadásban nincs változás az összetevő verziójában. A HDInsight 4.0 ad HDInsight 3.6 aktuális összetevőverzióit itt találja.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes.

A szolgáltatáscímkék leegyszerűsítik az Azure-beli virtuális gépek és az Azure-beli virtuális hálózatok biztonságát azáltal, hogy lehetővé teszik az Azure-szolgáltatásokhoz való hálózati hozzáférés egyszerű korlátozását. A hálózati biztonsági csoport (NSG) szabályaiban szolgáltatáscímkéket használhat egy adott Azure-szolgáltatás globális vagy Azure-régiónkénti forgalmának engedélyezéséhez vagy letiltásához. Az Azure biztosítja az egyes címkék alapjául szolgáló IP-címek karbantartását. A hálózati biztonsági csoportok (NSG-k) HDInsight-szolgáltatáscímkék az állapot- és felügyeleti szolgáltatások IP-címeinek csoportjai. Ezek a csoportok segítenek minimalizálni a biztonsági szabályok létrehozásának összetettségét. A HDInsight-ügyfelek az Azure Portalon, a PowerShellen és a REST API-on keresztül engedélyezhetik a szolgáltatáscímkét. További információ: Hálózati biztonsági csoport (NSG) szolgáltatáscímkék az Azure HDInsighthoz.

A HDInsight mostantól lehetővé teszi, hogy saját SQL DB-t használjon az Apache Ambarihoz. Ezt az egyéni Ambari DB-t az Azure Portalon vagy Resource Manager-sablonon keresztül konfigurálhatja. Ez a funkció lehetővé teszi a megfelelő SQL DB kiválasztását a feldolgozási és kapacitási igényekhez. Az üzleti növekedési követelményeknek megfelelően egyszerűen frissíthet is. További információ: HDInsight-fürtök beállítása egyéni Ambari-adatbázissal.

Ehhez a kiadáshoz nincs elavulás. A közelgő elavulásokra való felkészüléshez tekintse meg a közelgő módosításokat.

Ennek a kiadásnak a viselkedése nem változik. A közelgő viselkedésváltozásokra való felkészüléshez tekintse meg a közelgő változásokat.

A következő változások a következő kiadásokban fognak történni.

A Transport Layer Security (TLS) és a Secure Sockets Layer (SSL) olyan titkosítási protokollok, amelyek a számítógépes hálózaton keresztül biztosítják a kommunikáció biztonságát. További információ: Transport Layer Security. Bár az Azure HDInsight-fürtök TLS 1.2-kapcsolatokat fogadnak el nyilvános HTTPS-végpontokon, a TLS 1.1 továbbra is támogatott a régebbi ügyfelekkel való visszamenőleges kompatibilitás érdekében.

A következő kiadástól kezdve az új HDInsight-fürtöket csak TLS 1.2-kapcsolatok elfogadására használhatja és konfigurálhatja.

Az év későbbi részében, 2020. 06. 30-tól kezdődően az Azure HDInsight minden HTTPS-kapcsolat esetében kikényszeríti a TLS 1.2-es vagy újabb verzióit. Javasoljuk, hogy minden ügyfélt készítsen fel a TLS 1.2-es vagy újabb verzióinak kezelésére.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. 2020 februárjától (a pontos dátumot később közöljük) a HDInsight ehelyett Azure-beli virtuálisgép-méretezési csoportokat fog használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

A következő kiadásban:

• Az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz.
• Az A sorozatú virtuális gépek elavultak lesznek az új ESP-fürtök létrehozásához, mivel az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak.

A HDInsight 4.0 közelgő kiadásában a HBase verziója a 2.0-s verzióról a 2.1-es verzióra frissül.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

2020. december 31-ig kiterjesztettük a HDInsight 3.6 támogatását. További részleteket a támogatott HDInsight-verziókban talál.

A HDInsight 4.0 összetevőverziója nem változik.

Apache Zeppelin a HDInsight 3.6-on: 0.7.0-->0.7.3.

A dokumentumból megtalálhatja a legújabb összetevők verzióit.

Az Egyesült Arab Emírségek északi régióinak felügyeleti IP-címei a következők: 65.52.252.96 és 65.52.252.97.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes.

A HDInsight Identity Broker (HIB) lehetővé teszi, hogy a felhasználók többtényezős hitelesítéssel (MFA) jelentkezzenek be az Apache Ambariba, és a szükséges Kerberos-jegyeket jelszókivonatok nélkül szerezzék be az Azure Active Directory tartományi szolgáltatások (AAD-DS). A HIB jelenleg csak az Azure Resource Management (ARM) sablonon keresztül üzembe helyezett fürtök esetében érhető el.

A Kafka REST API-proxy egykattintásos üzembe helyezést biztosít a magas rendelkezésre állású REST-proxyhoz a Kafka-fürttel biztonságos Azure AD-engedélyezési és OAuth-protokollon keresztül.

Az Azure HDInsight automatikus skálázása mostantól általánosan elérhető minden régióban az Apache Spark- és Hadoop-fürttípusokhoz. Ez a funkció lehetővé teszi a big data-elemzési számítási feladatok költséghatékonyabb és hatékonyabb kezelését. Mostantól optimalizálhatja a HDInsight-fürtök használatát, és csak azért fizethet, amire szüksége van.

A követelményektől függően választhat a terhelésalapú és az ütemezésalapú automatikus skálázás között. A terhelésalapú automatikus skálázás fel- és leskálázhatja a fürtméretet az aktuális erőforrásigények alapján, míg az ütemezésalapú automatikus skálázás előre meghatározott ütemezés alapján módosíthatja a fürt méretét.

A HBase és az LLAP számítási feladatok automatikus skálázási támogatása szintén nyilvános előzetes verzió. További információ: Azure HDInsight-fürtök automatikus méretezése.

A Gyorsított írási műveletek az Azure prémium szintű felügyelt SSD lemezeit használja az Apache HBase Előre írt napló (WAL) szolgáltatásához. További információ: Azure HDInsight-beli gyorsított írási műveletek Apache HBase-hez

A HDInsight most egy új kapacitást kínál, amely lehetővé teszi az ügyfelek számára, hogy saját SQL DB-t használjanak az Ambarihoz. Most az ügyfelek kiválaszthatják a megfelelő SQL DB-t az Ambarihoz, és egyszerűen frissíthetik azt saját üzleti növekedési igényeik alapján. Az üzembe helyezés egy Azure Resource Manager-sablonnal történik. További információ: HDInsight-fürtök beállítása egyéni Ambari-adatbázissal.

Az F sorozatú virtuális gépek (VM-ek) jó választás a HDInsight könnyű feldolgozási követelményekkel való használatának megkezdéséhez. Alacsonyabb óránkénti listaár esetén az F sorozat a legjobb ár-teljesítmény érték az Azure-portfólióban az Azure Compute Unit (ACU) alapján vCPU-nként. További információ: Az Azure HDInsight-fürt megfelelő virtuálisgép-méretének kiválasztása.

Ebből a kiadásból a G-sorozatú virtuális gépek már nem érhetők el a HDInsightban.

Ebből a kiadásból a HDInsighttal rendelkező virtuális gépek használata Dv1 elavult. Minden ügyfélkérelmet Dv1 automatikusan kézbesítünk Dv2 . Nincs árkülönbség a virtuális gépek között Dv1Dv2 .

A HDInsight felügyelt lemezterületet biztosít a fürthöz. Ebből a kiadásból az új létrehozott fürt egyes csomópontjainak felügyelt lemezmérete 128 GB-ra módosul.

A következő változások a következő kiadásokban fognak történni.

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Decembertől a HDInsight az Azure-beli virtuálisgép-méretezési csoportokat fogja használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

A HDInsight 4.0 közelgő kiadásában a HBase verziója a 2.0-s verzióról a 2.1-es verzióra frissül.

Az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak. A következő kiadásban az A-sorozatú virtuális gépek elavultak lesznek új ESP-fürtök létrehozásához.

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Ebben a kiadásban nincs változás az összetevők verziójában. A HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit itt találja.

Az összes HDInsight 4.0 összetevő hivatalos Apache-verzióit alább találja. A felsorolt összetevők a legújabb elérhető stabil verziók kiadásai.

• Apache Ambari 2.7.1
• Apache Hadoop 3.1.1
• Apache HBase 2.0.0
• Apache Hive 3.1.0
• Apache Kafka 1.1.1, 2.1.0
• Apache Mahout 0.9.0+
• Apache Oozie 4.2.0
• Apache Phoenix 4.7.0
• Apache Pig 0.16.0
• Apache Ranger 0.7.0
• Apache Slider 0.92.0
• Apache Spark 2.3.1, 2.4.0
• Apache Sqoop 1.4.7
• Apache TEZ 0.9.1
• Apache Zeppelin 0.8.0
• Apache ZooKeeper 3.4.6

Az Apache-összetevők későbbi verziói néha a HDP-disztribúcióban vannak csomagolva a fent felsorolt verziók mellett. Ebben az esetben ezek a későbbi verziók szerepelnek a Technical Previews táblában, és nem helyettesíthetik a fenti lista Apache-összetevőverzióit éles környezetben.

A HDInsight 4.0-s verzióban elérhető javításokkal kapcsolatos további információkért tekintse meg az egyes termékek javításlistáit az alábbi táblázatban.

Az ebben a kiadásban megoldott biztonsági problémákról további információt a Hortonworks Rögzített gyakori biztonsági rései és kitettségei a HDP 3.0.1-es verziójában talál.

A HDInsight 4.0 esetén hajtsa végre a következő lépéseket:

1. Fürtközi kommunikáció engedélyezése.

2. Jelentkezzen be az aktív átjárócsomópontba.

3. Töltsön le egy szkriptet a replikáció engedélyezéséhez a következő paranccsal:

   sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
   

4. Írja be a parancsot sudo kinit <domainuser>.

5. Írja be a következő parancsot a szkript futtatásához:

   sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
   

HDInsight 3.6 esetén

1. Jelentkezzen be az aktív HMaster ZK-ba.

2. Töltsön le egy szkriptet a replikáció engedélyezéséhez a következő paranccsal:

   sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
   

3. Írja be a parancsot sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

4. Írja be a következő parancsot:

   sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
   

Hajtsa végre a következő lépéseket:

1. A következő Phoenix-táblák elvetése:
   1. SYSTEM.FUNCTION
   2. SYSTEM.SEQUENCE
   3. SYSTEM.STATS
   4. SYSTEM.MUTEX
   5. SYSTEM.CATALOG
2. Ha egyik táblát sem tudja törölni, indítsa újra a HBase-t a táblákhoz való kapcsolatok törléséhez.
3. Futtassa ismét az sqlline.py parancsot. A Phoenix újra létrehozza az 1. lépésben törölt összes táblát.
4. Phoenix-táblák és -nézetek újragenerálása a HBase-adatokhoz.

Hajtsa végre a következő lépéseket:

1. A replikáció végrehajtása előtt lépjen a cél 4.0-s fürtre, és hajtsa végre sqlline.py. Ez a parancs phoenix-táblákat hoz létre, amelyek SYSTEM.MUTEXSYSTEM.LOG csak a 4.0-s verzióban léteznek.
2. A következő táblák elvetése:
   1. SYSTEM.FUNCTION
   2. SYSTEM.SEQUENCE
   3. SYSTEM.STATS
   4. SYSTEM.CATALOG
3. A HBase-replikáció indítása

Az Apache Storm és az ML-szolgáltatások nem érhetők el a HDInsight 4.0-ban.

Az új frissítések és képességek a következő kategóriákba sorolhatók:

• A Hadoop és más nyílt forráskódú projektek frissítése – A több mint 20 nyílt forráskódú projekt 1000+ hibajavítása mellett ez a frissítés a Spark (2.3) és a Kafka (1.0) új verzióját is tartalmazza.

  a. Az Apache Spark 2.3 új funkciói

  b. Az Apache Kafka 1.0 új funkciói

• Az R Server 9.1 frissítése a Machine Learning Services 9.3-ra – Ezzel a kiadással az adattudósok és mérnökök számára biztosítjuk a legjobb nyílt forráskód az algoritmikus innovációkkal és a könnyű üzembe helyezéssel, amelyek mindegyike elérhető az előnyben részesített nyelven az Apache Spark sebességével. Ez a kiadás kibővíti az R Serverben kínált képességeket a Python hozzáadott támogatásával, ami a fürt nevének R Serverről ML-szolgáltatásokra való változásához vezet.

• Az Azure Data Lake Storage Gen2 – HDInsight támogatása támogatja az Azure Data Lake Storage Gen2 előzetes kiadását. Az elérhető régiókban az ügyfelek választhatnak egy ADLS Gen2-fiókot elsődleges vagy másodlagos tárolóként a HDInsight-fürtöikhez.

• HDInsight Enterprise biztonsági csomagfrissítések (előzetes verzió) – (előzetes verzió) Virtuális hálózati szolgáltatásvégpontok támogatása az Azure Blob Storage, az ADLS Gen1, az Azure Cosmos DB és az Azure DB számára.

Az összes HDInsight 3.6-összetevő hivatalos Apache-verziói az alábbiakban láthatók. Az itt felsorolt összetevők a legújabb stabil verziók hivatalos Apache-kiadásai.

• Apache Hadoop 2.7.3

• Apache HBase 1.1.2

• Apache Hive 1.2.1

• Apache Hive 2.1.0

• Apache Kafka 1.0.0

• Apache Mahout 0.9.0+

• Apache Oozie 4.2.0

• Apache Phoenix 4.7.0

• Apache Pig 0.16.0

• Apache Ranger 0.7.0

• Apache Slider 0.92.0

• Apache Spark 2.2.0/2.3.0

• Apache Sqoop 1.4.6

• Apache Storm 1.1.0

• Apache TEZ 0.7.0

• Apache Zeppelin 0.7.3

• Apache ZooKeeper 3.4.6

Néhány Apache-összetevő későbbi verziói néha a FENT felsorolt verziók mellett a HDP-disztribúcióban vannak csomagolva. Ebben az esetben ezek a későbbi verziók szerepelnek a Technical Previews táblában, és nem helyettesíthetik a fenti lista Apache-összetevőverzióit éles környezetben.

Ez a kiadás a Hadoop Common 2.7.3-at és a következő Apache-javításokat biztosítja:

• HADOOP-13190: A LoadBalancingKMSClientProvider említése a KMS HA dokumentációjában.

• HADOOP-13227: Az AsyncCallHandlernek eseményvezérelt architektúrát kell használnia az aszinkron hívások kezeléséhez.

• HADOOP-14104: Az ügyfélnek mindig meg kell kérdeznie a névcsomópontot a kms-szolgáltató elérési útjára.

• HADOOP-14799: Update nimbus-jose-jwt to 4.41.1.

• HADOOP-14814: Az FsServerDefaults inkompatibilis API-változásainak kijavítása HADOOP-14104-ra.

• HADOOP-14903: Json-smart hozzáadása kifejezetten a pom.xml.

• HADOOP-15042: Az Azure PageBlobInputStream.skip() negatív értéket adhat vissza, ha a numberOfPagesRemaining értéke 0.

• HADOOP-15255: Kis- és nagybetűs átalakítás támogatása az LdapGroupsMapping csoportnevekhez.

• HADOOP-15265: a json-smart explicit kizárása a hadoop-auth pom.xml.

• HDFS-7922: A ShortCircuitCache#close nem adja ki az ScheduledThreadPoolExecutorst.

• HDFS-8496: A stopWriter() meghívása FSDatasetImpl zárral blokkolhat más szálakat (cmccabe).

• HDFS-10267: Extra "szinkronizálva" az FsDatasetImpl#recoverAppend és az FsDatasetImpl#recoverClose rendszeren.

• HDFS-10489: Elavult dfs.encryption.key.provider.uri HDFS titkosítási zónákhoz.

• HDFS-11384: Adjon hozzá egy lehetőséget a kiegyensúlyozó számára a getBlocks-hívások eloszlatásához, hogy elkerülje a NameNode rpc-jét. CallQueueLength csúcs.

• HDFS-11689: Új kivételt eredményezett a hive kód feltörése DFSClient%isHDFSEncryptionEnabledhacky .

• HDFS-11711: A DN nem törölheti a "Túl sok megnyitott fájl" kivétel blokkját.

• HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay gyakran sikertelen.

• HDFS-12781: Miután Datanode leállt, a Namenode felhasználói felületen Datanode figyelmeztető üzenet jelenik meg.

• HDFS-13054: PathIsNotEmptyDirectoryException kezelése törlési hívásban DFSClient .

• HDFS-13120: Összefűzés után a pillanatkép-diff sérült lehet.

• YARN-3742: A YARN RM leáll, ha ZKClient a létrehozás túllépi az időkorlátot.

• YARN-6061: UncaughtExceptionHandler hozzáadása kritikus szálakhoz az RM-ben.

• YARN-7558: A yarn logs parancs nem tud naplókat lekérni a tárolók futtatásához, ha a felhasználói felület hitelesítése engedélyezve van.

• YARN-7697: A naplók lekérése a kész alkalmazáshoz sikertelen, annak ellenére, hogy a naplóösszesítés befejeződött.

A HDP 2.6.4 a Hadoop Common 2.7.3-at és a következő Apache-javításokat biztosította:

• HADOOP-13700: Távolítsa el a sikertelenségeket IOException a TrashPolicy#inicializálásából és #getInstance aláírásokból.

• HADOOP-13709: A Shell által létrehozott alfolyamatok megtisztítása a folyamat kilépésekor.

• HADOOP-14059: elírás az átnevezés (self, subdir) hibaüzenetben s3a .

• HADOOP-14542: Az Slf4j Logger API-t elfogadó IOUtils.cleanupWithLogger hozzáadása.

• HDFS-9887: A WebHdfs szoftvercsatorna időtúllépéseinek konfigurálhatóknak kell lenniük.

• HDFS-9914: A konfigurálható WebhDFS kapcsolódási/olvasási időtúllépésének javítása.

• MAPREDUCE-6698: Időtúllépés növelése a TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser rendszeren.

• YARN-4550: A TestContainerLanch egyes tesztjei nem angol nyelvű területi környezetben sikertelenek.

• YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir időnként meghiúsul, mert IllegalArgumentException törlődik.

• YARN-5042: A /sys/fs/cgroup csatlakoztatása a Docker-tárolókba egyszerű csatlakoztatásként.

• YARN-5318: A TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider időszakos teszthibájának javítása.

• YARN-5641: A Localizer a tároló befejezése után hátrahagyja a tarballokat.

• YARN-6004: Refactor TestResourceLocalizationService#testDownloadingResourcesOnContainer, hogy kevesebb mint 150 sor legyen.

• YARN-6078: A tárolók honosítási állapotban elakadtak.

• YARN-6805: NPE LinuxContainerExecutor rendszerben null PrivilegedOperationException kilépési kód miatt.

Ez a kiadás a HBase 1.1.2-t és az alábbi Apache-javításokat biztosítja.

• HBASE-13376: A sztochasztikus terheléselosztó fejlesztései.

• HBASE-13716: A Hadoop FSConstants használatának leállítása.

• HBASE-13848: InfoServer SSL-jelszavak elérése hitelesítőadat-szolgáltató API-val.

• HBASE-13947: A MasterServices használata kiszolgáló helyett a AssignmentManagerben.

• HBASE-14135: HBase biztonsági mentés/visszaállítás 3. fázis: Biztonsági mentési lemezképek egyesítése.

• HBASE-14473: Számítási régió területi beállítása párhuzamosan.

• HBASE-14517: Verzió megjelenítése regionserver's a fő állapotlapon.

• HBASE-14606: TestSecureLoadIncrementalHFiles tesztek időtúllépése a csomagtartó buildben az Apache-on.

• HBASE-15210: Az agresszív terheléselosztó naplózásának visszavonása ezredmásodpercenként több tíz sornál.

• HBASE-15515: A LocalityBasedCandidateGenerator fejlesztése a Balancerben.

• HBASE-15615: Helytelen alvási idő, amikor RegionServerCallable újra kell próbálkoznia.

• HBASE-16135: Előfordulhat, hogy a PeerClusterZnode az eltávolított társ rs alatt soha nem lesz törölve.

• HBASE-16570: Számítási régió területi beállítása párhuzamosan indításkor.

• HBASE-16810: A HBase Balancer a ArrayIndexOutOfBoundsException parancsot dobja, amikor regionservers a /hbase/draining znode-ban van, és ki van ürítve.

• HBASE-16852: A TestDefaultCompactSelection nem sikerült az 1.3 ágon.

• HBASE-17387: Csökkentse a kivételjelentés többletterhelését a RegionActionResult for multi() fájlban.

• HBASE-17850: Backup system repair segédprogram.

• HBASE-17931: Rendszertáblák hozzárendelése a legmagasabb verziójú kiszolgálókhoz.

• HBASE-18083: A nagy/kis méretű fájlok tiszta szálszámának konfigurálása a HFileCleanerben.

• HBASE-18084: A CleanerChore javítása a címtárból való tisztításhoz, amely több lemezterületet használ fel.

• HBASE-18164: Sokkal gyorsabb területi költségfüggvény és jelöltgenerátor.

• HBASE-18212: Önálló módban a helyi fájlrendszer HBase-naplóival Figyelmeztető üzenet: Nem sikerült meghívni a "unbuffer" metódust az org.apache.hadoop.fs.FSDataInputStream osztályban.

• HBASE-18808: A backuplogCleaner#getDeletableFiles() sikertelen konfigurációs beadása.

• HBASE-19052: A FixedFileTrailernek fel kell ismernie a CellComparatorImpl osztályt az 1.x ágban.

• HBASE-19065: A HRegion#bulkLoadHFiles() függvénynek várnia kell, amíg az egyidejű régió#flush() befejeződik.

• HBASE-19285: Táblázatonkénti késési hisztogramok hozzáadása.

• HBASE-19393: HTTP 413 FULL head, miközben SSL használatával fér hozzá a HBase felhasználói felületéhez.

• HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting sikertelen NPE-vel.

• HBASE-19421: branch-1 nem fordítja le a Hadoop 3.0.0-ra.

• HBASE-19934: HBaseSnapshotException, ha engedélyezve van az olvasási replikák, és online pillanatkép készül a régió felosztása után.

• HBASE-20008: [backport] NullPointerException, amikor visszaállít egy pillanatképet egy régió felosztása után.

Ez a kiadás a Következő javítások mellett a Hive 1.2.1 és a Hive 2.1.0 verziót is tartalmazza:

Hive 1.2.1 Apache-javítások:

• HIVE-10697: Az ObjectInspectorConvertors#UnionConvertor hibás átalakítást végez.

• HIVE-11266: a külső táblák táblázatstatisztikái alapján helytelen eredmény(*) számít(*).

• HIVE-12245: A HBase által támogatott táblák oszlop megjegyzéseinek támogatása.

• HIVE-12315: Vektorizált kettős osztás javítása nullával.

• HIVE-12360: Rossz keresés tömörítetlen ORC predikátum leküldéssel.

• HIVE-12378: Kivétel a HBaseSerDe.szerializálja a bináris mezőt.

• HIVE-12785: Az egyesítő típusú nézet és a struktúrához tartozó UDF nem működik.

• HIVE-14013: A táblázat leírása nem jeleníti meg megfelelően a Unicode-t.

• HIVE-14205: A Hive nem támogatja az AVRO fájlformátumú egyesítő típust.

• HIVE-14421: Az FS.deleteOnExit _tmp_space.db fájlokra mutató hivatkozásokat tartalmaz.

• HIVE-15563: A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery illegális műveletállapot-áttűnés kivételét.

• HIVE-15680: Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC tábla kétszer hivatkozik a lekérdezésben, MR módban.

• HIVE-15883: A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális értéknek.

• HIVE-16232: Támogatja a quotedIdentifier oszlopainak statisztikai számítását.

• HIVE-16828: Ha a CBO engedélyezve van, a particionált nézetek lekérdezése indexOutOfBoundException értéket eredményez.

• HIVE-17013: A kérelem törlése egy alqueryvel a nézeten való kijelölés alapján.

• HIVE-17063: felülírt partíció beszúrása egy külső táblába sikertelen lesz, amikor először elveti a partíciót.

• HIVE-17259: A Hive JDBC nem ismeri fel az UNIONTYPE oszlopokat.

• HIVE-17419: TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg.

• HIVE-17530: ClassCastException konvertáláskor uniontype.

• HIVE-17621: A rendszer figyelmen kívül hagyja a hive-hely beállításait a HCatInputFormat felosztási számítás során.

• HIVE-17636: Multiple_agg.q teszt hozzáadása a következőhöz blobstores: .

• HIVE-17729: Adatbázis hozzáadása és a kapcsolódó blobstore-tesztek ismertetése.

• HIVE-17731: adjon hozzá egy visszamenőleges compat beállítást a külső felhasználók számára a HIVE-11985-höz.

• HIVE-17803: A Pig multi-query használatával az ugyanarra a táblára írt 2 HCatStorer eltapossa egymás kimeneteit.

• HIVE-17829: ArrayIndexOutOfBoundsException – HBASE által támogatott táblák Avro-sémával.Hive2

• HIVE-17845: a beszúrás sikertelen, ha a céltábla oszlopai nem kisbetűsek.

• HIVE-17900: a Compactor által aktivált oszlopok statisztikáinak elemzése hibásan formázott SQL-t hoz létre 1 partícióoszloptal > .

• HIVE-18026: A Hive webhcat egyszerű konfigurációoptimalizálása.

• HIVE-18031: Az Alter Database-művelet replikációjának támogatása.

• HIVE-18090: savas szívverés meghiúsul, ha a metaadattár hadoop hitelesítő adatokon keresztül csatlakozik.

• HIVE-18189: A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értékét igazra állítja.

• HIVE-18258: Vectorization: Reduce-Side GROUP BY MERGEPARTIAL duplikált oszlopokkal megszakadt.

• HIVE-18293: A Hive nem tömöríti a HiveMetaStore-t futtató identitás tulajdonában lévő mappában lévő táblákat.

• HIVE-18327: Távolítsa el a MiniHiveKdc szükségtelen HiveConf-függőségét.

• HIVE-18341: A TDE "nyers" névterének ugyanazokkal a titkosítási kulcsokkal történő hozzáadásához adjon hozzá repl terheléstámogatást.

• HIVE-18352: metaadat-alapú beállítást vezet be a REPL DUMP használata közben, hogy más eszközök integrációját is lehetővé tegye.

• HIVE-18353: A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához.

• HIVE-18390: IndexOutOfBoundsException partíciós nézet lekérdezésekor a ColumnPrunerben.

• HIVE-18429: A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet.

• HIVE-18447: JDBC: Lehetővé teszik a JDBC-felhasználók számára, hogy cookie-adatokat adjanak át kapcsolati sztring keresztül.

• HIVE-18460: A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak.

• HIVE-18467: támogatja a teljes raktári memóriaképet / terhelést + adatbázisesemények létrehozását/elvetést (Anishek Agarwal, Sankar Hariappan véleményezve).

• HIVE-18551: Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál írni a Hibrid Grace-hez.

• HIVE-18587: A DML-esemény beszúrása megpróbálhatja kiszámítani a könyvtárak ellenőrzőösszegét.

• HIVE-18613: A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához.

• HIVE-18626: A "with" záradék ismételt betöltése nem adja át a konfigurációt a tevékenységeknek.

• HIVE-18660: A PCR nem tesz különbséget a partíció és a virtuális oszlopok között.

• HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.

• HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.

• HIVE-18788: A JDBC PreparedStatement bemeneteinek törlése.

• HIVE-18794: A "with" záradék ismételt betöltése nem adja át a konfigurációt a nem partíciós táblák feladatainak.

• HIVE-18808: Robusztusabbá teheti a tömörítést, ha a statisztikák frissítése sikertelen.

• HIVE-18817: ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.

• HIVE-18833: Az automatikus egyesítés meghiúsul, ha "beszúrja a könyvtárba orcfile-ként".

• HIVE-18879: Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban.

• HIVE-18907: Hozzon létre segédprogramot a hive-18817 savas kulcs indexével kapcsolatos probléma megoldásához.

Hive 2.1.0 Apache-javítások:

• HIVE-14013: A táblázat leírása nem jeleníti meg megfelelően a Unicode-t.

• HIVE-14205: A Hive nem támogatja az AVRO fájlformátumú egyesítő típust.

• HIVE-15563: A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery illegális műveletállapot-áttűnés kivételét.

• HIVE-15680: Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC tábla kétszer hivatkozik a lekérdezésben, MR módban.

• HIVE-15883: A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális értéknek.

• HIVE-16757: Távolítsa el az elavult AbstractRelNode.getRows hívásait.

• HIVE-16828: Ha a CBO engedélyezve van, a particionált nézetek lekérdezése indexOutOfBoundException értéket eredményez.

• HIVE-17063: felülírt partíció beszúrása egy külső táblába sikertelen lesz, amikor először elveti a partíciót.

• HIVE-17259: A Hive JDBC nem ismeri fel az UNIONTYPE oszlopokat.

• HIVE-17530: ClassCastException konvertáláskor uniontype.

• HIVE-17600: Az OrcFile kényszerítéseBufferSize felhasználó-settable.

• HIVE-17601: a LlapServiceDriver hibakezelésének javítása.

• HIVE-17613: Távolítsa el az objektumkészleteket a rövid, azonos szálú foglalásokhoz.

• HIVE-17617: Az üres eredményhalmaz összesítésének tartalmaznia kell az üres csoportosítási csoport csoportosítását.

• HIVE-17621: A rendszer figyelmen kívül hagyja a hive-hely beállításait a HCatInputFormat felosztási számítás során.

• HIVE-17629: CachedStore: Jóváhagyott/nem jóváhagyott konfigurációval rendelkezik, amely lehetővé teszi a táblák/partíciók szelektív gyorsítótárazását, és engedélyezi az olvasást az előzetes használat során.

• HIVE-17636: Multiple_agg.q teszt hozzáadása a következőhöz blobstores: .

• HIVE-17702: helytelen isRepeating kezelés decimális olvasóban az ORC-ban.

• HIVE-17729: Adatbázis hozzáadása és a kapcsolódó blobstore-tesztek ismertetése.

• HIVE-17731: adjon hozzá egy visszamenőleges compat beállítást a külső felhasználók számára a HIVE-11985-höz.

• HIVE-17803: A Pig multi-query használatával az ugyanarra a táblára írt 2 HCatStorer eltapossa egymás kimeneteit.

• HIVE-17845: a beszúrás sikertelen, ha a céltábla oszlopai nem kisbetűsek.

• HIVE-17900: a Compactor által aktivált oszlopok statisztikáinak elemzése hibásan formázott SQL-t hoz létre 1 partícióoszloptal > .

• HIVE-18006: A HLLDenseRegister memóriaigényének optimalizálása.

• HIVE-18026: A Hive webhcat egyszerű konfigurációoptimalizálása.

• HIVE-18031: Az Alter Database-művelet replikációjának támogatása.

• HIVE-18090: savas szívverés meghiúsul, ha a metaadattár hadoop hitelesítő adatokon keresztül csatlakozik.

• HIVE-18189: A pozíció szerinti sorrend nem működik, ha cbo le van tiltva.

• HIVE-18258: Vectorization: Reduce-Side GROUP BY MERGEPARTIAL duplikált oszlopokkal megszakadt.

• HIVE-18269: LLAP: A lassú feldolgozási folyamattal rendelkező gyors llap io OOM-hoz vezethet.

• HIVE-18293: A Hive nem tömöríti a HiveMetaStore-t futtató identitás tulajdonában lévő mappában lévő táblákat.

• HIVE-18318: Az LLAP rekordolvasónak akkor is ellenőriznie kell a megszakítást, ha nem blokkolja.

• HIVE-18326: LLAP Tez scheduler – csak előzetes feladatok, ha függőség van közöttük.

• HIVE-18327: Távolítsa el a MiniHiveKdc szükségtelen HiveConf-függőségét.

• HIVE-18331: A TGT lejárata után adja hozzá a relogin-t, és néhány naplózást/lambdát.

• HIVE-18341: A TDE "nyers" névterének ugyanazokkal a titkosítási kulcsokkal történő hozzáadásához adjon hozzá repl terheléstámogatást.

• HIVE-18352: metaadat-alapú beállítást vezet be a REPL DUMP használata közben, hogy más eszközök integrációját is lehetővé tegye.

• HIVE-18353: A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához.

• HIVE-18384: ConcurrentModificationException a könyvtárban log4j2.x .

• HIVE-18390: IndexOutOfBoundsException partíciós nézet lekérdezésekor a ColumnPrunerben.

• HIVE-18447: JDBC: Lehetővé teszik a JDBC-felhasználók számára, hogy cookie-adatokat adjanak át kapcsolati sztring keresztül.

• HIVE-18460: A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak.

• HIVE-18462: (A térképillesztéssel rendelkező lekérdezések magyarázata oszlopexprMap oszlopa formázatlan oszlopnévvel).

• HIVE-18467: teljes raktári memóriakép/ terhelés támogatása + adatbázisesemények létrehozása/elvetése.

• HIVE-18488: Az LLAP ORC-olvasók hiányoznak néhány null értékű ellenőrzésből.

• HIVE-18490: A EXISTS és a NOT EXISTS lekérdezés nem egyenlő predikátummal helytelen eredményt eredményezhet.

• HIVE-18506: LlapBaseInputFormat – negatív tömbindex.

• HIVE-18517: Vektorizálás: Javítsa ki a VectorMapOperatort a VRB-k elfogadásához, és ellenőrizze a vektorizált jelzőt helyesen az LLAP gyorsítótárazásának támogatásához).

• HIVE-18523: Az összegző sor javítása, ha nincsenek bemenetek.

• HIVE-18528: Az ObjectStore összesítő statisztikái hibás eredményt kapnak.

• HIVE-18530: A replikációnak kihagynia kell az MM-táblát (egyelőre).

• HIVE-18548: Az importálás javítása log4j .

• HIVE-18551: Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál írni a Hibrid Grace-hez.

• HIVE-18577: SzemanticAnalyzer.validate van néhány értelmetlen metaadattár-hívások.

• HIVE-18587: A DML-esemény beszúrása megpróbálhatja kiszámítani a könyvtárak ellenőrzőösszegét.

• HIVE-18597: LLAP: Mindig csomagolja be az log4j2 API jar for org.apache.log4j.

• HIVE-18613: A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához.

• HIVE-18626: A "with" záradék ismételt betöltése nem adja át a konfigurációt a tevékenységeknek.

• HIVE-18643: ne ellenőrizze az ACID-műveletek archivált partícióit.

• HIVE-18660: A PCR nem tesz különbséget a partíció és a virtuális oszlopok között.

• HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.

• HIVE-18788: A JDBC PreparedStatement bemeneteinek törlése.

• HIVE-18794: A "with" záradék ismételt betöltése nem adja át a konfigurációt a nem partíciós táblák feladatainak.

• HIVE-18808: Robusztusabbá teheti a tömörítést, ha a statisztikák frissítése sikertelen.

• HIVE-18815: Távolítsa el a nem használt funkciót a HPL/SQL-ben.

• HIVE-18817: ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.

• HIVE-18833: Az automatikus egyesítés meghiúsul, ha "beszúrja a könyvtárba orcfile-ként".

• HIVE-18879: Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban.

• HIVE-18944: A csoportosítási csoportok pozíciója helytelenül van beállítva a DPP során.

Ez a kiadás a Kafka 1.0.0-s és az alábbi Apache-javításokat tartalmazza.

• KAFKA-4827: Kafka connect: hiba speciális karakterekkel az összekötő nevében.

• KAFKA-6118: Átmeneti hiba a kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials fájlban.

• KAFKA-6156: A JmxReporter nem tudja kezelni a windows stílusú címtár elérési útjait.

• KAFKA-6164: A ClientQuotaManager szálak megakadályozzák a leállítást, amikor hiba történik a naplók betöltésekor.

• KAFKA-6167: A streamek könyvtárának időbélyege kettőspontot tartalmaz, amely egy illegális karakter.

• A KAFKA-6179: RecordQueue.clear() nem törli a MinTimestampTracker által fenntartott listát.

• KAFKA-6185: Kiválasztó memória kiszivárgása nagy valószínűséggel OOM, ha van egy lekonvertálás.

• KAFKA-6190: A GlobalKTable soha nem fejezi be a visszaállítást tranzakciós üzenetek használatakor.

• KAFKA-6210: IllegalArgumentException, ha az 1.0.0 az inter.broker.protocol.version vagy log.message.format.version verzióhoz használatos.

• KAFKA-6214: A készenléti replikák memóriaállapot-tárolóval való használata miatt a Streamek összeomlanak.

• KAFKA-6215: A KafkaStreamsTest meghibásodik a csomagtartóban.

• KAFKA-6238: A protokollverzióval kapcsolatos problémák az 1.0.0-s verzióra való frissítéskor.

• KAFKA-6260: Az AbstractCoordinator nem kezeli egyértelműen a NULL-kivételt.

• KAFKA-6261: A kérelemnaplózás kivételt eredményez, ha acks=0.

• KAFKA-6274: A forrásállapot-tároló automatikusan létrehozott neveinek javítása KTable .

A HDP-2.3.x és a 2.4.x verzióban aHelyett, hogy a Mahout adott Apache-kiadását szállítanánk, szinkronizáltunk egy adott változatpontra az Apache Mahout-csomagtartón. Ez a változat a 0.9.0-s kiadás után, de a 0.10.0-s kiadás előtt van. Ez számos hibajavítást és funkcionális fejlesztést biztosít a 0.9.0-s kiadáshoz, de a Mahout funkció stabil kiadását biztosítja a 0.10.0-s verzióban az új Spark-alapú Mahoutra való teljes átalakítás előtt.

A HDP 2.3.x és 2.4.x verzióban a Mahouthoz választott korrektúrapont az Apache Mahout "mahout-0.10.x" ágából származik, 2014. december 19-én, a GitHub 0f037cb03e77c096-os verziójából.

A HDP-2.5.x és a 2.6.x verzióban eltávolítottuk a "commons-httpclient" kódtárat a Mahoutból, mert elavult kódtárként tekintünk rá, és biztonsági problémákat tapasztalhatunk, és a Mahout Hadoop-Client-t a HDP-2.5-ben használt 2.7.3-as verzióra frissítettük. Ennek eredménye:

• A korábban lefordított Mahout-feladatokat újra kell fordítani a HDP-2.5 vagy 2.6 környezetben.

• Előfordulhat, hogy egyes Mahout-feladatok "ClassNotFoundException" vagy "nem tölthetők be osztály" hibába ütközhetnek az "org.apache.commons.httpclient", "net.java.dev.jets3t" vagy a kapcsolódó osztálynév-előtagokkal kapcsolatban. Ha ezek a hibák történnek, megfontolhatja, hogy manuálisan kell-e telepíteni a feladathoz szükséges jarokat az osztályútvonalon, ha az elavult kódtár biztonsági problémáinak kockázata elfogadható a környezetben.

• Még kisebb eséllyel előfordulhat, hogy egyes Mahout-feladatok összeomlanak a Mahout hbase-client kódhívásaiban a hadoop-gyakori kódtárakhoz a bináris kompatibilitási problémák miatt. Sajnos nincs mód a probléma megoldására, kivéve a Mahout HDP-2.4.2-es verziójára való visszaállítást, amely biztonsági problémákat eredményezhet. Ez ismét szokatlannak kell lennie, és nem valószínű, hogy egy adott Mahout-feladatcsomagban fordul elő.

Ez a kiadás az Oozie 4.2.0-t a következő Apache-javításokkal biztosítja.

• OOZIE-2571: Spark.scala.binary.version Maven tulajdonság hozzáadása a Scala 2.11 használatához.

• OOZIE-2606: Állítsa be a spark.yarn.jars-t a Spark 2.0 Oozie-val való javításához.

• OOZIE-2658: --driver-class-path felülírhatja az osztályútvonalat a SparkMainban.

• OOZIE-2787: Az Oozie kétszer terjeszti az alkalmazás jart, így a Spark-feladat meghiúsul.

• OOZIE-2792: Hive2 a művelet nem elemzi megfelelően a Spark-alkalmazás azonosítóját a naplófájlból, ha a Hive a Sparkon van.

• OOZIE-2799: A Spark SQL helyének beállítása a hive-en.

• OOZIE-2802: Spark-művelet meghiúsul a Spark 2.1.0-n duplikáció sharelibsmiatt.

• OOZIE-2923: A Spark-beállítások elemzésének javítása.

• OOZIE-3109: SCA: Helyek közötti szkriptelés: Tükrözve.

• OOZIE-3139: Az Oozie helytelenül ellenőrzi a munkafolyamatot.

• OOZIE-3167: Tomcat verzió frissítése az Oozie 4.3 ágon.

Ez a kiadás a Phoenix 4.7.0-s verziót és a következő Apache-javításokat tartalmazza:

• PHOENIX-1751: Aggregációk, rendezés stb. végrehajtása a preScannerNextben a postScannerOpen helyett.

• PHOENIX-2714: Helyes bájtbecslés a BaseResultIteratorsban, és interfészként elérhetővé tehető.

• PHOENIX-2724: A nagy számú segédoszlopot tartalmazó lekérdezés lassabb, mint a statisztikák.

• PHOENIX-2855: Megkerülő megoldás: A Növekményes timeRange nincs szerializálva a HBase 1.2-hez.

• PHOENIX-3023: Lassú teljesítmény, ha alapértelmezés szerint a korlát lekérdezések párhuzamosan futnak.

• PHOENIX-3040: Ne használjon útmutatókat a lekérdezések soros végrehajtásához.

• PHOENIX-3112: A részleges sorvizsgálat nem megfelelően van kezelve.

• PHOENIX-3240: ClassCastException a Pig loader.

• PHOENIX-3452: A NULLS FIRST/NULL LAST nem befolyásolhatja, hogy a GROUP BY a sorrend megőrzése.

• PHOENIX-3469: HELYTELEN rendezési sorrend a DESC elsődleges kulcsához a NULLS LAST/NULLS FIRST értékhez.

• PHOENIX-3789: Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably nyelven.

• PHOENIX-3865: AZ IS NULL nem ad vissza helyes eredményt, ha az első oszlopcsalád nem szűrt.

• PHOENIX-4290: A DELETE teljes táblázatvizsgálata nem módosítható indexekkel rendelkező táblával.

• PHOENIX-4373: A helyi indexváltozó hosszkulcsa záró null értékekkel rendelkezhet az upserting során.

• PHOENIX-4466: java.lang.RuntimeException: válaszkód 500 – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez.

• PHOENIX-4489: HBase-kapcsolati szivárgás a Phoenix MR Jobsban.

• PHOENIX-4525: Egész szám túlcsordulás a GroupBy-végrehajtásban.

• PHOENIX-4560: AZ ORDER BY és a GROUP BY nem működik, ha a WHERE oszlopban pk van.

• PHOENIX-4586: A UPSERT SELECT nem veszi figyelembe az allekérdezések összehasonlító operátorait.

• PHOENIX-4588: Klónozás kifejezés akkor is, ha gyermekei Determinism.PER_INVOCATION.

Ez a kiadás a Pig 0.16.0-t a következő Apache-javításokkal biztosítja.

• PIG-5159: Fix Pig nem menti a morcos előzményeket.

• PIG-5175: Frissítés jruby 1.7.26-ra.

Ez a kiadás a Ranger 0.7.0-s és az alábbi Apache-javításokat biztosítja:

• RANGER-1805: Kódfejlesztés a js ajánlott eljárásainak követéséhez.

• RANGER-1960: Vegye figyelembe a pillanatkép táblanevét a törlésnél.

• RANGER-1982: Hibajavítás a Ranger-rendszergazda és a Ranger KMS elemzési metrikájához.

• RANGER-1984: A HBase naplórekordjai nem feltétlenül jelenítik meg a hozzáféréssel rendelkező oszlophoz társított összes címkét.

• RANGER-1988: Javítsa ki a nem biztonságos véletlenszerűséget.

• RANGER-1990: Egyirányú SSL MySQL-támogatás hozzáadása a Ranger-rendszergazdához.

• RANGER-2006: A statikus kódelemzés által észlelt problémák megoldása a rangerben usersync a szinkronizálási forráshoz ldap .

• RANGER-2008: A szabályzatok kiértékelése többsoros szabályzatfeltételek esetén sikertelen.

Ez a kiadás a Slider 0.92.0-s verziójával rendelkezik, és nincs több Apache-javítás.

Ez a kiadás a Spark 2.3.0-t és a következő Apache-javításokat biztosítja:

• SPARK-13587: A virtualenv támogatása a Pysparkban.

• SPARK-19964: A SparkSubmitSuite távoli adattáraiból való olvasás elkerülése.

• SPARK-22882: ML-teszt strukturált streameléshez: ml.classification.

• SPARK-22915: Streamelési tesztek a spark.ml.feature-hez N-től Z-ig.

• SPARK-23020: Kijavítottunk egy másik versenyt a folyamatindító tesztben.

• SPARK-23040: Megszakítható iterátort ad vissza a shuffle olvasóhoz.

• SPARK-23173: Ne hozzon létre sérült parquet-fájlokat, amikor adatokat tölt be A JSON-ból.

• SPARK-23264: A scala javítása. MatchError a literals.sql.out fájlban.

• SPARK-23288: Kimeneti metrikák javítása parketta-fogadóval.

• SPARK-23329: A trigonometriai függvények dokumentációjának javítása.

• SPARK-23406: Stream-stream öncsatlakozások engedélyezése a branch-2.3-hoz.

• SPARK-23434: A Spark nem figyelmezteti a "metaadat-könyvtárat" egy HDFS-fájl elérési útjára.

• SPARK-23436: Csak akkor következtethet dátumként partícióra, ha a dátumra vethető.

• SPARK-23457: Feladatvégző figyelők regisztrálása először a ParquetFileFormatban.

• SPARK-23462: Javítsa a hiányzó mező hibaüzenetét a StructType-ban.

• SPARK-23490: Ellenőrizze a storage.locationUri függvényt a CreateTable meglévő táblájával.

• SPARK-23524: A nagy helyi shuffle blokkokat nem szabad ellenőrizni a sérülés miatt.

• SPARK-23525: Az ALTER TABLE CHANGE COLUMN COMMENT támogatása külső hive-táblához.

• SPARK-23553: A tesztek nem feltételezik a "spark.sql.sources.default" alapértelmezett értékét.

• SPARK-23569: Lehetővé teszi, hogy pandas_udf python3 stílusú, szövegjegyzetes függvényekkel működjön.

• SPARK-23570: Spark 2.3.0 hozzáadása a HiveExternalCatalogVersionsSuite-ban.

• SPARK-23598: A BufferedRowIterator metódusainak nyilvánossá tétele a nagy lekérdezések futásidejű hibáinak elkerülése érdekében.

• SPARK-23599: Adjon hozzá egy UUID-generátort pszeudo-véletlenszerű számokból.

• SPARK-23599: A RandomUUIDGenerator használata uuid kifejezésben.

• SPARK-23601: Fájlok eltávolítása .md5 a kiadásból.

• SPARK-23608: Szinkronizálás hozzáadása SHS-ben az attachSparkUI és a detachSparkUI függvények között, hogy elkerülje a Jetty Handlers egyidejű módosítási problémáját.

• SPARK-23614: A gyorsítótárazás használatakor a helytelen újrahasználati csere javítása.

• SPARK-23623: Kerülje a gyorsítótárazott fogyasztók egyidejű használatát a CachedKafkaConsumerben (branch-2.3).

• SPARK-23624: A pushFilters metódus dokumentumának módosítása a Datasource V2-ben.

• SPARK-23628: calculateParamLength nem ad vissza 1 + num kifejezéseket.

• SPARK-23630: Lehetővé teszi, hogy a felhasználó hadoop-conf testreszabásai érvénybe lépjenek.

• SPARK-23635: A Spark végrehajtói env változóját ugyanaz a név am env változó írja felül.

• SPARK-23637: A Yarn több erőforrást is lefoglalhat, ha ugyanazt a végrehajtót többször is megölik.

• SPARK-23639: Jogkivonat beszerzése az init metaadattár-ügyfél előtt a SparkSQL CLI-ben.

• SPARK-23642: AccumulatorV2 alosztály isZero scaladoc javítás.

• SPARK-23644: Használja az abszolút elérési utat a REST-híváshoz az SHS-ben.

• SPARK-23645: Docs RE "pandas_udf" hozzáadása kulcsszó arg-ekkel.

• SPARK-23649: Az UTF-8-ban nem engedélyezett karakter kihagyása.

• SPARK-23658: Az InProcessAppHandle helytelen osztályt használ a getLoggerben.

• SPARK-23660: A yarnfürt módban lévő kivétel kijavítása, ha az alkalmazás gyorsan véget ért.

• SPARK-23670: Memóriaszivárgás javítása a SparkPlanGraphWrapperen.

• SPARK-23671: Az SHS-szálkészlet engedélyezésének feltétele.

• SPARK-23691: Ha lehetséges, használja sql_conf util-t a PySpark-tesztekben.

• SPARK-23695: Kinesis-streamelési tesztek hibaüzenetének javítása.

• SPARK-23706: spark.conf.get(value, default=None) a PySparkban a None értéket kell előállítania.

• SPARK-23728: Az ML-tesztek javítása a streamelési teszteket futtató várt kivételekkel.

• SPARK-23729: URI-töredék tiszteletben tartása a globok feloldásakor.

• SPARK-23759: Nem lehet a Spark felhasználói felületét egy adott gazdagépnévhez/ IP-címhez kötni.

• SPARK-23760: CodegenContext.withSubExprEliminationExprs a CSE állapotát helyesen kell menteni/visszaállítani.

• SPARK-23769: Távolítsa el az ellenőrzést szükségtelenül letiltó Scalastyle megjegyzéseket.

• SPARK-23788: A Verseny javítása a StreamingQuerySuite-ban.

• SPARK-23802: A PropagálásEmptyRelation feloldatlan állapotban hagyhatja a lekérdezéstervet.

• SPARK-23806: A Broadcast.unpersist végzetes kivételt okozhat dinamikus lefoglalás esetén.

• SPARK-23808: Alapértelmezett Spark-munkamenet beállítása csak tesztalapú Spark-munkamenetekben.

• SPARK-23809: Az aktív SparkSession-t a getOrCreate-nak kell beállítania.

• SPARK-23816: A törölt tevékenységeknek figyelmen kívül kell hagyniuk a FetchFailures parancsokat.

• SPARK-23822: A Parquet-sémaeltérések hibaüzenetének javítása.

• SPARK-23823: A forrás megőrzése a transformExpressionban.

• SPARK-23827: A StreamingJoinExecnek biztosítania kell, hogy a bemeneti adatok meghatározott számú partícióra legyenek particionálva.

• SPARK-23838: Az SQL-lekérdezés futtatása "befejezettként" jelenik meg az SQL lapon.

• SPARK-23881: Javítás pelyhes teszt JobCancellationSuite." a shuffle olvasó megszakítható iterátora".

Ez a kiadás a Sqoop 1.4.6-ot biztosítja több Apache-javítás nélkül.

Ez a kiadás a Storm 1.1.1-et és a következő Apache-javításokat biztosítja:

• STORM-2652: A JmsSpout nyílt metódusban kidobott kivétel.

• STORM-2841: testNoAcksIfFlushFails UT nullPointerException használatával meghiúsul.

• STORM-2854: Az IEventLogger elérhetővé tétele az eseménynapló csatlakoztathatóvá tétele érdekében.

• STORM-2870: A FileBasedEventLogger kiszivárog a nem démoni ExecutorService szolgáltatásból, ami megakadályozza a folyamat befejezését.

• STORM-2960: Jobban hangsúlyozni fontos, hogy megfelelő operációsrendszer-fiókot állítson be a Storm-folyamatokhoz.

Ez a kiadás a Tez 0.7.0-s és a következő Apache-javításokat tartalmazza:

• TEZ-1526: LoadingCache for TezTaskID slow for large jobs.

Ez a kiadás a Zeppelin 0.7.3-at biztosítja, és nincs több Apache-javítás.

• ZEPPELIN-3072: A Zeppelin felhasználói felülete lassú/nem válaszol, ha túl sok jegyzetfüzet van.

• ZEPPELIN-3129: A Zeppelin felhasználói felülete nem jelentkezik ki az Internet Explorerben.

• ZEPPELIN-903: Cserélje le a CXF-et a következőre Jersey2: .

Ez a kiadás a ZooKeeper 3.4.6-ot és a következő Apache-javításokat biztosítja:

• ZOOKEEPER-1256: A ClientPortBindTest sikertelen macOS X rendszeren.

• ZOOKEEPER-1901: [JDK8] Gyermekek rendezése összehasonlításhoz az AsyncOps-tesztekben.

• ZOOKEEPER-2423: A Netty verzió frissítése biztonsági rés miatt (CVE-2014-3488).

• ZOOKEEPER-2693: DOS támadás wchp/wchc négy betűs szavak (4lw).

• ZOOKEEPER-2726: Patch vezet be egy potenciális versenyfeltétel.

Ez a szakasz az ebben a kiadásban kezelt összes gyakori biztonsági rést és kitettséget (CVE) ismerteti.

A kijavított problémák olyan kiválasztott problémákat jelölnek, amelyeket korábban a Hortonworks támogatási szolgálata naplózott, de az aktuális kiadásban már megoldódott. Előfordulhat, hogy ezeket a problémákat a korábbi verziókban jelentették az Ismert problémák szakaszban; azt jelenti, hogy az ügyfelek jelentették őket, vagy a Hortonworks Quality Engineering csapata azonosította őket.

Helytelen eredmények

Egyéb

Teljesítmény

Lehetséges adatvesztés

Lekérdezési hiba

Biztonság

Stabilitás

Támogatási lehetőségek

Frissítés

Használhatóság

• HDInsight-integráció az ADLS Gen 2-vel Két probléma merült fel a HDInsight ESP-fürtökön az Azure Data Lake Storage Gen 2 felhasználói címtárakkal és engedélyekkel:

  1. A felhasználók otthoni címtárai nem jönnek létre az 1. fő csomóponton. Áthidaló megoldásként manuálisan hozza létre a címtárakat, és módosítsa a tulajdonosi viszonyt az adott felhasználó UPN-jével.

  2. A /hdp könyvtár engedélyei jelenleg nem 751-nek vannak beállítva. Ezt úgy kell beállítani, hogy

     chmod 751 /hdp 
     chmod –R 755 /hdp/apps
     

• Spark 2.3

  • [SPARK-23523][SQL] Az OptimizeMetadataOnlyQuery szabály által okozott helytelen eredmény

  • [SPARK-23406] Hibák a stream-stream öncsatlakozásokban

  • A Spark-mintajegyzetfüzetek nem érhetők el, ha az Azure Data Lake Storage (Gen2) a fürt alapértelmezett tárolója.

• Enterprise Security Package

  • A Spark Thrift Server nem fogadja el az ODBC-ügyfelek kapcsolatait. Megkerülő lépések:
    1. Várjon körülbelül 15 percet a fürt létrehozása után.
    2. Ellenőrizze a ranger felhasználói felületét, hogy létezik-e hivesampletable_policy.
    3. Indítsa újra a Spark szolgáltatást. Az STS-kapcsolatnak most már működnie kell.

• Megkerülő megoldás a Ranger szolgáltatás ellenőrzési hibájára

  • RANGER-1607: Megkerülő megoldás a Ranger szolgáltatásellenőrzési hibájára, miközben a korábbi HDP-verziókból a HDP 2.6.2-re frissít.

    Megjegyzés

    Csak akkor, ha a Ranger ssl-kompatibilis.

  Ez a probléma akkor merül fel, ha a korábbi HDP-verziókból az Ambarin keresztül próbál meg a HDP-2.6.1-re frissíteni. Az Ambari curl-hívással végez szolgáltatásellenőrzést az Ambari Ranger szolgáltatásában. Ha az Ambari által használt JDK-verzió JDK-1.7, a curl-hívás az alábbi hibával meghiúsul:

  curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

  A hiba oka a Rangerben használt tomcat-verzió, a Tomcat-7.0.7*. A JDK-1.7 használata ütközik a Tomcat-7.0.7*-ban megadott alapértelmezett rejtjelekkel.

  A probléma kétféleképpen oldható meg:

  • Frissítse az Ambariban használt JDK-t JDK-1.7-ről JDK-1.8-ra (lásd az Ambari referencia-útmutató JDK-verziójának módosítása című szakaszt).

  • Ha továbbra is támogatni szeretné a JDK-1.7-környezetet:

    1. Adja hozzá a ranger.tomcat.ciphers tulajdonságot az Ambari Ranger-konfiguráció ranger-admin-site szakaszában az alábbi értékkel:

       SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA

    2. Ha a környezete a Ranger-KMS-hez van konfigurálva, adja hozzá a ranger.tomcat.ciphers tulajdonságot az Ambari Ranger-konfigurációban lévő távolságmérő-kms-hely szakaszban az alábbi értékkel:

       SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA

  Megjegyzés

  A feljegyzett értékek működő példák, és lehet, hogy nem a környezetére utalnak. Győződjön meg arról, hogy a tulajdonságok beállításának módja megegyezik a környezet konfigurálásának módjával.

• RangerUI: A szabályzat űrlapon megadott szabályzatfeltétel szövegének feloldása

  Érintett összetevő: Ranger

  A probléma leírása

  Ha egy felhasználó egyéni szabályzatfeltételekkel szeretne szabályzatot létrehozni, és a kifejezés vagy szöveg speciális karaktereket tartalmaz, akkor a szabályzatkényszerítés nem fog működni. A speciális karakterek ASCII-vé alakulnak, mielőtt a szabályzatot az adatbázisba mentené.

  Speciális karakterek: > <> ' '

  A tags.attributes[type]='abc' feltétel például a szabályzat mentése után a következőre lesz konvertálva.

  tags.attds[' dsds']=' cssdfs'

  Ezekkel a karakterekkel láthatja a házirend feltételét, ha szerkesztési módban nyitja meg a szabályzatot.

  Áthidaló megoldás

  • 1. lehetőség: Szabályzat létrehozása/frissítése a Ranger REST API-n keresztül

    REST URL-cím: http://< host>:6080/service/plugins/policies

    Szabályzat létrehozása szabályzatfeltételekkel:

    Az alábbi példa címkékkel rendelkező szabályzatot hoz létre "tags-test" néven, és hozzárendeli azt a "nyilvános" csoporthoz az astags.attr[type]=='abc' szabályzattal az összes hive-összetevő engedélyének kiválasztásával, például kiválasztással, frissítéssel, létrehozással, elvetéssel, módosítással, indexeléssel, zárolással, mind.

    Példa:

      curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
    

    Meglévő szabályzat frissítése szabályzatfeltételekkel:

    Az alábbi példa a szabályzatot címkékkel frissíti "tags-test" néven, és hozzárendeli azt a "nyilvános" csoporthoz astags.attr['type']=='abc" szabályzattal az összes hive-összetevő engedélyének kiválasztásával, például kiválasztással, frissítéssel, létrehozással, elvetéssel, módosítással, indexeléssel, zárolással.

    REST URL-cím: http://< host-name>:6080/service/plugins/policies/<policy-id>

    Példa:

      curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
    

  • 2. lehetőség: JavaScript-módosítások alkalmazása

    A JS-fájl frissítésének lépései:

    1. További információ PermissionList.js fájlról a /usr/hdp/current/ranger-admin területen

    2. Keresse meg a renderPolicyCondtion függvény definícióját (sorszám: 404).

    3. Távolítsa el a következő sort a függvényből, azaz a megjelenítési függvény alatt (sorszám: 434)

       val = _.escape(val);//Line No:460

       A fenti sor eltávolítása után a Ranger felhasználói felülete lehetővé teszi, hogy olyan szabályzatokat hozzon létre, amelyek speciális karaktereket tartalmazhatnak, és a szabályzat kiértékelése sikeres lesz ugyanahhoz a szabályzathoz.

HDInsight-integráció az ADLS Gen 2-vel: Felhasználói könyvtárakkal és engedélyekkel kapcsolatos probléma az ESP-fürtökkel 1. A felhasználók otthoni címtárai nem jönnek létre az 1. fő csomóponton. Megkerülő megoldás, ha manuálisan hozza létre ezeket, és módosítja a tulajdonosi viszonyt az adott felhasználó UPN-jének. 2. A /hdp-alapú engedélyek jelenleg nem 751-nek vannak beállítva. Ezt a. chmod 751 /hdp b. chmod –R 755 /hdp/apps értékre kell állítani

• OMS-portál: Eltávolítottuk a HDInsight erőforráslapjáról az OMS-portálra mutató hivatkozást. Az Azure Monitor naplói kezdetben az OMS-portál nevű saját portált használták a konfiguráció kezeléséhez és az összegyűjtött adatok elemzéséhez. A portál összes funkciója át lett helyezve az Azure Portalra, ahol tovább fejlesztik. A HDInsight elavulttá tette az OMS-portál támogatását. Az ügyfelek a HDInsight Azure Monitor-naplók integrációját fogják használni az Azure Portalon.

• Spark 2.3:Spark Release 2.3.0 elavulások

Ezek a funkciók a HDInsight 3.6-ban érhetők el. A Spark, a Kafka és az R Server (Machine Learning Services) legújabb verziójának beszerzéséhez válassza a Spark, a Kafka és az ML Services verziót HDInsight 3.6-fürt létrehozásakor. Ha támogatást szeretne kapni az ADLS-hez, választhatja az ADLS-tárolótípust. A meglévő fürtök nem frissülnek automatikusan ezekre a verziókra.

A 2018 júniusa után létrehozott összes új fürt automatikusan át fog jutni az 1000-nél több hibajavításon az összes nyílt forráskódú projektben. Kövesse ezt az útmutatót az ajánlott eljárásokért az újabb HDInsight-verzióra való frissítéssel kapcsolatban.