Várható újdonságok

További információ az Azure Databricks közelgő kiadásainak funkcióiról és viselkedési változásairól.

A lekérdezésprofil felhasználói felületének fejlesztései

A lekérdezésprofil felhasználói felületének frissítése folyamatban van a használhatóság javítása és a kulcsfontosságú megállapítások gyorsabb elérése érdekében.

• Az összegző panel tartalmazni fogja a főbb metrikákat, a lekérdezésprofil előnézetét, valamint a lekérdezésprofil lap főbb szakaszaira mutató gyors hivatkozásokat.
• Egy új A legjobb operátorok panel a szűrési beállításokkal és a gráfnézet kiemelésével listázni fogja a leginkább erőforrás-igényes operátorokat.
• A frissített elrendezés úgy lett kialakítva, hogy javítsa az olvashatóságot és a navigálást az összefoglaló metrikáktól a részletes elemzésekig.
• További fejlesztések közé tartozik a kulcsszóalapú csomópontok kiemelése, a bővített végrehajtási lista és a lekérdezési teljesítményelemzési munkafolyamat pontosítása.

Az Automatikus betöltő növekményes címtárlista opció viselkedésének megváltoztatása

Egy közelgő Databricks Runtime-kiadásban az elavult automatikus betöltő cloudFiles.useIncrementalListing beállítás értéke alapértelmezés szerint falselesz. Ha ezt az értéket false értékre állítja, az automatikus betöltő minden futtatáskor teljes könyvtárlistát hajt végre. Jelenleg a cloudFiles.useIncrementalListing beállítás alapértelmezett értéke auto, amely arra utasítja az Auto Loadert, hogy minden tőle telhetőt megtesz arra, hogy észlelje, alkalmazható-e egy növekményes listázás egy könyvtárral.

A növekményes listaelem funkció használatának folytatásához állítsa a cloudFiles.useIncrementalListing beállítást autoértékre. Ha ezt az értéket autoértékre állítja be, az Automatikus betöltő minden hét növekményes listaelemenként egy teljes listaelemre tesz kísérletet, amely megfelel a módosítás előtti beállítás viselkedésének.

Az Automatikus betöltő könyvtár listabeállításairól további információt az Automatikus betöltő beállításaicímű témakörben talál.

A statisztikakezelés alapértelmezés szerint engedélyezve prediktív optimalizálással

Január 21-től a Databricks megkezdi a statisztikai felügyelet engedélyezését minden olyan fiók számára, amelyen engedélyezve van a prediktív optimalizálás. A statisztikakezelés kibővíti a meglévő prediktív optimalizálási funkciókat azáltal, hogy statisztikai gyűjteményt ad hozzá az íráshoz, és automatikusan futtatja ANALYZE parancsokat a Unity Catalog által felügyelt táblákhoz. A prediktív optimalizálásról további információért lásd a A Unity Catalog által felügyelt táblák prediktív optimalizálása.

Kiszolgáló nélküli számítás a Scala SDK szolgáltatás hitelesítő adatainak támogatásához

A kiszolgáló nélküli számítás frissítése támogatja a Unity Katalógus által szabályozott hitelesítést külső felhőszolgáltatásokhoz a Scala SDK szolgáltatás hitelesítő adataival. A Databricks Runtime 16.2-ben és újabb verziókban már elérhető szolgáltatásnév-hitelesítés Scala-támogatása a Python SDK használatával a szolgáltatás hitelesítő adatainak hitelesítéséhez nyújt támogatást. Lásd: Külső felhőszolgáltatásokhoz való hozzáférés kezelése szolgáltatás hitelesítő adatokkal.

Viselkedésváltozás az adatkészlet-definíciók DLT-folyamatból való eltávolításakor

A DLT közelgő kiadása megváltoztatja a viselkedést, ha egy materializált nézet vagy folyamatos tábla eltávolításra kerül egy csővezetékből. Ezzel a módosítással az eltávolított materializált nézet vagy streamelési tábla nem törlődik automatikusan a következő folyamatfrissítés futtatásakor. Ehelyett a DROP MATERIALIZED VIEW paranccsal törölheti a materializált nézetet, vagy a DROP TABLE parancsot egy streamelési tábla törléséhez. Egy objektum elvetése után a folyamatfrissítés futtatása nem fogja automatikusan helyreállítani az objektumot. A rendszer új objektumot hoz létre, ha egy materializált nézetet vagy streamelési táblát ad hozzá a folyamathoz ugyanazzal a definícióval. Az objektumokat azonban a UNDROP paranccsal is helyreállíthatja.

A munkaterületfájlok 2025. február 1-jén minden Azure Databricks-munkaterületen engedélyezve lesznek

A Databricks 2025. február 1-jén engedélyezi a munkaterületfájlokat minden Azure Databricks-munkaterületen. Ez a módosítás megszünteti a munkaterület felhasználói számára az új munkaterület-fájlfunkciók használatát. 2025. február 1-je után nem tudja majd letiltani a munkaterület fájljait az Azure Databricks REST API enableWorkspaceFilesystem tulajdonságának használatával a funkciók engedélyezéséhez/letiltásához a munkaterületen . További részletek a munkaterületfájlokról: Mik azok a munkaterületfájlok?.

A táblák alapértelmezés szerint meg vannak osztva az előzményekkel a Delta Sharingben

A Databricks azt tervezi, hogy alapértelmezés szerint módosítja a Delta Sharing használatával megosztott táblák alapértelmezett beállítását az előzmények belefoglalásához. Korábban az előzménymegosztás alapértelmezés szerint le lett tiltva. A táblaelőzmények megosztása javítja az olvasási teljesítményt, és automatikus támogatást nyújt a fejlett Delta-optimalizálásokhoz.

Alacsonyabb költség és nagyobb teljesítmény- és költségszabályozás a kiszolgáló nélküli számítási feladatokhoz a munkafolyamatok számítási feladataihoz

A jelenleg támogatott automatikus teljesítményoptimalizálás mellett a munkafolyamat-optimalizálási funkciók kiszolgáló nélküli számítási funkcióinak fejlesztései nagyobb mértékben szabályozják, hogy a számítási feladatok teljesítményre vagy költségre vannak-e optimalizálva. További információkért tekintse meg a kiszolgáló nélküli számítás költségmegtakarításait jegyzetfüzetek, feladatok és folyamatok esetén.

Változások az örökölt irányítópult verzióinak támogatásában

A Databricks AI/BI-irányítópultok (korábban Lakeview-irányítópultok) használatát javasolja. Az irányítópultok korábbi verzióit, amelyeket korábban Databricks SQL-irányítópultoknak nevezünk, mostantól örökölt irányítópultoknak nevezzük. A Databricks nem javasolja új örökölt irányítópultok létrehozását. Az AI/BI-jelentéstáblák fejlettebb funkciókat biztosítanak az örökölt verzióhoz képest, beleértve az AI által segített tartalomkészítést, a piszkozat- és közzétett módokat, valamint a keresztszűrést.

Az örökölt irányítópultok támogatási idővonalának megszűnése

• 2025. április 7-én: Megszűnik az irányítópultok régi verziójának hivatalos támogatása. A rendszer csak a kritikus biztonsági problémákat és a szolgáltatáskimaradásokat kezeli.
• 2025. november 3-tól: A Databricks platform megkezdi az elmúlt hat hónapban nem elérhetett régi irányítópultok archiválását. Az archivált irányítópultok többé nem lesznek elérhetők, és az archiválási folyamat gördülni fog. Az aktívan használt irányítópultokhoz való hozzáférés változatlan marad.

A Databricks 2025. november 3. után együttműködik az ügyfelekkel az aktív örökölt irányítópultok migrálási terveinek kidolgozásában.

Az AI/BI-irányítópultokra való áttéréshez a frissítési eszközök a felhasználói felületen és az API-ban is elérhetők. A beépített migrálási eszköz felhasználói felületen való használatáról a Örökölt irányítópult klónozása AI/BI-irányítópultracímű témakörben olvashat. Az irányítópultok létrehozásáról és kezeléséről szóló oktatóanyagokért nézd meg a REST API használata az irányítópultok kezelésére az Azure Databricks API-k segítségével útmutatót.

A kiszolgáló nélküli számítási feladatok hozzárendelésének módosítása

Jelenleg a számlázható használati rendszer táblája szerver nélküli SKU számlázási rekordokat tartalmazhat, amelyek null értékekkel rendelkeznek a run_as, job_id, job_run_idés notebook_idesetében. Ezek a rekordok olyan megosztott erőforrásokhoz kapcsolódó költségeket jelölnek, amelyek nem közvetlenül egy adott számítási feladatnak tulajdoníthatók.

A költségjelentés egyszerűsítése érdekében a Databricks hamarosan hozzárendeli ezeket a megosztott költségeket az őket érintő konkrét számítási feladatokhoz. A számítási feladatok azonosítómezőiben a továbbiakban nem jelennek meg null értékű számlázási rekordok. Ahogy növeli a kiszolgáló nélküli számítási feladatok használatát, és további számítási feladatokat ad hozzá, a számlán szereplő megosztott költségek aránya csökkenni fog, mivel ezek több számítási feladat között vannak megosztva.

A kiszolgáló nélküli számítási költségek monitorozásáról további információt a kiszolgáló nélküli számítás költségeinek monitorozása című témakörben talál.

Az auditnaplók sourceIpAddress mezője már nem tartalmaz portszámot

Hiba miatt bizonyos engedélyezési és hitelesítési naplók a mezőben szereplő IP-cím sourceIPAddress mellett egy portszámot is tartalmaznak (például "sourceIPAddress":"10.2.91.100:0"). A naplózott 0portszám nem ad valós értéket, és nem felel meg a Databricks többi naplójának. Az auditnaplók konzisztenciájának javítása érdekében a Databricks azt tervezi, hogy módosítja a naplóesemények IP-címének formátumát. Ez a változás 2024 augusztusának elejétől fokozatosan fog elindulni.

Ha a napló egy sourceIpAddress0.0.0.0 tartalmaz, előfordulhat, hogy a Databricks leállítja a naplózást.

A JDK8 és a JDK11 nem támogatott

Az Azure Databricks a következő főbb Databricks Runtime verzióval tervezi eltávolítani a JDK 8 támogatását, amikor a Spark 4.0 megjelenik. Az Azure Databricks a Databricks Runtime 14.x következő LTS-verziójával tervezi eltávolítani a JDK 11 támogatását.

A Unity Catalog automatikus engedélyezése új munkaterületekhez

A Databricks megkezdte a Unity Catalog automatikus engedélyezését az új munkaterületekhez. Így a fiókadminisztrátoroknak nem kell konfigurálnia a Unity Katalógust a munkaterület létrehozása után. A bevezetés fokozatosan zajlik a fiókokban.

sqlite-jdbc frissítése

A Databricks Runtime az sqlite-jdbc verziót a 3.8.11.2-es verzióról 3.42.0.0-ra tervezi frissíteni az összes Databricks Runtime-karbantartási kiadásban. A 3.42.0.0-s verzió API-k nem teljes mértékben kompatibilisek a 3.8.11.2-es verzióval. Ellenőrizze a metódusokat és a visszatérési típust, használja a 3.42.0.0 verziót.

Ha sqlite-jdbc-t használ a kódban, ellenőrizze az sqlite-jdbc kompatibilitási jelentését.