DLT 2022.49-es kiadás

2022. december 6. és 9. között

Ezek a funkciók és fejlesztések a DLT 2022.49-es kiadásával jelentek meg.

A jelen kiadás által használt Databricks Runtime-verziók

csatorna:

Mostantól Python-modulokként importálhat fájlokat egy Databricks Git-mappából. Az aktuális adattár elérési útjáról vagy egy megadott adattár elérési útjáról importálhat fájlokat a sys.path.append()használatával.

A továbbfejlesztett automatikus skálázás mostantól általánosan elérhető. Ezzel a kiadással a továbbfejlesztett automatikus skálázás az alapértelmezett automatikus skálázási mód a felhasználói felületen létrehozott új folyamatokhoz. A Databricks azt javasolja, hogy a fürtök automatikus skálázását használó folyamatokat frissítsék a továbbfejlesztett automatikus skálázás alkalmazására.

A folyamatos módban futó folyamatok esetében az alapértelmezett újrapróbálkozási korlát most 2, amikor újrapróbálkozási hibák lépnek fel. Az eredeti kísérletet is beleértve minden folyamat három kísérlettel rendelkezik (exponenciális visszalépéssel), amelyek nem halálos kimenetelű hibák esetén futnak. Korábban a kötegfolyamatokhoz az alapértelmezett érték a korlátlan újrapróbálkozás volt, míg a streamelési folyamatokhoz öt újrapróbálkozás volt az alapértelmezett.

A konfigurációs paraméter pipelines.maxFlowRetryAttempts mostantól az újrapróbálkozási korlátra vonatkozik az összes folyamat esetében, beleértve a kötegelt és streamelési folyamatokat, valamint a folyamatos vagy aktivált folyamatokat. Korábban a pipelines.maxFlowRetryAttempts a kiváltott módban minden újrapróbálkozási korlátra alkalmazva lett, de folyamatos módban csak a kötegfolyamatokra vonatkozott; míg a folyamatos módban működő streamelő folyamatok újrapróbálkozásait a pipelines.numStreamRetryAttemptsszabályozta. A meglévő folyamok esetében a pipelines.numStreamRetryAttempts továbbra is támogatott a folyamatos módban futó adatfolyamok esetén. Ha pipelines.numStreamRetryAttempts és pipelines.maxFlowRetryAttempts is be van állítva, pipelines.numStreamRetryAttempts prioritást élvez a folyamatos módban futó adatfolyamok esetében. Ellenkező esetben a rendszer a pipelines.maxFlowRetryAttempts konfigurált értékét használja. Lásd a DLT tulajdonságokra vonatkozó referenciát.

Ez a kiadás kijavít egy hibát, amely a Foton-kompatibilis fürtök óránkénti helytelen DBU-számításainak megjelenítését okozza.

Ez a kiadás kijavít egy hibát, amely miatt a DLT karbantartási feladatai meghiúsultak a Unity Catalog által engedélyezett munkaterületeken.

Ez a kiadás kijavít egy hibát, amely miatt az Auto Loader segítségével adatokat betöltő folyamatos csatorna leállítása vagy újraindítása esetén a csatorna több percig lefagy.