DLT wersja 2022.49

6 grudnia – 9, 2022

Te funkcje i ulepszenia zostały wydane w wersji 2022.49 DLT.

Wersje środowiska Databricks Runtime używane w tej wersji

Kanał :

Teraz można importować pliki z folderu Git usługi Databricks jako moduły języka Python. Pliki można zaimportować z bieżącej ścieżki repozytorium lub określonej ścieżki repozytorium przy użyciu sys.path.append().

Rozszerzone skalowanie automatyczne jest teraz ogólnie dostępne. W tej wersji rozszerzone skalowanie automatyczne jest domyślnym trybem skalowania automatycznego dla nowych potoków utworzonych w interfejsie użytkownika. Usługa Databricks rekomenduje aktualizację potoków korzystających z istniejącego automatycznego skalowania klastra, aby korzystać z ulepszonego automatycznego skalowania.

W przypadku potoków uruchamianych w trybie ciągłym domyślny limit ponowień wynosi teraz 2 w razie wystąpienia niepowodzeń, które można ponowić. Wliczając oryginalną próbę, wszystkie procesy mają trzy próby (z wykładniczym czasem oczekiwania) aby zostać uruchomione, gdy wystąpią błędy niekrytyczne. Wcześniej wartości domyślne obejmowały nieograniczoną liczbę ponownych prób dla przepływów wsadowych i pięć ponownych prób dla przepływów strumieniowych.

Parametr konfiguracji pipelines.maxFlowRetryAttempts teraz dotyczy limitu ponawiania dla wszystkich przepływów, w tym przepływów wsadowych oraz strumieniowych, a także potoków ciągłych lub wyzwalanych. Wcześniej pipelines.maxFlowRetryAttempts stosował się do wszystkich limitów ponawiania prób zarówno w trybie wyzwalanym, jak i jedynie do przepływów wsadowych w trybie ciągłym. Kontrolę nad ponownymi próbami dla potoków przesyłania strumieniowego w trybie ciągłym sprawował pipelines.numStreamRetryAttempts. W przypadku istniejących potoków pipelines.numStreamRetryAttempts nadal jest obsługiwana w przypadku przepływów przesyłania strumieniowego w trybie ciągłym. Jeśli ustawiono zarówno pipelines.numStreamRetryAttempts, jak i pipelines.maxFlowRetryAttempts, pipelines.numStreamRetryAttempts staje się priorytetem dla przepływów przesyłania strumieniowego w trybie ciągłym. W przeciwnym razie używana jest skonfigurowana wartość dla pipelines.maxFlowRetryAttempts. Zobacz odniesienia do właściwości DLT .

W tej wersji naprawiono usterkę powodującą wyświetlanie błędnych obliczeń DBU na godzinę dla klastrów z włączoną usługą Photon.

W tej wersji naprawiono usterkę, która powodowała niepowodzenie zadań konserwacji DLT w obszarach roboczych obsługujących Unity Catalog.

W tej wersji naprawiono usterkę, która powodowała, że zatrzymywanie lub ponowne uruchamianie potoku przetwarzającego dane na bieżąco z użyciem Auto Loader powoduje zawieszenie potoku na kilka minut.