Udostępnij za pośrednictwem

DlT wersja 2022.40

  • Artykuł

28 września — 5 października 2022 r.

Te funkcje i ulepszenia zostały wydane w wersji 2022.40 dlT.

Wersje środowiska Databricks Runtime używane w tej wersji

kanał :

  • CURRENT (ustawienie domyślne): Databricks Runtime 11.0.7
  • WERSJA ZAPOZNAWCZA: Databricks Runtime 11.0.7

Nowe funkcje i ulepszenia w tej wersji

  • W ustawieniach potoku użycie etykiety klastra innej niż default lub maintenance powoduje niepowodzenia podczas tworzenia lub edycji potoku. Aby uzyskać więcej informacji na temat konfiguracji klastra dla potoków DLT, zobacz Konfigurowanie obliczeń dla potoku DLT.
  • Ta wersja zawiera zmianę powodującą niekompatybilność w strukturze danych ustawień potoku zwracanych przez żądania interfejsu API DLT . Ta zmiana zwraca pole edition jako wyższą wartość. Wcześniej ta wartość została zwrócona jako przypadek mieszany. Należy zaktualizować klientów odczytujących wartość edition w odpowiedziach interfejsu API, aby zapewnić prawidłowe przetwarzanie wartości zwracanej. Jednak wartość edition w żądaniach interfejsu API jest nieczuła na wielkość liter; klienci przesyłający żądania zawierające to pole nie muszą aktualizować swoich żądań.

Poprawki błędów w tej wersji

  • W tej wersji naprawiono błąd, który powoduje, że interfejs użytkownika DLT wyświetla ciąg w stanie RUNNING nawet po niepowodzeniu aktualizacji.
  • Ta aktualizacja naprawia usterkę w interfejsie APPLY_CHANGES podczas ponownego przetwarzania danych wejściowych, w których dane zawierają zduplikowane operacje DELETE o tej samej wartości w kolumnie SEQUENCE. Ten scenariusz skutkuje pojawieniem się wartości NULL w tabeli docelowej i usunięciem wartości DeleteVersion. Jest to równoważne oznaczaniu rekordu jako NOT-DELETED. Dzięki tej zmianie zduplikowane operacje DELETE są obsługiwane idempotentnie i zawsze oznaczają rekord jako DELETED.
  • W tej wersji usunięto usterkę powodującą ukrycie wierszy podczas przetwarzania typu 2 protokołu SCD, gdy poprzedni rekord historyczny zostanie usunięty zawierający te same kolumny co następny rekord historyczny.
  • Ta aktualizacja naprawia błąd powodujący, że widok z oczekiwaniem expect_or_fail pozostaje w stanie RUNNING, nawet jeśli oczekiwanie nie zostanie spełnione. Dzięki tej poprawce pipeline ulega awarii i przechodzi do stanu FAILED.