Czego można się spodziewać w przyszłości?

Dowiedz się więcej o funkcjach i zmianach zachowań w nadchodzących wersjach usługi Azure Databricks.

Ulepszenia interfejsu użytkownika profilu zapytania

Interfejs użytkownika profilu zapytania jest aktualizowany w celu zwiększenia użyteczności i zapewnienia szybszego dostępu do kluczowych szczegółowych informacji.

• Panel podsumowania będzie zawierać kluczowe metryki, zminimalizowany podgląd profilu zapytania oraz szybkie linki do głównych sekcji strony profilu zapytania.
• Nowy panel Top operatorów wyświetli listę najbardziej zasobożernych operatorów z opcjami filtrowania i opcją wyróżniania w widoku graficznym.
• Zaktualizowany układ został zaprojektowany w celu zwiększenia czytelności i nawigacji z metryk podsumowania do szczegółowych informacji.
• Dodatkowe ulepszenia obejmują wyróżnianie węzłów opartych na słowach kluczowych, rozszerzoną listę wykonywania i uściślenie przepływu pracy analizy wydajności zapytań.

Zmiana zachowania opcji listy katalogów przyrostowych modułu ładującego automatycznego

W nadchodzącej wersji środowiska Databricks Runtime wartość przestarzałej opcji automatycznego ładowania cloudFiles.useIncrementalListing będzie domyślnie ustawiona na wartość false. Ustawienie tej wartości na false powoduje, że moduł automatycznego ładowania wykonuje pełną listę katalogów przy każdym uruchomieniu. Obecnie wartością domyślną opcji cloudFiles.useIncrementalListing jest auto, co pozwala Auto Loaderowi na podjęcie najlepszej próby wykrycia, czy można użyć listy przyrostowej z katalogiem.

Aby kontynuować korzystanie z funkcji listy przyrostowej, ustaw opcję cloudFiles.useIncrementalListing na auto. Po ustawieniu tej wartości na wartość autoprogram Auto Loader podejmuje próbę wykonania pełnej listy co siedem list przyrostowych, co odpowiada zachowaniu tej opcji przed tą zmianą.

Aby dowiedzieć się więcej o opcjach listy katalogów modułu automatycznego ładowania, zobacz opcje modułu automatycznego ładowania.

Zarządzanie statystykami jest domyślnie włączone z optymalizacją predykcyjną

Od 21 stycznia usługa Databricks rozpocznie zarządzanie statystykami dla wszystkich kont z włączoną optymalizacją predykcyjną. Zarządzanie statystykami rozszerza istniejące funkcje optymalizacji predykcyjnej, rozszerzając o zbieranie statystyk podczas zapisu i automatyczne uruchamianie poleceń ANALYZE dla tabel zarządzanych w Unity Catalog. Aby uzyskać więcej informacji na temat optymalizacji predykcyjnej, zobacz Optymalizacja predykcyjna dla tabel zarządzanych przez Unity Catalog.

Bezserwerowe obliczenia umożliwiające uzyskanie obsługi poświadczeń usługi za pomocą zestawu SDK języka Scala

Aktualizacja bezserwerowych zasobów obliczeniowych będzie obsługiwać uwierzytelnianie zarządzane przez Unity Catalog dla zewnętrznych usług w chmurze przy użyciu poświadczeń usługi z wykorzystaniem Scala SDK. Obsługa języka Scala na potrzeby uwierzytelniania jednostki usługi, już dostępna w środowisku Databricks Runtime 16.2 lub nowszym, dodaje obsługę uwierzytelniania przy użyciu poświadczeń usługi przy użyciu zestawu SDK języka Python. Zobacz Zarządzanie dostępem do zewnętrznych usług w chmurze przy użyciu poświadczeń usługi.

Zmiana zachowania po usunięciu definicji zestawu danych z przepływu DLT

Nadchodzące wydanie DLT zmieni sposób działania po usunięciu zmaterializowanego widoku lub tabeli przesyłania strumieniowego z pipeline'u. Dzięki tej zmianie wycofany zmaterializowany widok ani tabela strumieniowa nie zostaną automatycznie usunięte po wykonaniu następnej aktualizacji zawartości. Zamiast tego będzie można użyć polecenia DROP MATERIALIZED VIEW, aby usunąć zmaterializowany widok, lub polecenia DROP TABLE do usunięcia tabeli przesyłania strumieniowego. Po usunięciu obiektu uruchomienie aktualizacji potoku nie spowoduje automatycznego odzyskania obiektu. Nowy obiekt jest tworzony, jeśli zmaterializowany widok lub tabela strumieniowa o tej samej definicji zostanie ponownie dodana do potoku. Można jednak odzyskać obiekt przy użyciu polecenia UNDROP.

Pliki obszarów roboczych zostaną włączone dla wszystkich obszarów roboczych usługi Azure Databricks 1 lutego 2025 r.

Usługa Databricks udostępni pliki obszarów roboczych dla wszystkich obszarów roboczych usługi Azure Databricks dnia 1 lutego 2025 r. Ta zmiana odblokowuje użytkowników obszaru roboczego do korzystania z nowych funkcji plików obszaru roboczego. Po 1 lutego 2025 r. nie będzie można wyłączyć plików obszarów roboczych za pomocą właściwości enableWorkspaceFilesystem w interfejsie API REST Azure Databricks służącym do włączania i wyłączania funkcji obszarów roboczych. Aby uzyskać więcej informacji na temat plików obszaru roboczego, zobacz Co to są pliki obszaru roboczego?.

Tabele są domyślnie udostępniane z historią w Delta Sharing.

Databricks planuje zmienić domyślne ustawienie tabel udostępnionych przy użyciu Delta Sharing, aby domyślnie uwzględniały historię. Wcześniej udostępnianie historii było domyślnie wyłączone. Udostępnianie historii tabel zwiększa wydajność odczytu i zapewnia automatyczną obsługę zaawansowanych optymalizacji Delta.

Zmniejszone koszty i większa kontrola nad stosunkiem wydajności do kosztów w bezserwerowych obliczeniach dla obciążeń związanych z przepływami pracy.

Oprócz obecnie obsługiwanych automatycznych optymalizacji wydajności ulepszenia bezserwerowych obliczeń dla funkcji optymalizacji przepływów pracy zapewniają większą kontrolę nad tym, czy obciążenia są zoptymalizowane pod kątem wydajności, czy kosztów. Aby dowiedzieć się więcej, zajrzyj do Oszczędności kosztów na obliczeniach bezserwerowych dla notatników, zadań i potoków.

Zmiany w obsłudze wersji pulpitu nawigacyjnego typu legacy

Usługa Databricks zaleca korzystanie z pulpitów nawigacyjnych AI/BI (dawniej pulpitów nawigacyjnych usługi Lakeview). Starsze wersje pulpitów nawigacyjnych, nazywane wcześniej pulpitami nawigacyjnymi SQL usługi Databricks, są teraz nazywane starszymi pulpitami nawigacyjnymi. Usługa Databricks nie zaleca tworzenia nowych przestarzałych pulpitów nawigacyjnych. Panele AI/BI oferują ulepszone funkcje w porównaniu ze starszą wersją, w tym autorstwo wspomagane AI, tryby szkiców i publikacji oraz filtrowanie przekrojowe.

Harmonogram zakończenia wsparcia dla przestarzałych pulpitów nawigacyjnych

• 7 kwietnia 2025 r.: zakończy się oficjalna obsługa starszych wersji pulpitów nawigacyjnych. Zostaną rozwiązane tylko krytyczne problemy z zabezpieczeniami i awarie usługi.
• 3 listopada 2025 r.: Usługa Databricks rozpocznie archiwizowanie starszych pulpitów nawigacyjnych, do których nie uzyskiwano dostępu w ciągu ostatnich sześciu miesięcy. Zarchiwizowane pulpity nawigacyjne nie będą już dostępne, a proces archiwizacji będzie występować w sposób ciągły. Dostęp do aktywnie używanych pulpitów nawigacyjnych pozostanie niezmieniony.

Databricks nawiąże współpracę z klientami w celu opracowania planów migracji dla aktywnych starszych pulpitów nawigacyjnych po 3 listopada 2025 r.

Aby ułatwić przejście do pulpitów nawigacyjnych sztucznej inteligencji/analizy biznesowej, narzędzia uaktualniania są dostępne zarówno w interfejsie użytkownika, jak i w interfejsie API. Aby uzyskać instrukcje dotyczące korzystania z wbudowanego narzędzia do migracji w interfejsie użytkownika, zobacz Klonowanie starszego pulpitu nawigacyjnego do pulpitu nawigacyjnego usługi AI/BI. Aby uzyskać samouczki dotyczące tworzenia i zarządzania pulpitami nawigacyjnymi przy użyciu interfejsu API REST, zobacz Używanie interfejsów API usługi Azure Databricks do zarządzania pulpitami nawigacyjnymi.

Zmiany w atrybucie obciążenia obliczeniowego bezserwerowego

Obecnie Twoja tabela systemu rozliczanego użycia może zawierać rekordy rozliczeniowe bezserwerowych jednostek SKU z wartościami null dla run_as, job_id, job_run_id, i notebook_id. Te rekordy reprezentują koszty skojarzone z zasobami udostępnionymi, które nie są bezpośrednio powiązane z żadnym konkretnym obciążeniem.

Aby uprościć raportowanie kosztów, usługa Databricks wkrótce przypisze te koszty wspólne do określonych obciążeń, które je poniosły. Rekordy rozliczeniowe z wartościami null nie będą już widoczne w polach identyfikatora obciążenia. W miarę zwiększania użycia zasobów obliczeniowych bezserwerowych i dodawania kolejnych obciążeń proporcja tych wspólnych kosztów na rachunku zmniejszy się, ponieważ są one dzielone między większą liczbę obciążeń.

Aby uzyskać więcej informacji na temat monitorowania kosztów obliczeń bezserwerowych, zobacz Monitorowanie kosztów obliczeń bezserwerowych.

Pole sourceIpAddress w dziennikach inspekcji nie będzie już zawierać numeru portu

Ze względu na usterkę niektóre dzienniki inspekcji autoryzacji i uwierzytelniania zawierają numer portu oprócz adresu IP w sourceIPAddress polu (na przykład "sourceIPAddress":"10.2.91.100:0"). Numer portu, który jest rejestrowany jako 0, nie dostarcza żadnej rzeczywistej wartości i jest niespójny z resztą dzienników inspekcji usługi Databricks. Aby zwiększyć spójność dzienników inspekcji, usługa Databricks planuje zmienić format adresu IP dla tych zdarzeń dziennika inspekcji. Ta zmiana będzie stopniowo wdrażana na początku sierpnia 2024 r.

Jeśli dziennik inspekcji zawiera wartość sourceIpAddress, usługa Databricks może przestać ją zapisywać.

JDK8 i JDK11 nie będą obsługiwane

Usługa Azure Databricks planuje usunięcie obsługi JDK 8 z kolejną główną wersją środowiska Databricks Runtime, gdy zostanie wydany Spark 4.0. Usługa Azure Databricks planuje usunięcie obsługi JDK 11 z następną wersją LTS środowiska Databricks Runtime 14.x.

Automatyczne włączanie Unity Catalog dla nowych przestrzeni roboczych

Databricks zaczyna automatycznie włączać Unity Catalog dla nowych obszarów roboczych. Usuwa to konieczność konfigurowania Unity Catalogu przez administratorów kont po utworzeniu obszaru roboczego. Wdrażanie jest kontynuowane stopniowo na różnych kontach.

aktualizacja sqlite-jdbc

Środowisko Databricks Runtime planuje uaktualnienie wersji sqlite-jdbc z wersji 3.8.11.2 do 3.42.0.0 we wszystkich wersjach konserwacji środowiska Databricks Runtime. Interfejsy API wersji 3.42.0.0 nie są w pełni zgodne z wersją 3.8.11.2. Upewnij się, że używane metody i typ zwracany używają wersji 3.42.0.0.

Jeśli używasz pliku sqlite-jdbc w kodzie, sprawdź raport zgodności sqlite-jdbc.