Sdílet prostřednictvím

Květen 2024

  • Článek

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v květnu 2024.

Poznámka:

Verze jsou uváděny postupně. Váš účet Azure Databricks se nemusí aktualizovat až do týdne nebo více po počátečním datu vydání.

Konfigurace brány firewall bez serveru teď podporuje více typů výpočetních prostředků.

31. května 2024

Azure Databricks nyní podporuje konfiguraci firewallů pro serverless úlohy, poznámkové bloky, DLT kanály a přístup ke koncovým bodům CPU pro obsluhu modelů, to vše prostřednictvím konfigurací síťového připojení (NCC). Správci účtů můžou vytvářet síťové adaptéry a připojovat je k pracovním prostorům, aby zajistili zabezpečený a řízený přístup prostřednictvím stabilních podsítí.

Viz Konfigurace brány firewall pro bezserverový výpočetní přístup.

Konec podpory řady Databricks Runtime 15.0

31. května 2024

Podpora pro Databricks Runtime 15.0 a Databricks Runtime 15.0 pro Machine Learning skončila 31. května. Viz životní cyklus podpory Databricks.

Databricks Runtime 15.3 (beta verze)

30. května 2024

Databricks Runtime 15.3 a Databricks Runtime 15.3 ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 15.3 (EoS) a Databricks Runtime 15.2 pro strojové učení (EoS).

Uživatelské rozhraní výpočetních metrik je teď dostupné ve všech verzích Databricks Runtime.

30. května 2024

Uživatelské rozhraní výpočetních metrik bylo nasazeno ve všech verzích Databricks Runtime. Dříve byly tyto metriky k dispozici pouze u výpočetních prostředků spuštěných v Databricks Runtime 13.3 a novějších. Viz Zobrazení výpočetních metrik.

Vylepšené vyhledávání a filtrování v tabulkách výsledků v poznámkovém bloku a editoru SQL

28. května 2024

Teď můžete snadno prohledávat sloupce a vybírat hodnoty filtru z rozevíracího seznamu existujících hodnot v tabulkách výsledků v poznámkových blocích a editoru SQL.

Nový řídicí panel pomáhá poskytovatelům Databricks Marketplace sledovat používání seznamů.

28. května 2024

Nový řídicí panel Analýzy poskytovatelů umožňuje poskytovatelům Databricks Marketplace monitorovat zobrazení, požadavky a instalace. Řídicí panel načítá data ze systémových tabulek Marketplace. Viz Monitorování metrik využití pomocí řídicích panelů.

Zobrazení federovaných dotazů generovaných systémem v Query Profile

24. května 2024

Lakehouse Federation teď podporuje zobrazení systémem federovaných dotazů a jejich metrik v profilu dotazu. Kliknutím na uzel pro skenování federace v zobrazení grafu zobrazte dotaz předaný do zdroje dat. Viz Zobrazení federovaných dotazů generovaných systémem.

Odchozí IP adresy výpočetního systému musí být přidány do seznamu povolených IP adres pracovního prostoru.

24. května 2024

Pokud ve svém pracovním prostoru používáte zabezpečené připojení ke clusteru a přístupové seznamy IP adres, musíte buď přidat všechny veřejné IP adresy, které výpočetní rovina používá pro přístup k řídicí rovině, do seznamu povolených, nebo nakonfigurovat back-end private linku. Tato změna ovlivní všechny nové pracovní prostory 29. července 2024 a stávající pracovní prostory 26. srpna 2024. Další informace najdete v příspěvku komunity Databricks.

Pokud například povolíte zabezpečené připojení clusteru v pracovním prostoru, který používá injektáž virtuální sítě, databricks doporučuje, aby váš pracovní prostor má stabilní veřejnou IP adresu pro výchozí přenos dat. Tato veřejná IP adresa a všechny ostatní musí být v seznamu povolených. Podívejte se na ip adresy výchozího přenosu dat při použití zabezpečeného připojení ke clusteru. Případně pokud používáte virtuální síť spravovanou službou Azure Databricks a nakonfigurujete spravovanou bránu NAT pro přístup k veřejným IP adresám, musí být tyto IP adresy uvedené v seznamu povolených adres.

Viz Konfigurace přístupových seznamů IP adres pro pracovní prostory.

OAuth je podporován v prostředí Lakehouse Federation pro Snowflake.

24. května 2024

Katalog Unity teď umožňuje vytvářet připojení Snowflake pomocí OAuth. Vizte Provedení federovaných dotazů ve Snowflake.

Hromadné přesunutí a odstranění objektů pracovního prostoru z prohlížeče pracovního prostoru

24. května 2024

Teď můžete vybrat více položek v pracovním prostoru, které chcete přesunout nebo odstranit. Když vyberete více objektů, zobrazí se panel akcí s možnostmi přesunutí nebo odstranění položek. Kromě toho můžete pomocí myši vybrat více položek a přetáhnout je na nové místo. Stávající oprávnění k objektům se stále použijí během hromadných operací přesunu a odstranění.

Objekty katalogu Unity jsou k dispozici v seznamech nedávných a oblíbených položek.

23. května 2024

Objekty katalogu Unity, jako jsou katalogy a schémata, teď najdete v seznamu posledních položek. Můžete si také označit objekty v katalogu Unity jako oblíbené v Průzkumníku katalogu a prohlížeči schémat a najít tyto oblíbené objekty na domovské stránce pracovního prostoru.

Nový konektor dbt-databricks 1.8.0 přijímá oddělenou architekturu dbt.

23. května 2024

DbT-Databricks Connector 1.8.0 je první verze, která přijímá novou oddělenou architekturu dbt. Místo toho, aby se dbt-core spoléhalo na osvobození zákazníků od nutnosti specifikovat verze pro obě knihovny, nyní konektor závisí na sdílené abstrakční vrstvě mezi adaptérem a dbt-core. V důsledku toho už konektor nemusí odpovídat verzi funkce Databricks verzi dbt-core a může přejít na sémantické řízení verzí. To znamená, že vývojáři konektorů už nemusí vydávat významné funkce, jako je výpočet na model, ve formě softwarových oprav.

Tato verze přináší také následující:

  • Vylepšení deklarace a provozu materializovaných zobrazení a streamovaných tabulek, včetně možnosti naplánovat automatické aktualizace.
  • Podpora pro zabezpečené objekty Unity Catalog s tagy . Chcete-li je odlišit od značek dbt, což jsou metadata, která se často používají pro výběr modelů v operaci dbt, tyto značky jsou pojmenovány databricks_tags v konfiguraci modelu.
  • Několik vylepšení výkonu zpracování metadat.

Nová rozhraní API pro dodržování předpisů a nastavení zabezpečení (Public Preview)

23. května 2024

Databricks zavedla nová rozhraní API pro profil zabezpečení dodržování předpisů, rozšířené monitorování zabezpečení a nastavení automatické aktualizace clusteru v pracovních prostorech. Přečtěte si:

Databricks Runtime 15.2 je nyní obecně dostupná

22. května 2024

Databricks Runtime 15.2 a Databricks Runtime 15.2 ML jsou nyní obecně dostupné.

Viz Databricks Runtime 15.2 (EoS) a Databricks Runtime 15.2 pro strojové učení (EoS).

Nový konektor Tableau pro Delta Sharing

22. května 2024

Nový konektor Tableau Delta Sharing zjednodušuje přístup Tableau Desktopu k datům, která s vámi byla sdílena pomocí otevřeného protokolu sdílení Delta Sharing. Viz Tableau: Čtení sdílených dat.

Nové příklady modelu doporučení hlubokého učení

22. května 2024

Databricks publikoval dva nové příklady ilustrující moderní modely doporučení hlubokého učení, včetně dvouvěžového modelu a Metina DLRM. Další informace o doporučovacích modelech hlubokého učení se dozvíte v části Trénování doporučovacích modelů.

Přiřadit přihlašovací údaje úložiště a externí umístění ke specifickým pracovním prostorům (Veřejná ukázka).

22. května 2024

Teď můžete svázat přihlašovací údaje úložiště a externí umístění s konkrétními pracovními prostory, což brání přístupu k těmto objektům z jiných pracovních prostorů. Tato funkce je užitečná zejména v případě, že používáte pracovní prostory k izolaci přístupu k uživatelským datům, například pokud máte samostatné produkční a vývojové pracovní prostory nebo vyhrazený pracovní prostor pro zpracování citlivých dat.

Další informace najdete v tématu (Volitelné) Přiřazení externího umístění konkrétním pracovním prostorům a (volitelné) Přiřazení přihlašovacích údajů úložiště konkrétním pracovním prostorům.

Složky Git jsou obecně dostupné

22. května 2024

Složky Git jsou teď všeobecně dostupné. Podívejte se na integraci Gitu pro složky Databricks. Pokud jste uživatelem bývalé funkce „Repos“, přečtěte si téma Co se stalo s Databricks Repos?

Předem natrénované modely v katalogu Unity (Public Preview)

21. května 2024

Databricks teď zahrnuje výběr vysoce kvalitních předem natrénovaných modelů AI v katalogu Unity. Tyto předem natrénované modely umožňují přístup k špičkovým funkcím umělé inteligence pro vaše pracovní postupy odvozování, což vám ušetří čas a náklady na vytváření vlastních modelů. Podívejte se na předem natrénované modely v katalogu Unity a Marketplace.

Mosaic AI Vector Search je nyní běžně dostupný

21. května 2024

Mosaic AI Vector Search je nyní obecně dostupný. Podívejte se na hledání vektorů AI v systému Mosaic.

Automatické dokončování asistenta Databricks (Veřejná ukázka)

20. května 2024

Funkce automatického dokončování Databricks Assistant poskytuje návrhy založené na umělé inteligenci v reálném čase, když píšete v poznámkových blocích, dotazech a souborech. Pokud ho chcete povolit, přejděte do části Nastavení>Vývojář>Experimentální funkce a přepněte automatické dokončování Databricks Assistant. Podrobnosti najdete v tématu automatického dokončování založeného na umělé inteligenci.

Podpora Meta Llama 3 pro trénování základních modelů

20. května 2024

Školení základních modelů nyní podporuje Meta Llama 3. Viz vyladění základního modelu.

Nové změny uživatelského rozhraní složky Git

17. května 2024

Můžete si všimnout některých změn uživatelského rozhraní pro interakce se složkami Git. Přidali jsme následující:

  • Když sdílíte složku Gitu, v banneru se zobrazí nové upozornění, které vás vyzve ke zkopírování odkazu pro vytvoření složky Git. Po kliknutí na tlačítko se adresa URL zkopíruje do místní schránky, kterou můžete odeslat jinému uživateli. Když uživatel příjemce načte tuto adresu URL v prohlížeči, uživatel přejde do pracovního prostoru, kde může vytvořit vlastní složku Git naklonovanou ze stejného vzdáleného úložiště Git. Když příjemce získá přístup k adrese URL, zobrazí se v uživatelském rozhraní dialogové okno Vytvořit složku Git, které je předem vyplněné hodnotami převzatými z vaší složky Git.

    Klikněte na tlačítko Kopírovat odkaz na složku Git, které se nachází na banneru, abyste mohli nasdílet konfiguraci úložiště Git pro složku s jiným uživatelem ve vaší organizaci Databricks.

  • Podobně se při zobrazení složky Git vytvořené jiným uživatelem zobrazí nové tlačítko Vytvořit složku Git na novém banneru s upozorněním. Kliknutím na toto tlačítko vytvoříte vlastní složku Git pro stejné úložiště Git na základě předem vyplněných hodnot v dialogovém okně Vytvořit složku Git.

    Při prohlížení složky Git jiného uživatele klikněte na tlačítko Vytvořit složku Git v banneru a vytvořte kopii této složky ve vlastním pracovním prostoru.

Trénování základních modelů (Veřejná ukázka)

13. května 2024

Databricks nyní podporuje učení základních modelů. Pomocí trénování základního modelu použijete vlastní data k přizpůsobení základního modelu pro optimalizaci jeho výkonu pro konkrétní aplikaci. Vyladěním nebo pokračováním trénování základního modelu můžete trénovat vlastní model pomocí výrazně menšího množství dat, času a výpočetních prostředků než trénování modelu od začátku. Trénovací data, kontrolní body a jemně vyladěný model se nacházejí na platformě Databricks a jsou integrované s jeho nástroji pro zásady správného řízení a produktivitu.

Podrobnosti najdete v tématu Vyladění základního modelu.

Povolit uživatelům kopírovat data do schránky z tabulky výsledků

9. května 2024

Správci teď můžou uživatelům povolit nebo zakázat možnost kopírování dat do schránky z tabulek výsledků. Tato funkce byla dříve omezena na notebooky. Toto nastavení se teď vztahuje na následující rozhraní:

  • Poznámkové bloky
  • Řídicí panely
  • Genie Spaces
  • Průzkumník katalogu
  • Editor souborů
  • SQL editor

Hodnoty značek atributů pro objekty katalogu Unity teď můžou mít délku 1000 znaků (Public Preview).

8. května 2024

Hodnoty značek atributů v katalogu Unity teď můžou mít délku až 1 000 znaků. Limit znaků pro klíče značek zůstane 255. Viz Použijte značky pro zabezpečitelné objekty Katalogu Unity.

Stránka Nové náhledy

8. května 2024

Povolte a spravujte přístup k náhledům Databricks na nové stránce Previews. Viz Správa azure Databricks Preview.

8. května 2024

Mezi nové funkce patří:

Podívejte se na hledání vektorů AI v systému Mosaic.

Předávání přihlašovacích údajů a řízení přístupu k tabulkám v Hive metastore jsou zastaralé funkce.

7. května 2024

Předávání oprávnění a přístupová řízení k tabulkám Hive metastore jsou v Databricks Runtime 15.0 zastaralé a podpora bude odebrána v nadcházející verzi DBR.

Upgradujte na Katalog Unity, abyste zjednodušili zabezpečení a správu vašich dat poskytnutím centrálního místa pro správu a audit přístupu k datům napříč několika pracovními prostory ve vašem účtu. Podívejte se na Co je Katalog Unity?.

Ovladač Databricks JDBC 2.6.38

6. května 2024

Vydali jsme verzi 2.6.38 ovladače Databricks JDBC (stáhnout). Tato verze přidává následující nové funkce a vylepšení:

  • Nativní parametrizovaná podpora dotazu, pokud server používá SPARK_CLI_SERVICE_PROTOCOL_V8. Limit počtu parametrů v dotazu je 256 v nativním režimu dotazu.
  • Příjem dat pomocí podpory objemu Unity Catalog Další informace o Unity Catalog svazcích naleznete v Připojení ke cloudovému úložišti objektů pomocí katalogu Unity. Pokud to chcete použít, nastavte UseNativeQuery na 1.
  • QueryProfile rozhraní přidané do IHadoopStatement umožňuje aplikacím získat query id dotazu. query id Dá se použít k načtení metadat dotazu pomocí rozhraní REST API Databricks.
  • Asynchronní operace u volání metadat Thrift, pokud server používá SPARK_CLI_SERVICE_PROTOCOL_V9. Chcete-li použít tuto funkci, nastavte vlastnost EnableAsyncModeForMetadataOperation na 1.
  • Podpora kontrolních výrazů JWT Konektor teď podporuje použití JWT OAuth pomocí přihlašovacích údajů klienta. Chcete-li to provést, nastavte vlastnost UseJWTAssertion na 1.

Tato verze také řeší následující problémy:

  • Aktualizace knihoven Jackson. Konektor teď používá následující knihovny pro analyzátor JSON Jackson: jackson-annotations 2.16.0 (dříve 2.15.2), jackson-core 2.16.0 (dříve 2.15.2), jackson-databind-2.16.0 (dříve 2.15.2)
  • Konektor obsahuje soubory nestínených tříd v adresáři META-INF.

Podpora brány firewall pro účet úložiště pracovního prostoru – obecná dostupnost (GA)

6. května 2024

Když vytvoříte nový pracovní prostor Azure Databricks, vytvoří se účet úložiště Azure ve spravované skupině prostředků označované jako účet úložiště pracovního prostoru. Nyní můžete povolit firewall, abyste omezili přístup k účtu úložiště pracovního prostoru pouze z autorizovaných zdrojů a sítí. Viz Povolení podpory brány firewall pro úložný účet vašeho pracovního prostoru.

Databricks Runtime 15.2 (beta verze)

2. května 2024

Databricks Runtime 15.2 a Databricks Runtime 15.2 ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 15.2 (EoS) a Databricks Runtime 15.2 pro strojové učení (EoS).

Poznámkové bloky nyní detekují a automaticky doplňují názvy sloupců pro datové rámce Spark Connect.

1. května 2024

Poznámkové bloky Databricks teď automaticky detekují a zobrazují názvy sloupců v datových rámcích Spark Connect a umožňují používat automatické dokončování k výběru sloupců.