Červenec 2024

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v červenci 2024.

Zvýšení limitu pro souběžné úkoly

31. července 2024

Limit pracovního prostoru pro úlohy spuštěné současně byl zvýšen na 2000. Viz Omezení prostředků.

Vložení a přetažení obrázků do poznámkových bloků

31. července 2024

Obrázky teď můžete v poznámkových blocích zobrazit tak, že je vložíte přímo do buněk markdownu. Přetažením obrázků z plochy přímo do buněk markdownu je můžete automaticky nahrát a zobrazit. Viz Zobrazení obrázků a přetažení obrázků.

Paleta příkazů dostupná v poznámkových blocích

31. července 2024

Teď můžete v poznámkovém bloku rychle provádět akce pomocí palety příkazů. Stiskněte Cmd + Shift + P v macOS nebo Ctrl + Shift + P ve Windows, abyste získali přístup k často používaným akcím. Viz Paleta příkazů.

Schéma systému pracovního postupu přejmenováno na lakeflow

31. července 2024

Schéma workflow se aktualizuje na lakeflow. Doporučujeme přepnout na lakeflow, protože bude obsahovat všechny aktuální tabulky a nové tabulky v budoucnu, jako jsou kanály. Zákazníci se musí přihlásit ke schématu lakeflow, aby ho mohli zobrazit ve svém metastoru. Viz referenční tabulku úloh systému .

LakeFlow Connect (vrátná verze Public Preview)

31. července 2024

LakeFlow Connect nabízí nativní konektory, které umožňují ingestovat data z databází a podnikových aplikací a načíst je do Azure Databricks. LakeFlow Connect využívá efektivní přírůstkové čtení a zápisy k rychlejšímu, škálovatelnému a nákladově efektivnějšímu příjmu dat, zatímco data zůstávají čerstvá pro příjem dat.

Salesforce Sales Cloud, Microsoft Azure SQL Database, Amazon RDS pro SQL Server a Workday se v současné době podporují. Viz LakeFlow Connect.

Podpora úložiště Cloudflare R2 je obecná dostupnost

30. července 2024

Možnost používat Cloudflare R2 jako cloudové úložiště pro data zaregistrovaná v katalogu Unity je teď obecně dostupná. Cloudflare R2 je určen především pro případy použití Delta Sharing, kde se chcete vyhnout poplatkům za výstup dat účtovaným poskytovateli cloudu při přesunu dat mezi regiony. Úložiště R2 podporuje všechna data Databricks a prostředky AI podporované v AWS S3, Azure Data Lake Storage Gen2 a Google Cloud Storage. Podpora pro R2 vyžaduje SQL Warehouse nebo Databricks Runtime 14.3 nebo vyšší. Viz Použití replik Cloudflare R2 nebo migrace úložiště do R2 a vytvoření přihlašovacích údajů úložiště pro připojení ke Cloudflare R2.

Monitorování aktivit Nástroje Databricks Assistant pomocí systémových tabulek (Public Preview)

30. července 2024

Aktivity Databricks Assistantu teď můžete monitorovat na řídicím panelu pomocí systémových tabulek. Pro více informací viz referenční tabulku systémové tabulky Databricks Assistant a příklad.

Sdílení schémat pomocí rozdílového sdílení je teď obecně dostupné.

30. července 2024

Možnost sdílení schémat pomocí rozdílového sdílení je obecná dostupnost. Sdílení celého schématu umožňuje příjemci přístup ke všem tabulkám a zobrazením ve schématu v okamžiku, kdy ho sdílíte, spolu s tabulkami a zobrazeními, které jsou přidány do schématu v budoucnu. Přidání schémat do sdílené složky pomocí příkazů SQL vyžaduje SQL Warehouse nebo cluster se spuštěným Modulem Databricks Runtime 13.2 nebo novějším. Stejný postup při použití Průzkumníka katalogu nemá žádné požadavky na výpočetní prostředky. Viz Přidání schémat do sdílené složky.

Architektura agenta AI pro mosaic je k dispozici v northcentralcentralus

29. července 2024

Architektura agenta AI v systému Mosaic je nyní k dispozici v northcentral oblastech a centralus oblastech. Viz Funkce s omezenou regionální dostupností.

Databricks Assistant může diagnostikovat problémy s úlohami (Public Preview)

29. července 2024

Databricks Assistant teď může diagnostikovat problémy s neúspěšnými úlohami. Viz Diagnostika chyb v úlohách.

Aktualizace ověřování a sdílení složek Git v Databricks

29. července 2024

• Zpracování ověřování na základě dialogového okna složky Git: Uživatelské prostředí je teď zjednodušené, aby uživatelům pomohlo při obnovování chyb ověřování při otevření dialogového okna složky Git. V dialogovém okně můžete přihlašovací údaje Gitu aktualizovat přímo, což aktivuje automatické opakování. Tento přístup můžete použít k řešení chyb ověřování.
  • Když dojde k chybě ověřování, dialogové okno složky Git teď zobrazuje poskytovatele a adresu URL složky Git v této chybě. Dříve to bylo skryté, což znesnadňuje zjištění, které přihlašovací údaje Gitu by se měly použít k vyřešení chyby.
• Sdílení složek Git: Uživatelé teď můžou sdílet odkaz na adresu URL s jinými uživateli pracovního prostoru. Když se adresa URL otevře v prohlížeči příjemce, otevře se Databricks a spustí existující dialogové okno Přidat složku Git s předem vyplněnými hodnotami (jako je poskytovatel Gitu a adresa URL úložiště Git). To zjednodušuje klonování složek Gitu pro běžně používaná úložiště Git mezi uživateli pracovního prostoru. Další podrobnosti najdete v tématu Osvědčené postupy: Spolupráce ve složkách Gitu.
  • Uživatelům se teď zobrazí výzva k vytvoření vlastních složek Git ve vlastním pracovním prostoru, místo aby spolupracovali ve složce Git jiného uživatele.
  • Stav dialogového okna složky Git je teď trvalý ve vaší adrese URL. Pokud zkopírujete adresu URL z prohlížeče při otevření dialogového okna složky Git, můžete ji otevřít později nebo sdílet s jiným uživatelem a zobrazí se stejné informace.
• Zobrazení rozdílu složky Git: V zobrazení rozdílu složky Git se přidalo tmavší červené a zelené zvýraznění pro nahrazený text a pro více řádků změn, což usnadňuje určení toho, co se změnilo v rámci nepotvrzených změn.
  • Otevření dialogového okna složky Git z poznámkového bloku nebo editoru souborů vybere tento poznámkový blok nebo soubor v dialogovém okně složky Git a ve výchozím nastavení zobrazí změny (rozdíly).

Časový limit instalace knihovny clusteru

29. července 2024

Instalace knihovny v clusterech teď má časový limit 2 hodiny. Knihovna, která instalace trvalo déle než 2 hodiny, se označí jako neúspěšná. Informace o knihovnách clusteru najdete v tématu Knihovny clusteru.

Odchozí IP adresy výpočetní roviny musí být přidány na seznam povolených IP adres v pracovním prostoru.

29. července 2024

Když nakonfigurujete zabezpečené připojení ke clusteru a seznamy přístupu IP adres v novém pracovním prostoru, musíte do seznamu povolených přidat všechny veřejné IP adresy, které výpočetní rovina používá pro přístup k řídicí rovině, nebo konfigurovat back-endové služby Private Link. Tato změna ovlivní všechny nové pracovní prostory 29. července 2024 a existující pracovní prostory 26. srpna 2024. Další informace najdete v příspěvku komunity Databricks.

Pokud například povolíte zabezpečené připojení clusteru v pracovním prostoru, který používá injektáž virtuální sítě, databricks doporučuje, aby váš pracovní prostor má stabilní veřejnou IP adresu pro výchozí přenos dat. Tato veřejná IP adresa a všechny ostatní musí být zahrnuté v seznamu povolených. Podívejte se na ip adresy výchozího přenosu dat při použití zabezpečeného připojení ke clusteru. Pokud používáte virtuální síť spravovanou službou Azure Databricks a nakonfigurujete spravovanou bránu NAT pro přístup k veřejným IP adresám, musí být tyto IP adresy v seznamu povolených.

Viz Konfigurace přístupových seznamů IP adres pro pracovní prostory.

Rozšířená podpora řady Databricks Runtime 9.1

26. července 2024

Podpora pro Databricks Runtime 9.1 LTS a Databricks Runtime 9.1 LTS pro Machine Learning byla prodloužena od 23. září 2024 do 19. prosince 2024.

Jednotné přihlašování (SSO) je podporováno ve službě Lakehouse Federation pro SQL Server.

25. července 2024

Katalog Unity nyní umožňuje vytvářet připojení k SQL Serveru pomocí autentizace SSO. Viz Spuštění federovaných dotazů na Microsoft SQL Serveru.

Sdílení modelů pomocí rozdílového sdílení je teď obecně dostupné.

26. července 2024

Podpora rozdílového sdílení pro sdílení modelů AI je teď obecně dostupná. Pracovní prostory poskytovatele i příjemce musí být povolené pro katalog Unity a modely musí být zaregistrované v katalogu Unity.

Viz Přidání modelů do sdílené složky.

Sdílení komentářů a omezení primárního klíče pomocí rozdílového sdílení

25. července 2024

Rozdílové sdílení teď podporuje sdílení metadat objektů, včetně komentářů a omezení primárního klíče:

• Komentáře k modelům a komentáře k verzím modelů byly již nějakou dobu zahrnuty do sdílení Databricks-to-Databricks, ale nebyly oznámeny.

• Komentáře k tabulce, komentáře sloupců, omezení primárního klíče a komentáře ke svazkům jsou teď součástí Databricks-to-Databricks sdílení, které byly sdíleny s příjemcem 25. července 2024 nebo později.

  Pokud chcete do sdílené složky, která byla před tímto datem sdílena s příjemcem, zahrnout komentáře nebo omezení, musíte odvolat a znovu udělit příjemci přístup k aktivaci sdílení komentářů a omezení.

Viz Vytvoření a správa sdílených složek proDelta Sharing .

Nový ovladač Databricks JDBC (OSS)

25. července 2024

Byl vydán nový opensourcový ovladač Databricks JDBC pro Verzi Public Preview. Tento ovladač implementoval rozhraní JDBC API a poskytuje další základní funkce, včetně OAuth, cloudového načítání a funkcí, jako je příjem svazků v Katalogu Unity. Další informace naleznete v tématu Databricks JDBC Driver (OSS).

Databricks Runtime 15.4 LTS (beta verze)

23. července 2024

Databricks Runtime 15.4 LTS a Databricks Runtime 15.4 LTS ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 15.4 LTS a Databricks Runtime 15.4 LTS pro Machine Learning.

Scala je obecně dostupná ve sdíleném výpočetním prostředí katalogu Unity.

23. července 2024

Ve službě Databricks Runtime 15.4 LTS a novějších je Scala obecně dostupná pro výpočet v režimu sdíleného přístupu s aktivovaným Unity Catalogem, včetně podpory skalárních uživatelem definovaných funkcí (UDF). Agregační funkce definované uživatelem a strukturované streamování Hive, definované uživatelem nejsou podporované. Úplný seznam omezení naleznete v části Omezení režimu přístupu compute pro katalog Unity.

Výpočetní výkon jednoho uživatele podporuje jemně odstupňované řízení přístupu, materializovaná zobrazení a streamované tabulky.

23. července 2024

Databricks Runtime 15.4 LTS zavádí podporu podrobného řízení přístupu u výpočetních prostředků jednoho uživatele, pokud je pracovní prostor povolený pro bezserverové výpočetní prostředky. Když dotaz přistupuje k některému z následujících prostředků, jeden uživatelský výpočetní prostředek ve službě Databricks Runtime 15.4 LTS předá dotaz do bezserverového výpočetního prostředí pro spuštění filtrování dat:

• Zobrazení postavená na tabulkách, na kterých uživatel nemá oprávnění SELECT
• Dynamická zobrazení
• Tabulky s použitými filtry řádků nebo maskami sloupců
• Materializovaná zobrazení a streamované tabulky

Tyto dotazy nejsou podporovány u výpočetních prostředků jednoho uživatele spuštěných v Databricks Runtime 15.3 a níže.

Další informace najdete v tématu Jemně odstupňované řízení přístupu u výpočetních prostředků jednoho uživatele.

Systémová tabulka časové osy uzlu je nyní dostupná (Public Preview)

23. července 2024

Schéma system.compute teď obsahuje tabulku node_timeline. Tato tabulka zaznamenává metriky využití minut po minutách pro výpočetní prostředky pro všechny účely a úlohy spuštěné ve vašem účtu. Viz schéma tabulky časové osy uzlu .

Meta Llama 3.1 se teď podporuje v poskytování modelových služeb.

23. července 2024

Služba Mosaic AI Model Serving spolupracuje s Meta na podpoře verze Meta Llama 3.1, což je modelová architektura vytvořená a natrénovaná společností Meta, a je distribuována prostřednictvím Azure Machine Learning s využitím katalogu modelů AzureML. Llama 3.1 se podporuje jako součást rozhraní API základního modelu. Viz Použití rozhraní API základního modelu.

• Meta-Llama-3.1-405B-Instruct a Meta-Llama-3.1-70B-Instruct jsou k dispozici v oblastech koncových bodů obsluhy s platbami za token.
• Produkční využití celé sady modelů Llama 3.1 (8B, 70B a 405B) je dostupné v USA s využitím zřízené propustnosti.

Od 23. července 2024 nahrazuje meta-llama-3.1-70B-Instruct podporu pro koncové body Meta-Llama-3-70B-Instruct v rozhraních API modelu foundation.

Poznámkové bloky: Přepnutí viditelných názvů buněk

18. července 2024

Uživatelé můžou v nastavení pro vývojáře povolit zobrazovat upřednostněné názvy buněk, aby byly názvy buněk poznámkového bloku v uživatelském rozhraní viditelné. Zobrazit nadpisy upřednostněných buněk

/ v názvech prostředků pracovního prostoru je zastaralý

17. července 2024

Aby se zabránilo nejednoznačnosti v řetězcích cest, použití znaku /v názvech nových prostředků pracovního prostoru (například poznámkových bloků, složek a dotazů) je zastaralé. Stávající prostředky s názvem /nejsou ovlivněny, ale přejmenování existujících prostředků se řídí stejnými pravidly jako nové prostředky.

Delta Sharing umožňuje sdílet tabulky, které používají tekuté clustering

16. července 2024

Delta Sharing teď umožňuje sdílet tabulky, které jsou povolené pro kapalinové clusterování, a příjemci mohou spouštět dávkové dotazy. Clustering Liquid zjednodušuje rozhodování o rozložení dat a optimalizuje výkon dotazů. Viz Použijte tekuté seskupování pro tabulky Delta a matice podpory funkcí Delta Lake .

Systémová tabulka historie dotazů je teď dostupná (Public Preview)

16. července 2024

Systémové tabulky Azure Databricks teď obsahují tabulku historie dotazů. Tato tabulka zaznamenává podrobné záznamy jednotlivých dotazů spuštěných ve službě SQL Warehouse ve vašem účtu. Pro přístup k tabulce musí správci povolit nové systémové schéma query. Viz odkaz na systémovou tabulku historie dotazů.

Sestavy kontroly ohrožení zabezpečení se teď správcům posílají e-mailem.

16. července 2024

Sestavy kontroly ohrožení zabezpečení se teď e-mailem posílají správcům pracovního prostoru v pracovních prostorech, které umožňují rozšířené monitorování zabezpečení. Dříve je museli správci pracovního prostoru požádat z Azure Databricks. Viz Rozšířené monitorování zabezpečení.

Protokolování metadat oddílů pro externí tabulky katalogu Unity

15. července 2024

Ve službě Databricks Runtime 13.3 LTS a novějších můžete volitelně povolit protokolování metadat oddílů pro externí tabulky zaregistrované v katalogu Unity, které používají Parquet, ORC, CSV nebo JSON. Protokolování metadat oddílů je strategie pro zjišťování oddílů, která je v souladu s úložištěm Hive Metastore. Viz Zjišťování oddílů pro externí tabulky.

Bezserverové výpočetní prostředky pro pracovní postupy jsou obecně dostupné

15. července 2024

Výpočetní prostředky bez serveru pro pracovní postupy jsou teď obecně dostupné. Bezserverové výpočetní prostředky pro pracovní postupy umožňují spouštět úlohu Azure Databricks bez konfigurace a nasazení infrastruktury. Díky bezserverovým výpočetním prostředkům pro pracovní postupy azure Databricks efektivně spravuje výpočetní prostředky, které spouští vaši úlohu, včetně optimalizace a škálování výpočetních prostředků pro vaše úlohy. Viz Spuštění úlohy Azure Databricks s bezserverovými výpočetními prostředky pro pracovní postupy.

Bezserverové výpočetní prostředky pro poznámkové bloky jsou obecně dostupné

15. července 2024

Výpočetní prostředky bez serveru pro poznámkové bloky jsou teď obecně dostupné. Výpočetní prostředí bez serveru pro poznámkové bloky poskytuje přístup na vyžádání ke škálovatelným výpočetním prostředkům v poznámkových blocích, takže můžete okamžitě psát a spouštět kód Pythonu nebo SQL. Viz Výpočetní prostředí bez serveru pro poznámkové bloky.

Databricks Connect pro Python teď podporuje bezserverové výpočetní prostředky

15. července 2024

Databricks Connect pro Python teď podporuje připojení k bezserverové výpočetní službě. Tato funkce je dostupná ve verzi Public Preview. Viz Konfigurace připojení k výpočetním prostředkům bez serveru.

Filtrování výstupů dat pomocí výzev přirozeného jazyka

11. července 2024

Pomocí Nástroje Databricks Assistant teď můžete filtrovat výstupy dat pomocí výzev v přirozeném jazyce. Pokud chcete například filtrovat tabulku dat přeživších Titanicu, můžete zadat "Zobrazit pouze muže starší 70 let". Viz Filtrování dat pomocí výzev přirozeného jazyka.

Podpora tajných kódů prostého textu pro externí modely

11. července 2024

Teď můžete přímo zadávat klíče rozhraní API jako řetězce prostého textu pro modelování obsluhující koncové body, které hostují externí modely. Viz Konfigurace zprostředkovatele pro koncový bod.

Prognózování dat časových řad pomocí ai_forecast()

11. července 2024

AI Functions teď podporuje ai_forecast()novou funkci Databricks SQL pro analytiky a datové vědce navržené k extrapolaci dat časových řad do budoucnosti. Viz ai_forecast funkce.

Podpora úloh SQL File pro soubory s více příkazovými dotazy SQL je obecná dostupnost

10. července 2024

Podpora použití souborů, které obsahují dotazy SQL s více příkazy s úlohou SQL File, je nyní obecně dostupná. Tato změna umožňuje spustit více příkazů SQL z jednoho souboru. Dříve jste museli přidat samostatný soubor pro každý příkaz. Další informace o úloze sql File najdete v tématu Úloha SQL pro úlohy.

Federace Lakehouse podporuje Salesforce Data Cloud (Public Preview)

10. července 2024

Teď můžete spouštět federované dotazy na data spravovaná cloudem Salesforce Data Cloud. Viz Spuštění federovaných dotazů v Cloudu dat Salesforce.

Systémová tabulka Databricks Assistant je teď dostupná (Public Preview)

10. července 2024

Události Databricks Assistant jsou nyní zaznamenány v systémové tabulce umístěné v system.access.assistant_events. Viz referenci k systémové tabulce Databricks Assistant a příklad.

Rozhraní API SCIM v2.1 (Public Preview)

10. července 2024

Rozhraní API SCIM účtu se aktualizují z verze 2.0 na verzi 2.1 kvůli rychlosti a spolehlivosti. Můžete si stáhnout PDF referenční informace k rozhraní API SCIM účtu v2.1.

Navýšení kvóty prostředků pro tabulky na metastore katalogu Unity

3. července 2024

Metastore katalogu Unity teď může registrovat až jeden milion tabulek. Viz Kvóty prostředků.

Databricks Assistant může automaticky diagnostikovat chyby poznámkového bloku

2. července 2024

Databricks Assistant teď může běžet /fix v poznámkových blocích automaticky, když zjistí chybovou zprávu. Pomocník pomocí generující umělé inteligence analyzuje kód a chybovou zprávu, aby navrhl opravu přímo v poznámkovém bloku. Další informace najdete v tématu Ladění kódu: Příklady Pythonu a SQL.

:param Podpora syntaxe s úlohou souboru SQL je obecná dostupnost

1. července 2024

Podpora použití :param syntaxe s parametrizovanými dotazy v úloze AZURE Databricks Jobs SQL File je obecně dostupná. Teď můžete odkazovat na parametry dotazu tak, že předponu jejich názvů použijete dvojtečku (:parameter_name). Tato syntaxe je navíc k existující podpoře dvojité složené závorky ({{parameter_name}}) syntaxe. Další informace o použití parametrizovaných dotazů s úlohou SQL File najdete v tématu Konfigurace parametrů úkolu.