Databricks Runtime 8.1 (EoS)

Databricks vydala tuto verzi v březnu 2021.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 8.1, který využívá Apache Spark 3.1.1.

Nové funkce a vylepšení

• Nové operátory SQL snižují komplexní ETL u řetězců JSON.
• Řízení viditelnosti seznamů řízení přístupu k tabulce
• Nové možnosti automatického zavaděče umožňují lepší výkon
• Ověřování ve službě Azure Synapse Analytics pomocí OAuth 2.0 a instančního objektu (Public Preview)
• ruční vložení sloupců IDENTITY do tabulek Azure Synapse Analytics
• Azure Auto Loader teď podporuje ověřování pomocí instančního objektu pro operace fronty.
• Sledování průběhu streamu s využitím metrik Kafka
• Sledování průběhu streamu s využitím metrik zdroje streamování Delta Lake

Nové operátory SQL snižují komplexní ETL u řetězců JSON.

Dva nové operátory SQL –:: a :– umožňují snadno extrahovat data z řetězců JSON.

• Pokud chcete přetypovat výraz na datový typ, použijte dvojtečku ::. Například místo zadávání cast(col as int)můžete nyní říci col::int.
• Chcete-li extrahovat pole z částečně strukturovaných dat, použijte jednu dvojtečku :. Pokud máte sloupec STRING obsahující data JSON, můžete z daného řetězce JSON extrahovat pole pomocí syntaxe <json-column>:<field>, která extrahuje klíč field z <json-column> JSON jako STRING. Můžete to zkombinovat se :: syntaxí pro přetypování dat na určitý typ.

Pokud máte například data JSON:

{
  "store":{
    "bicycle":{
      "price":19.95,
      "color":"red"
    }
  }
}

a vytvoříte tabulku store_data z dat:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

příkaz SELECT raw:store.bicycle.price::double FROM store_data vrátí:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Podrobnosti najdete v tématu Dotazování řetězců JSON.

Ovládání viditelnosti seznamů přístupových oprávnění k tabulkám

Chcete-li zabránit úniku informací výpisem všech definovaných oprávnění v tabulce, můžete nyní spustit příkaz SHOW GRANTS [<user>] <object> pouze v případě, že jste:

• Správce SQL Databricks nebo vlastník .<object>
• Uživatel zadaný v [<user>].

Nové možnosti automatického zavaděče umožňují lepší výkon

Auto Loader teď podporuje novou možnost cloudFiles.fetchParallelism , která určuje paralelismus pro načítání zpráv ze služby fronty.

Podívejte se, co je automatický zavaděč?

Ověřování ve službě Azure Synapse Analytics pomocí OAuth 2.0 a instančního objektu (Public Preview)

Konektor Azure Synapse Analytics teď podporuje ověřování pomocí OAuth 2.0 a instančního objektu Microsoft Entra ID a umožňuje aplikacím, které vyžadují ověřování pomocí instančního objektu místo uživatelského jména a hesla. Další informace najdete v tématu Jak funguje ověřování mezi Azure Databricks a Synapse? pro konektor Azure Synapse Analytics.

Ruční vložení IDENTITY sloupců do tabulek Azure Synapse Analytics

Konektor Azure Synapse Analytics teď podporuje explicitní vkládání hodnot do IDENTITY sloupců v tabulkách Azure Synapse Analytics na základě hodnot nastavených v datových rámcích. Tato funkce je podporovaná pro dávkové a streamované vkládání a umožňuje případy použití vyžadující vlastní hodnoty IDENTITY sloupců. Podrobnosti najdete identityInsert v referenčních informacích k parametrům konektoru Azure Synapse Analytics pro Konektor Azure Databricks Synapse.

Azure Auto Loader teď podporuje ověřování pomocí instančního objektu pro operace fronty.

Teď se můžete ověřit pomocí instančního objektu Microsoft Entra ID uděleného oprávněními souvisejícími s frontou pro operace fronty pomocí automatického zavaděče. Tato změna odebere předchozí požadavek na použití připojovací řetězec pro operace fronty a instančního objektu pro operace událostí a umožňuje použít instanční objekt pro oba typy operací. Další podrobnosti najdete v tématu Co je automatický zavaděč?.

Sledování průběhu streamu s využitím metrik Kafka

Zdroj streamování Kafka teď hlásí, kolik posunů příjemce po každé dávce zapadá za nejnovější. Tyto metriky můžete použít ke sledování průběhu streamu. Podrobnosti o tom, jak zobrazit metriky, najdete v tématu Načtení metrik Kafka.

Sledování průběhu streamu s využitím metrik zdroje streamování Delta Lake

Zdroj streamování Delta Lake teď hlásí, jak velký je backlog a kolik souborů v backlogu existuje po každé dávce. Tyto metriky můžete použít ke sledování průběhu streamu. Podrobnosti o tom, jak zobrazit metriky, najdete v tématu Metriky.

Upgrady knihoven

• Upgradovaná knihovna Pythonu:
  • koalas upgradoval z verze 1.5.0 na verzi 1.6.0.
• Nově nainstalované knihovny Pythonu:
  • plotly 4.14.3
  • opakování 1.3.3
• Upgradovali jsme R na verzi 4.0.4 z verze 4.0.3.
• Upgradovali jsme několik nainstalovaných knihoven R. Viz nainstalované knihovny jazyka R.
• Upgradovaná knihovna Java:
  • jetty od 9.4.34.v20201102 do 9.4.36.v2021014
• Build OpenJDK 8 upgradovaný na Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)

Apache Spark

Databricks Runtime 8.1 zahrnuje Apache Spark 3.1.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 8.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-34534] Oprava objednávky blockIds při použití FetchShuffleBlocks k načtení bloků
• [SPARK-34613] [SQL] Zobrazení opravy nezachytává konfiguraci nápovědy pro zakázání
• [SPARK-34392] [SQL] Podpora ZoneOffset +h:mm v DateTimeUtils. getZoneId
• [SPARK-34436] [SQL] Podpora DPP TYPU ANY/ALL
• [SPARK-34497] [SQL] Oprava integrovaných poskytovatelů připojení JDBC za účelem obnovení změn kontextu zabezpečení JVM
• [SPARK-34543] [SQL] Respektování konfigurace spark.sql.caseSensitive při řešení specifikace oddílu ve verzi SET LOCATION v1.
• [SPARK-34550] [SQL] Přeskočit hodnotu InSet null během nabízeného filtru do metastoru Hive
• [SPARK-34531] [CORE] Odebrání značky experimentálního rozhraní API z PrometheusServlet

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 8.1.

Prostředí systému

• Operační systém: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8 (aktualizováno z 3.8.6 v údržbové aktualizaci z 26. května 2021)
• R: R verze 4.0.4 (2021-02-15)
• Delta Lake 0.8.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2020-11-02.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)