Databricks Runtime 7.1 (EoS)

Databricks släppte den här versionen i juli 2020.

Följande viktig information innehåller information om Databricks Runtime 7.1, som drivs av Apache Spark 3.0.

Nya funktioner

Databricks Runtime 7.1 innehåller följande nya funktioner:

Data Lake

• Nu kan du ange användardefinierade metadata i varje incheckning som görs av Delta-åtgärder. Mer information finns i Berika Delta Lake-tabeller med anpassade metadata.

• Du kan nu köra frågor mot SQL-konfigurationen spark.databricks.delta.lastCommitVersionInSession för att hämta versionen av den senaste incheckningen som skrivits av den aktuella SparkSession.

  Om inga incheckningar har gjorts av SparkSessionreturnerar frågan till nyckeln ett tomt värde. Den här funktionen stöds inte i strömnings- eller flertrådsfall.

• CONVERT TO DELTA kan nu konvertera Parquet-tabeller som har skapats av Structured Streaming med hjälp av transaktionsloggen _spark_metadata som finns i mappen. Detta förhindrar att ogenomförda filer via strömningsfrågan beaktas i deltatabellen. Du kan sedan fortsätta dataströmmen med samma kontrollpunktsplats.

  Kommentar

  Det finns en liten chans att data från den senaste mikrobatchen kan checkas in igen i tabellen efter konverteringsprocessen.

• Den här versionen innehåller prestandaförbättringar för MERGE INTO åtgärder som bara har matchade satser. Det vill: de har bara UPDATE och DELETE åtgärder och ingen INSERT åtgärd.

pip-kommandon för att stödja Python-bibliotek med notebook-omfattning

Från och med Databricks Runtime 7.1 kan du använda %pip kommandon för att hantera Python-bibliotek som är installerade i en notebook-session. Mer information finns i Python-bibliotek med notebook-omfattning.

Förbättringar

• Lägger till en display metod i PySpark, Pandas och Koalas DataFrames, så att du nu kan köra df.display() för enklare undersökande dataanalys. Se Skapa en ny visualisering.
• Koalas är nu installerat.

Apache Spark

Databricks Runtime 7.1 innehåller Apache Spark 3.0.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 7.0 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-32057] ExecuteStatement: Avbryt och stäng bör inte vara tillfälligt FEL
• [SPARK-32167] [SQL] Åtgärda GetArrayStructFields för att respektera det inre fältets nullabilitet tillsammans
• [SPARK-31935] Konfiguration av Hadoop-filsystem bör vara effektiv i datakällans alternativ
• [SPARK-32038] [SQL] NormalizeFloatingNumbers bör också fungera med distinkt aggregering
• [SPARK-31705] [SQL] Push-överför fler möjliga predikat via Join via CNF-konvertering
• [SPARK-31945] [SQL][PYSPARK] Aktivera cachelagring för samma Python-funktion
• [SPARK-8981] [CORE] Lägga till MDC-stöd i Executor
• [SPARK-31986] [SQL] Åtgärda juliansk-gregoriansk mikroåterbasering av överlappande lokala tidsstämplar
• [SPARK-31959] [SQL] Åtgärda gregoriansk-Julian-mikroåterbasering vid byte av standardtidszonförskjutning
• [SPARK-26905] [SQL] Följ de reserverade nyckelorden för SQL:2016
• [SPARK-31990] [SS] Använd toSet.toSeq i Dataset.dropDuplicates
• [SPARK-31992] [SQL] Mäta ombaseringsläget FÖR UNDANTAG
• [SPARK-31983] [WEBUI] Åtgärda sortering för varaktighetskolumnen på fliken strukturerad direktuppspelning
• [SPARK-31593] [SS] Ta bort onödig uppdatering av strömningsfrågans förlopp
• [SPARK-31968] [SQL] Kontrollera dubbletter av partitionskolumner när du skriver data
• [SPARK-31632] [CORE][WEBUI] Utöka undantagsmeddelandet när programsammanfattningen inte är tillgänglig
• [SPARK-31916] [SQL] StringConcat kan leda till StringIndexOutOfBoundsException
• [SPARK-31935] [SQL] Konfiguration av Hadoop-filsystem bör vara effektiv i datakällans alternativ
• [SPARK-31954] [SQL] Ta bort dubbletttestcase i HiveQuerySuite
• [SPARK-28199] [SS] Ta bort paketet privat i klass/objekt i sql.execution-paketet
• [SPARK-31956] [SQL] Misslyckas inte om det inte finns någon tvetydig självkoppling
• [SPARK-31941] [CORE] Ersätt SparkException med NoSuchElementException för applicationInfo i AppStatusStore
• [SPARK-26905] [SQL] Lägg till TYPE i listan ansi som inte är reserverad
• [SPARK-31921] [CORE] Åtgärda fel varning: "App app-xxx kräver mer resurs än någon av arbetarna kunde ha"
• [SPARK-31220] [SQL] ompartition lyder initialPartitionNum när adaptiveExecutionEnabled
• [SPARK-29295] [SQL] Dynamisk partitionskarta som parsas från partitionssökvägen ska vara skiftlägesokänslig
• [SPARK-31849] [PYTHON][SQL] Mer korrekt felmeddelande i Python UDF-undantagsmeddelande
• [SPARK-31923] [CORE] Ignorera interna ackumulatorer som använder okända typer i stället för att krascha
• [SPARK-31849] [PYTHON][SQL] Deduplicera och återanvända Utils.exceptionString i Python-undantagshantering

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 7.1.

Systemmiljö

• Operativsystem: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R version 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2020-04-22.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)