Databricks Runtime 10.3 (EoS)

Följande viktig information innehåller information om Databricks Runtime 10.3 och Databricks Runtime 10.3 Photon, som drivs av Apache Spark 3.2.1. Foton finns i offentlig förhandsversion. Databricks släppte den här versionen i februari 2022.

Nya funktioner och förbättringar

• Parquet- och Avro-författare använder nu sessionens tidszon när tidsstämplar i Parquet-datakällor ska byggas om
• Nya funktioner i Spark SQL
• Låg blandningssammanslagning är nu allmänt tillgänglig
• Nya COPY INTO funktioner: valideringsläge och schemautveckling
• identitetskolumner stöds nu i Delta-tabeller (offentlig förhandsversion)

Parquet- och Avro-författare använder nu sessionens tidszon när tidsstämplar i Parquet-datakällor ska byggas om

Parquet- och Avro-skrivare använder nu tidszonen för sessionen medan tidsstämpeln återbaserar i läge i legacy stället för att använda JVM-standardtidszonen. Sessionens tidszon är inställd på JVM-tidszonen som standard.

Nya funktioner i Spark SQL

Följande Spark SQL-funktioner stöds nu i den här versionen:

• aes_decrypt: dekrypterar indata med hjälp av AES.
• aes_encrypt: krypterar indata med hjälp av AES.
• contains: avgör om ett uttryck innehåller ett annat uttryck.
• endswith: avgör om ett uttryck slutar med ett annat uttryck.
• percentile_cont: returnerar ett percentilvärde.
• startswith: avgör om ett uttryck börjar med ett annat uttryck.

Låg blandningssammanslagning är nu allmänt tillgänglig

Delta-kommandot MERGE INTO använder en teknik som kallas låg blandningssammanslagning, vilket minskar blandning av oförändrade rader. Detta förbättrar prestanda för kommandot och bidrar till att bevara den befintliga klustringen på tabellen, såsom Z-ordering. Den här funktionen introducerades i Databricks Runtime 9.0 för offentlig förhandsversion och har nu nått allmän tillgänglighet. Om du vill aktivera låg shuffle-merge anger du spark.databricks.delta.merge.enableLowShuffle till true. Se Låg blandningssammanslagning i Azure Databricks.

Nya COPY INTO funktioner: valideringsläge och schemautveckling

Valideringsläge: COPY INTO stöder nu ett VALIDATE läge där de data som ska läsas in i en tabell verifieras men inte skrivs till tabellen. Dessa valideringar omfattar:

• Om data kan parsas.
• Om schemat matchar tabellens eller om schemat behöver utvecklas.
• Om alla null- och kontrollbegränsningar är uppfyllda.

Exempel på användning:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Standardvärdet är att verifiera alla data som ska läsas in. Du kan ange ett antal rader som ska verifieras med nyckelordet ROWS , till exempel VALIDATE 15 ROWS. -instruktionen COPY INTO returnerar en förhandsgranskning av data på 50 rader eller mindre, när ett antal mindre än 50 används med nyckelordet ROWS ).

Schemautveckling: COPY INTO stöder nu schemautveckling med alternativet mergeSchema i COPY_OPTIONS. Om du vill utveckla schemat för en tabell måste du ha OWN behörigheter i tabellen.

Exempel på användning:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Se COPY INTO.

Identitetskolumner stöds nu i Delta-tabeller (offentlig förhandsversion)

Delta Lake stöder nu identitetskolumner. När du skriver till en Delta-tabell som definierar en identitetskolumn, och du inte anger värden för den kolumnen, tilldelar Delta nu automatiskt ett unikt och statistiskt ökande eller minskande värde. Se CREATE TABLE [USING].

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • distlib från 0.3.3 till 0.3.4
  • filelock från 3.4.0 till 3.4.2
  • numpy från 1.19.2 till 1.20.1
  • ritat från 5.3.1 till 5.5.0
• Uppgraderade R-bibliotek:
  • backports från 1.4.0 till 1.4.1
  • brio från 1.1.2 till 1.1.3
  • kvast från 0.7.10 till 0.7.11
  • klass från 7.3-19 till 7.3-20
  • cpp11 från 0.4.1 till 0.4.2
  • DBI från 1.1.1 till 1.1.2
  • devtools från 2.4.2 till 2.4.3
  • sammandrag från 0,6,28 till 0,6,29
  • dtplyr från 1.1.0 till 1.2.0
  • fansi från 0.5.0 till 1.0.2
  • utländsk från 0,8-81 till 0,8-82
  • fs från 1.5.0 till 1.5.2
  • gert från 1.4.3 till 1.5.0
  • lim från 1.5.0 till 1.6.0
  • httpuv från 1.6.3 till 1.6.5
  • jsonlite från 1.7.2 till 1.7.3
  • stickning från 1,36 till 1,37
  • MASS från 7,3-54 till 7,3-55
  • Matris från 1.3-4 till 1.4-0
  • nlme från 3.1-152 till 3.1-155
  • nnet frm 7.3-16 till 7.3-17
  • openssl från 1.4.5 till 1.4.6
  • parallellt från 1.29.0 till 1.30.0
  • pkgbuild från 1.2.0 till 1.3.1
  • pkgload från 1.2.3 till 1.2.4
  • progressr från 0.9.0 till 0.10.0
  • Rcpp från 1.0.7 till 1.0.8
  • readr från 2.1.0 till 2.1.1
  • remotes från 2.4.1 till 2.4.2
  • RSQLite från 2.2.8 till 2.2.9
  • sessioninfo från 1.2.1 till 1.2.2
  • sparklyr från 1.7.2 till 1.7.4
  • testthat från 3.1.0 till 3.1.1
  • tinytex från 0,35 till 0,36
  • usethis från 2.1.3 till 2.1.5
  • vroom från 1.5.6 till 1.5.7
  • från 2.4.2 till 2.4.3
  • xfun från 0,28 till 0,29
  • xml2 från 1.3.2 till 1.3.3
• Uppgraderade Java-bibliotek:
  • dev.ludovic.netlib.arpack från 1.3.2 till 2.2.1
  • dev.ludovic.netlib.blas från 1.3.2 till 2.2.1
  • dev.ludovic.netlib.lapack från 1.3.2 till 2.2.1
  • io.delta.delta-sharing-spark_2.12 från 0.2.0 till 0.3.0

Apache Spark

Databricks Runtime 10.3 innehåller Apache Spark 3.2.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 10.2 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-37896] [SQL] Implementera en ConstantColumnVector och förbättra prestanda för dolda filmetadata
• [SPARK-37924] [SQL] Sortera tabellegenskaper efter nyckel i SHOW CREATE TABLE på VIEW (v1)
• [SPARK-37636] [SQL] Migrera CREATE NAMESPACE för att använda V2-kommandot som standard
• [SPARK-37381] [SQL] Unify v1 och v2 SHOW CREATE TABLE tester
• [SPARK-37876] [CORE][SQL] Flytta SpecificParquetRecordReaderBase.listDirectory till TestUtils
• [SPARK-37854] [CORE] Ersätt typkontroll med mönstermatchning i Spark-kod
• [SPARK-36967] [CORE] Rapportera korrekt blandningsblockstorlek om den är skev
• [SPARK-37864] [SQL] Stödjer vektoriserad läsning av booleska värden med RLE-kodning i Parquet DataPage V2
• [SPARK-37862] [SQL] RecordBinaryComparator bör snabbt hoppa över kontrollen av justering med en icke-justerad plattform
• [SPARK-37855] [SQL] IllegalStateException vid transformering av en matris i en kapslad struct
• [SPARK-37858] [SQL] Kasta SparkRuntimeException med felklasser från AES-funktioner
• [SPARK-37841] [SQL] BasicWriteTaskStatsTracker bör inte försöka hämta status för en överhoppad fil
• [SPARK-37860] [Användargränssnitt] Åtgärda aktivitetsindex på tidslinjen för aktivitetshändelsen på scensidan
• [SPARK-36879] [SQL] Stöd för Parquet v2-datasidekodning (DELTA_BINARY_PACKED) för den vektoriserade sökvägen
• [SPARK-37828] [SQL] Push-ned filter via OmbalanseringPartitioner
• [SPARK-37802] [SQL][3.2] Sammansatt fältnamn bör fungera med aggregerad push-nedtryckning
• [SPARK-37826] [SQL] Använd zstd codec-namn i ORC-filnamn för hive orc impl
• [SPARK-37820] [SQL] Ersätt ApacheCommonBase64 med JavaBase64 för sträng-funcs
• [SPARK-37832] [SQL] Orc struct converter bör använda en matris för att leta upp fältkonverterare i stället för en länkad lista
• [SPARK-37786] [SQL] StreamingQueryListener-stöd använder SQLConf.get för att hämta den motsvarande SQLConf för SessionState
• [SPARK-37527] [SQL] Översätta fler standardaggregeringsfunktioner för pushdown
• [SPARK-37777] [SQL] Uppdatera SQL-syntaxen för SHOW FUNCTIONS
• [SPARK-8582] [CORE] Checkpoint ivrigt när ombedd att göra det på riktigt
• [SPARK-37822] [SQL] StringSplit ska returnera en matris på element som inte är null
• [SPARK-37812] [SQL] När du deserialiserar en Orc-struct återanvänder du resultatraden när det är möjligt
• [SPARK-37367] [SQL] Återaktiveringsbart undantagstest i DDLParserSuite.create-vyn – basic
• [SPARK-37796] [SQL] ByteArrayMethods-matrisEquals bör snabbt hoppa över kontrollen av justering med ojusterad plattform
• [SPARK-37817] [SQL][Minor] Ta bort oåtkomlig kod i complexTypeExtractors.scala
• [SPARK-37807] [SQL] Åtgärda ett stavfel i HttpAuthenticationException-meddelande
• [SPARK-37750] [SQL] ANSI-läge: Du kan också returnera nullresultat om elementet inte finns i matrisen/kartan
• [SPARK-37789] [SQL] Lägg till en klass som representerar allmänna mängdfunktioner i DS V2
• [SPARK-37785] [SQL][CORE] Lägg till Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] Stöd för QueryExecutionListener använder SQLConf.get för att hämta motsvarande SessionState’s SQLConf
• [SPARK-37783] [SS][SQL][CORE] Aktivera tail-rekursion där det är möjligt
• [SPARK-37726] [SQL] Lägg till spillstorleksmått för sorteringssammanslagning
• [SPARK-37800] [SQL] TreeNode.argString formaterar felaktigt argument av typen Set[_]
• [SPARK-37716] [SQL] Förbättra felmeddelanden när ett lateraltjoin har icke-deterministiska uttryck
• [SPARK-37779] [SQL] Gör ColumnarToRowExec-planen kanonisktillämpbar efter (de)serialisering
• [SPARK-37578] [SQL] Uppdatera aktivitetsmått från anpassade mått för ds v2
• [SPARK-37676] [SQL] Stöd för ANSI-sammansättningsfunktion: percentile_cont
• [SPARK-37724] [SQL] ANSI-läge: inaktivera reserverade ANSI-nyckelord som standard
• [SPARK-37705] [SQL][3.2] Ändra tidsstämplar i sessionens tidszon som sparats i Parquet/Avro-metadata
• [SPARK-34755] [SQL] Stöd för utils för format för transformeringsnummer
• [SPARK-36703] [SQL] Ta bort sorteringen om den är underordnad RepartitionByExpression
• [SPARK-37369] [SQL] Undvik redundant ColumnarToRow-övergång på InMemoryTableScan
• [SPARK-37450] [SQL] Rensa onödiga fält från Generera
• [SPARK-37728] [SQL] Läsning av kapslade kolumner med ORC-vektoriserad läsare kan orsaka ArrayIndexOutOfBoundsException
• [SPARK-37564] [SQL] Lägg till kod-gen för sorteringsaggregering utan grupperingsnycklar
• [SPARK-37659] [UI][3.2] Åtgärda FsHistoryProvider race condition mellan list och delete log info
• [SPARK-37727] [SQL] Visa ignorerade konfigurationer & dölja varningar för konfiguration som redan har angetts i SparkSession.builder.getOrCreate
• [SPARK-37391] [SQL]JdbcConnectionProvider anger om den ändrar säkerhetskontexten
• [SPARK-37273] [SQL] Stöd för dolda filmetadatakolumner i Spark SQL
• [SPARK-36876] [SQL] Stöder dynamisk partitionsrensning för HiveTableScanExec
• [SPARK-37546] [SQL] V2 ReplaceTableAsSelect-kommandot bör kvalificera platsen
• [SPARK-37545] [SQL] V2 CreateTableAsSelect-kommandot bör kvalificera platsen
• [SPARK-37707] [SQL] Tillåt lagringstilldelning och implicit gjutning mellan datetime-typer
• [SPARK-37644] [SQL] Stöd för fullständig aggregering av datakälla v2
• [SPARK-37695] [CORE][SHUFFLE] Hoppa över diagnos ob sammanfogade block från push-baserad shuffle
• [SPARK-35295] [ML] Ersätt fullständigt com.github.fommil.netlib med dev.ludovic.netlib:2.0
• [SPARK-37694] [SQL] Tillåt inte borttagning av resurser i spark sql cli
• [SPARK-37330] [SQL] Migrera ReplaceTableStatement till v2-kommandot
• [SPARK-27974] [SQL] Stöd för ANSI-mängdfunktion: array_agg
• [SPARK-36902] [SQL] Migrera Kommandot CreateTableAsSelectStatement till v2
• [SPARK-37678] [PYTHON] Åtgärda _cleanup_and_return signatur
• [SPARK-37613] [SQL] Stöd för ANSI-mängdfunktion: regr_count
• [SPARK-37689] [SQL] Expandera bör stödjas i PropagateEmptyRelation
• [SPARK-37654] [SQL] Åtgärda NPE i Row.getSeq när fältet är Null
• [SPARK-37496] [SQL] Migrera ReplaceTableAsSelectStatement till v2-kommandot
• [SPARK-37483] [SQL] Stöd för push-överföring uppifrån N till JDBC-datakälla V2
• [SPARK-37577] [SQL] Fix ClassCastException: ArrayType kan inte omvandlas till StructType vid generering av beskärning.
• [SPARK-37310] [SQL] Migrera ALTER NAMESPACE ... SET EGENSKAPER för att använda V2-kommandot som standard
• [SPARK-37501] [SQL] CREATE/REPLACE TABLE bör kvalificera plats för v2-kommandot
• [SPARK-37343] [SQL] Implementera createIndex, IndexExists och dropIndex i JDBC (Postgres dialekt)
• [SPARK-37060] [CORE][3.2] Hantera drivrutinsstatussvar från säkerhetskopieringshanterare
• [SPARK-37629] [SQL] Påskynda Expression.canonicalized
• [SPARK-37633] [SQL] Unwrap cast bör hoppa över om nedslaget misslyckades med en...
• [SPARK-37631] [SQL] Kodrensning vid befordran av strängar till dubbel typ i matematiska funktioner
• [SPARK-37569] [SQL] Markera inte kapslade vyfält som nullbara
• [SPARK-37557] [SQL] Ersätt objekthash med sorteringsaggregat om underordnad redan är sorterad
• [SPARK-36850] [SQL] Migrera CreateTableStatement till v2-kommandoramverket
• [SPARK-37592] [SQL] Förbättra prestanda för JoinSelection
• [SPARK-37217] [SQL] Antalet dynamiska partitioner bör kontrolleras tidigt när man skriver till externa tabeller
• [SPARK-37584] [SQL] Ny SQL-funktion: map_contains_key
• [SPARK-37455] [SQL] Ersätt hash med sorteringsaggregat om underordnad redan är sorterad
• [SPARK-34735] [SQL][Användargränssnitt] Lägga till ändrade konfigurationer för SQL-körning i användargränssnittet
• [SPARK-37540] [SQL] Identifiera mer tidsresor som inte stöds
• [SPARK-37376] [SQL] Introducera ett nytt DataSource V2-gränssnitt HasPartitionKey
• [SPARK-37666] [SQL] Ange GCM som standardläge i aes_encrypt()/aes_decrypt()
• [SPARK-37573] [SQL] IsolatedClientLoader bör återgå till relaterad version, inte alltid hadoop-2.7.4
• [SPARK-37561] [SQL] Undvik att läsa in alla funktioner när du hämtar Hives DelegeringToken
• [SPARK-37370] [SQL] Lägg till SQL-konfigurationer för att styra de nyligen tillagda kopplingskodgenereringarna i 3.3
• [SPARK-37311] [SQL] Migrera ALTER NAMESPACE ... SET PLATS för att använda V2-kommandot som standard
• [SPARK-37192] [SQL] Migrera SHOW TBLPROPERTIES för att använda V2-kommandot som standard
• [SPARK-37219] [SQL] Lägg till AS OF-syntaxstöd
• [SPARK-37316] [SQL] Lägg till kodgenerering för existenssorteringssammanslagning
• [SPARK-37591] [SQL] Stöd för GCM-läget genom aes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] Lägg till args och mode i paddingaes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] Lägga till aes_encrypt- och aes_decrypt inbyggda funktioner
• [SPARK-37392] [SQL] Åtgärda prestandafelet när du härleder begränsningar för Generera
• [SPARK-37481] [Kärna][WebUI] Åtgärda försvinnandet av överhoppade steg när de försöker igen
• [SPARK-37533] [SQL] Ny SQL-funktion: try_element_at
• [SPARK-37451] [SQL] Korrigera typ av gjuten sträng till decimaltyp om spark.sql.legacy.allowNegativeScaleOfDecimal är aktiverat
• [SPARK-37062] [SS] Introducera en ny datakälla för att tillhandahålla konsekvent uppsättning rader per mikrobatch
• [SPARK-37552] [SQL] convert_timezone() Lägg till funktionen
• [SPARK-37555] [SQL] spark-sql ska skicka den sista kommentaren som inte är slut till serverdelen
• [SPARK-37286] [SQL] Flytta kompileringsaggregat från JDBCRDD till JdbcDialect
• [SPARK-37485] [CORE][SQL] Ersätt map med uttryck som inte ger något resultat med foreach
• [SPARK-37556] [SQL] Deser void-klassen misslyckas med Java-serialisering
• [SPARK-37520] [SQL] Lägg till strängfunktionerna startswith() och endswith()
• [SPARK-37471] [SQL] spark-sql-stöd ; i kapslad kommentar med hakparentes
• [SPARK-37360] [SQL] Stöd för TidsstämpelNTZ i JSON-datakälla
• [SPARK-37508] [SQL] Lägg till contains()-strängfunktion
• [SPARK-37494] [SQL] Unify v1 och v2 options output of SHOW CREATE TABLE command
• [SPARK-37524] [SQL] Vi bör släppa alla tabeller efter att ha testat dynamisk partitionsrensning.
• [SPARK-37389] [SQL] Kontrollera ej avgränsade kommentarer
• [SPARK-37220] [SQL] Dela inte indatafilen för Parquet-läsaren med aggregerad push-ned
• [SPARK-37326] [SQL] Stöd för TidsstämpelNTZ i CSV-datakälla
• [SPARK-35867] [SQL] Aktivera vektoriserad läsning för VectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [CORE][SQL] Ersätt get och getOrElse med getOrElse
• [SPARK-37492] [SQL] Optimera Orc-testkod med withAllNativeOrcReaders
• [SPARK-37458] [SS] Ta bort onödig SerializeFromObject från planen för foreachBatch

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 10.3.

Systemmiljö

• Operativsystem: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-01-19.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)