Databricks Runtime 6.5 (EoS)

Databricks släppte den här versionen i april 2020.

Följande viktig information innehåller information om Databricks Runtime 6.5, som drivs av Apache Spark.

Nya funktioner

Driftsmått för alla skrivningar, uppdateringar och borttagningar för Delta table visas nu i table historiken.

Nu kan du se åtgärdsmått (till exempel antal filer och rader som har ändrats) för alla inmatningar, uppdateringar och borttagningar i Delta table-historiken i table. Genereringen av dessa mått är aktiverad som standard. Du kan se historiken genom att köra:

DESCRIBE HISTORY deltaTableName

Hastighet –limit data som bearbetas i mikrobatcher vid Delta Lake-streaming

När du bearbetar data från Delta Lake med Structured Streamingkan du nu set alternativet maxBytesPerTrigger till rate –limit hur mycket data som bearbetas i varje mikrobatch. Detta anger ett "mjukt maxvärde", vilket innebär att en batch bearbetar ungefär den här mängden data och kan bearbeta mer än limit.

Om du använder Trigger.Once för din strömning ignoreras det här alternativet. Om du använder det här alternativet tillsammans med maxFilesPerTriggerbearbetar mikrobatchen dessutom data tills antingen maxFilesPerTrigger eller maxBytesPerTriggerlimit har nåtts.

Förbättringar

Snowflake-anslutningsprogrammet har uppdaterats till 2.5.9

Den uppdaterade anslutningsappen befordrar Snowflake JDBC-drivrutinen till 3.12.0.

Java har uppgraderats till 1.8.0_242

Den här versionen introducerar nya kontroller av förtroendeankarcertifikat för att säkerställa att förtroendeankare är CA-certifikat och innehåller rätt tillägg. Betrodda fästpunktscertifikat måste innehålla ett basic constraints-tillägg med fältet caset true. Om de dessutom innehåller ett tillägg för nyckelanvändning, måste keyCertSign-biten vara set.

Om du använder självsignerade förtroendeankarcertifikat kan du stöta på följande undantag som introduceras av de nya kontrollerna:

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Om du vill fortsätta använda självsignerade förtroendeankarcertifikat har du två alternativ för att åtgärda ovanstående undantag:

• Set Java-systemegenskap jdk.security.allowNonCaAnchor introducerades med Java 1.9.0_242 för att true för att restore det tidigare beteendet. Du kan använda spark.driver.extraJavaOptions och spark.executor.extraJavaOptions för att set den här systemegenskapen till Spark-drivrutin och exekverare, respektive.

• Inkludera ett tillägg för grundläggande begränsningar med fältet caset för att true till dina förtroendeankarcertifikat. Om dina förtroendeankarcertifikat innehåller ett tillägg för nyckelanvändning set keyCertSign-bit.

  Om du använder Java Keytool för att generate offentliga/privata nyckelpar, set-ext BasicConstraints=ca:true när du genererar certifikat för förtroendeankar. Om dina förtroendeankarcertifikat innehåller ett tillägg för nyckelanvändning set keyCertSign bit -ext KeyUsage=...,keyCertSign när du genererar förtroendeankarcertifikat.

Uppgraderade R-bibliotek

Uppgraderade flera installerade R-bibliotek. Se Installerade R-bibliotek.

Utfasningar

• Paketet boto är inaktuellt och tas bort i en kommande större version av Databricks Runtime. Azure Databricks rekommenderar att du använder boto3 i stället.
• Följande R-paket tas bort i en kommande större version av Databricks Runtime:
  • abind
  • bitops
  • car
  • carData
  • doMC
  • Gbm
  • h2o
  • Littler
  • lme4
  • mapproj
  • Kartor
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • Rio
  • Sp
  • SparseM
  • statmod
  • Zip

Azure Databricks rekommenderar att du använder följande kod för att installera och läsa in R-paket som inte har installerats av Databricks Runtime:

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

Databricks Runtime 6.5 innehåller Apache Spark 2.4.5. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 6.4 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-27099] [SQL] Lägg till "xxhash64" för hashning av godtyckliga columns till Long
• [SPARK-26151] [SQL] Returnera partiella resultat för felaktiga CSV-poster
• [SPARK-30927] [SS] StreamingQueryManager bör undvika att behålla referensen till avslutade StreamingQuery
• [SPARK-22590] Kopiera sparkContext.localproperties till en underordnad tråd i BroadcastExchangeExec.executionContext
• [SPARK-30671] emptyDataFrame ska använda en LocalRelation
• [SPARK-30556] [SQL] Reset statusen har ändrats i SQLExecution medThreadLocalCaptured
• [SPARK-30763] [SQL] Åtgärda java.lang.IndexOutOfBoundsException Ingen grupp 1 för regexp_extract
• [SPARK-30806] [SQL] Utvärdera en gång per grupp i UnboundedWindowFunctionFrame
• [SPARK-30731]Update inaktuellt Mkdocs-alternativ
• [SPARK-30857] [SQL] Åtgärda trunkeringar av tidsstämplar före epoken till timmar och dagar
• [SPARK-30798] Scope Session.active i QueryExecution
• [SPARK-30793] [SQL] Åtgärda trunkeringar av tidsstämplar före epoken till minuter och sekunder
• [SPARK-30826] [SQL] Respektreferensfall i StringStartsWith nedtryckt till parquet
• [SPARK-30797] [SQL] Set traditionell användare/grupp/annan behörighet till ACL-poster när ACL-poster konfigureras vid trunkering table
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop bör hantera duplicerade värden columns
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill ska hantera duplicerade columns
• [SPARK-30310] [CORE] Lösa matchningsfall som saknas i SparkUncaughtExceptionHandler och lade till tester
• [SPARK-30512] Lade till en dedikerad händelseloopgrupp för chef

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 6.5.

Systemmiljö

• Operativsystem: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: R version 3.6.3 (2020-02-29)
• Delta lake: 0.5.0

I detta avsnitt:

• Installerade Python-bibliotek
• Installerade R-bibliotek
• Installerade Java- och Scala-bibliotek (Scala 2.11-klusterversion)

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2020-02-26.

Installerade Java- och Scala-bibliotek (Scala 2.11-klusterversion)