Databricks Runtime 7.0 (EoS)

Databricks släppte den här versionen i juni 2020.

Följande viktig information innehåller information om Databricks Runtime 7.0, som drivs av Apache Spark 3.0.

Nya funktioner

Databricks Runtime 7.0 innehåller följande nya funktioner:

• Scala 2.12

  Databricks Runtime 7.0 uppgraderar Scala från 2.11.12 till 2.12.10. Ändringslistan mellan Scala 2.12 och 2.11 finns i Viktig information om Scala 2.12.0.

• Automatisk inläsning (offentlig förhandsversion), som släpptes i Databricks Runtime 6.4, har förbättrats i Databricks Runtime 7.0

  Automatisk inläsning ger dig ett effektivare sätt att bearbeta nya datafiler stegvis när de kommer till ett molnbloblager under ETL. Detta är en förbättring jämfört med filbaserad strukturerad direktuppspelning, som identifierar nya filer genom att upprepade gånger lista molnkatalogen och spåra de filer som har setts och kan vara mycket ineffektiv när katalogen växer. Automatisk inläsning är också mer praktiskt och effektivt än filmeddelandebaserad strukturerad direktuppspelning, vilket kräver att du manuellt konfigurerar filmeddelandetjänster i molnet och inte låter dig fylla på befintliga filer igen. Mer information finns i Vad är automatisk inläsning?.

  På Databricks Runtime 7.0 behöver du inte längre begära en anpassad Databricks Runtime-avbildning för att kunna använda automatisk inläsning.

• COPY INTO (Offentlig förhandsversion), som gör att du kan läsa in data i Delta Lake med idempotenta återförsök, har förbättrats i Databricks Runtime 7.0

  Sql-kommandot släpptes som en offentlig förhandsversion i Databricks Runtime 6.4 och COPY INTO låter dig läsa in data i Delta Lake med idempotenta återförsök. Om du vill läsa in data i Delta Lake idag måste du använda Apache Spark DataFrame-API:er. Om det uppstår fel vid belastningar måste du hantera dem effektivt. Det nya COPY INTO kommandot tillhandahåller ett välbekant deklarativt gränssnitt för att läsa in data i SQL. Kommandot håller reda på tidigare inlästa filer och du kör dem på ett säkert sätt vid fel. Mer information finns i COPY INTO.

Förbättringar

• Azure Synapse-anslutningsprogrammet (tidigare SQL Data Warehouse) stöder -instruktionen COPY .

  Den största fördelen COPY med är att användare med lägre privilegier kan skriva data till Azure Synapse utan att behöva strikta CONTROL behörigheter för Azure Synapse.

• Det %matplotlib inline magiska kommandot krävs inte längre för att visa Matplolib-objekt infogade i notebook-celler. De visas alltid infogade som standard.

• Matplolib-siffror återges nu med transparent=False, så att användardefinierade bakgrunder inte går förlorade. Det här beteendet kan åsidosättas genom att ange Spark-konfiguration .spark.databricks.workspace.matplotlib.transparent true

• När du kör produktionsjobb för strukturerad direktuppspelning i kluster med hög samtidighet misslyckas ibland omstarter av ett jobb, eftersom det jobb som tidigare kördes inte avslutades korrekt. Databricks Runtime 6.3 introducerade möjligheten att ange SQL-konfigurationen spark.sql.streaming.stopActiveRunOnRestart true i klustret för att säkerställa att den föregående körningen stoppas. Den här konfigurationen anges som standard i Databricks Runtime 7.0.

Större biblioteksändringar

Python-paket

Större Python-paket har uppgraderats:

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 -> 3.1.3
• numpy 1.16.2 -> 1.18.1
• pandas 0.24.2 -> 1.0.1
• pip 19.0.3 -> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 -> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

Python-paket har tagits bort:

• boto (använd boto3)
• pycurl

R-paket

R-paket har lagts till:

• kvast
• highr
• isoband
• stickning
• Markdown
• modelr
• reprex
• rmarkdown
• rvest
• väljare
• tidyverse
• tinytex
• xfun

R-paket har tagits bort:

• abind
• bitops
• car
• carData
• doMC
• Gbm
• h2o
• Littler
• lme4
• mapproj
• Kartor
• maptools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• Rio
• Sp
• SparseM
• statmod
• Zip

Java- och Scala-bibliotek

• Apache Hive-version som används för hantering av Användardefinierade Hive-funktioner och Hive SerDes uppgraderas till 2.3.
• Tidigare paketerades Azure Storage- och Key Vault-jars som en del av Databricks Runtime, vilket skulle hindra dig från att använda olika versioner av de bibliotek som är kopplade till kluster. Klasser under com.microsoft.azure.storage och com.microsoft.azure.keyvault finns inte längre på klasssökvägen i Databricks Runtime. Om du är beroende av någon av dessa klasssökvägar måste du nu koppla Azure Storage SDK eller Azure Key Vault SDK till dina kluster.

Funktionalitetsförändringar

I det här avsnittet visas beteendeändringar från Databricks Runtime 6.6 till Databricks Runtime 7.0. Du bör känna till dessa när du migrerar arbetsbelastningar från lägre Databricks Runtime-versioner till Databricks Runtime 7.0 och senare.

Ändringar i Spark-beteende

Eftersom Databricks Runtime 7.0 är den första Databricks Runtime som bygger på Spark 3.0 finns det många ändringar som du bör känna till när du migrerar arbetsbelastningar från Databricks Runtime 5.5 LTS eller 6.x, som bygger på Spark 2.4. Dessa ändringar visas i avsnittet "Beteendeändringar" i varje funktionsområde i avsnittet Apache Spark i den här artikeln om viktig information:

• Beteendeändringar för Spark Core, Spark SQL och Structured Streaming
• Beteendeändringar för MLlib
• Beteendeändringar för SparkR

Andra beteendeändringar

• Uppgraderingen till Scala 2.12 omfattar följande ändringar:

  • Paketcells serialisering hanteras på olika sätt. I följande exempel visas beteendeförändringen och hur du hanterar den.

    Om du kör foo.bar.MyObjectInPackageCell.run() enligt definitionen i följande paketcell utlöses felet java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    Om du vill undvika det här felet kan du omsluta MyObjectInPackageCell i en serialiserbar klass.

  • Vissa fall som använder DataStreamWriter.foreachBatch kräver en källkodsuppdatering. Den här ändringen beror på att Scala 2.12 har automatisk konvertering från lambda-uttryck till SAM-typer och kan orsaka tvetydighet.

    Följande Scala-kod kan till exempel inte kompileras:

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    Åtgärda kompileringsfelet genom att ändra foreachBatch { (df, id) => myFunc(df, id) } till foreachBatch(myFunc _) eller använda Java-API:et explicit: foreachBatch(new VoidFunction2 ...).

• Eftersom Apache Hive-versionen som används för att hantera Användardefinierade Hive-funktioner och Hive SerDes uppgraderas till 2.3 krävs två ändringar:

  • Hive-gränssnittet ersätts SerDe av en abstrakt klass AbstractSerDe. För alla anpassade Hive-implementeringar SerDe krävs migrering till AbstractSerDe .
  • Om spark.sql.hive.metastore.jars anges till builtin innebär det att Hive 2.3-metaarkivklienten används för att komma åt metaarkiv för Databricks Runtime 7.0. Om du behöver komma åt Hive 1.2-baserade externa metaarkiv anger du spark.sql.hive.metastore.jars till mappen som innehåller Hive 1.2-jars.

Utfasningar och borttagningar

• Datahoppningsindex inaktuella i Databricks Runtime 4.3 och togs bort i Databricks Runtime 7.0. Vi rekommenderar att du använder Delta-tabeller i stället, vilket ger förbättrade funktioner för datahopp.
• I Databricks Runtime 7.0 använder den underliggande versionen av Apache Spark Scala 2.12. Eftersom bibliotek som kompilerats mot Scala 2.11 kan inaktivera Databricks Runtime 7.0-kluster på oväntade sätt, installerar kluster som kör Databricks Runtime 7.0 och senare inte bibliotek som har konfigurerats för att installeras på alla kluster. Fliken Klusterbibliotek visar status Skipped och ett utfasningsmeddelande som förklarar ändringarna i bibliotekshanteringen. Men om du har ett kluster som skapades på en tidigare version av Databricks Runtime innan Azure Databricks-plattformen version 3.20 släpptes till din arbetsyta och du nu redigerar klustret för att använda Databricks Runtime 7.0, installeras alla bibliotek som har konfigurerats för att installeras på alla kluster i klustret. I det här fallet kan eventuella inkompatibla JAR:er i de installerade biblioteken göra att klustret inaktiveras. Lösningen är antingen att klona klustret eller skapa ett nytt kluster.

Apache Spark

Databricks Runtime 7.0 innehåller Apache Spark 3.0.

I detta avsnitt:

• Core, Spark SQL, Structured Streaming
• MLlib
• SparkR
• Utfasningar
• Kända problem

Core, Spark SQL, Structured Streaming

Höjdpunkter

• (Projektvätgas) Acceleratormedveten Scheduler (SPARK-24615)
• Adaptiv frågekörning (SPARK-31412)
• Dynamisk partitionsrensning (SPARK-11150)
• Omdesignat Pandas UDF-API med typtips (SPARK-28264)
• UI för strukturerad direktuppspelning (SPARK-29543)
• API för katalogplugin (SPARK-31121)
• Bättre ANSI SQL-kompatibilitet

Prestandaförbättringar

• Adaptiv frågekörning (SPARK-31412)
  • Grundläggande ramverk (SPARK-23128)
  • Justering av partitionsnummer efter shuffle (SPARK-28177)
  • Dynamisk återanvändning av underfrågor (SPARK-28753)
  • Lokal shuffle-läsare (SPARK-28560)
  • Sned kopplingsoptimering (SPARK-29544)
  • Optimera läsning av sammanhängande shuffle-block (SPARK-9853)
• Dynamisk partitionsrensning (SPARK-11150)
• Andra regler för optimerare
  • Rule ReuseSubquery (SPARK-27279)
  • Regel PushDownLeftSemiAntiJoin (SPARK-19712)
  • Regel PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • Regel replaceNullWithFalse (SPARK-25860)
  • Regel Eliminera sortering utan gräns i underfrågan i Join/Aggregation (SPARK-29343)
  • Regel PruneHiveTablePartitions (SPARK-15616)
  • Rensa onödiga kapslade fält från Generera (SPARK-27707)
  • RegelomskrivningNonCorrelatedExists (SPARK-29800)
• Minimera kostnaderna för synkronisering av tabellcachen (SPARK-26917), (SPARK-26617), (SPARK-26548)
• Dela upp aggregeringskod i små funktioner (SPARK-21870)
• Lägg till batchbearbetning i kommandot INSERT och ALTER TABLE ADD PARTITION (SPARK-29938)

Förbättringar av utökningsbarhet

• API för katalogpluginprogram (SPARK-31121)
• Refaktorisering av V2 API för datakälla (SPARK-25390)
• Stöd för Hive 3.0 och 3.1-metaarkiv (SPARK-27970),(SPARK-24360)
• Utöka Spark-plugin-gränssnittet till drivrutinen (SPARK-29396)
• Utöka Spark-måttsystemet med användardefinierade mått med hjälp av plugin-program för exekutorer (SPARK-28091)
• Utvecklar-API:er för utökad stöd för columnar-bearbetning (SPARK-27396)
• Inbyggd källmigrering med DSV2: parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
• Tillåt FunctionInjection i SparkExtensions (SPARK-25560)
• Tillåter att Aggregator registreras som UDAF (SPARK-27296)

Förbättringar av anslutningsappen

• Kolumnrensning genom nondeterministiska uttryck (SPARK-29768)
• Stöd för spark.sql.statistics.fallBackToHdfs i datakällatabeller (SPARK-25474)
• Tillåt partitionbeskärning med underfrågefilter på datakällan (SPARK-26893)
• Undvik pushdown av underfrågor i datakällfilter (SPARK-25482)
• Rekursiv datainläsning från filkällor (SPARK-27990)
• Parquet/ORC
  • Pushdown av disjunctive predikat (SPARK-27699)
  • Generalisera kapslad kolumnrensning (SPARK-25603) och aktiverad som standard (SPARK-29805)
  • Endast parquet
    • Parquet predikat-pushdown för kapslade fält (SPARK-17636)
  • Endast ORC
    • Stöd för kopplingsschema för ORC (SPARK-11412)
    • Kapslad schemarensning för ORC (SPARK-27034)
    • Predicate conversion complexity reduction for ORC (SPARK-27105, SPARK-28108)
    • Uppgradera Apache ORC till 1.5.9 (SPARK-30695)
• CSV
  • Stödfilter för pushdown i CSV-datakälla (SPARK-30323)
• Hive SerDe
  • Ingen schemainferens vid läsning av Hive-serdetabell med intern datakälla (SPARK-27119)
  • Hive CTAS-kommandon bör använda datakällan om den är konvertibel (SPARK-25271)
  • Använd intern datakälla för att optimera infogning av partitionerad Hive-tabell (SPARK-28573)
• Apache Kafka
  • Lägg till stöd för Kafka-huvuden (SPARK-23539)
  • Lägg till stöd för Kafka-delegeringstoken (SPARK-25501)
  • Introducera nytt alternativ för Kafka-källa: förskjutning baserad på tidsstämpel (start/slut) (SPARK-26848)
  • Stöd för minPartitions alternativet i Kafka batch source and streaming source v1 (SPARK-30656)
  • Uppgradera Kafka till 2.4.1 (SPARK-31126)
• Nya inbyggda datakällor
  • Nya inbyggda binära fildatakällor (SPARK-25348)
  • Nya no-op-batchdatakällor (SPARK-26550) och no-op streaming sink (SPARK-26649)

Funktionsförbättringar

• [Väte] Acceleratormedveten Scheduler (SPARK-24615)
• Introducera en fullständig uppsättning kopplingstips (SPARK-27225)
• Lägg till PARTITION BY tips för SQL-frågor (SPARK-28746)
• Metadatahantering i Thrift Server (SPARK-28426)
• Lägga till högre ordningsfunktioner i scala API (SPARK-27297)
• Stöd för enkel insamling i barriäraktivitetskontext (SPARK-30667)
• Hive UDF:er stöder UDT-typen (SPARK-28158)
• Stöd för DELETE/UPDATE/MERGE Operatorer i Catalyst (SPARK-28351, SPARK-28892, SPARK-28893)
• Implementera DataFrame.tail (SPARK-30185)
• Nya inbyggda funktioner
  • sinh, cosh, tanh, asinh, acosh, atanh (SPARK-28133)
  • alla, alla, vissa (SPARK-19851)
  • bit_and, bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and, bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • extrahering (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by, min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • version (SPARK-29554)
  • xxhash64 (SPARK-27099)
• Förbättringar av befintliga inbyggda funktioner
  • Inbyggda funktioner/driftförbättringar för datum och tid (SPARK-31415)
  • Supportläge FAILFAST för from_json (SPARK-25243)
  • array_sort lägger till en ny jämförelseparameter (SPARK-29020)
  • Filtret kan nu ta indexet som indata samt elementet (SPARK-28962)

Förbättringar av SQL-kompatibilitet

• Växla till proleptisk gregoriansk kalender (SPARK-26651)
• Skapa Sparks egen datetime-mönsterdefinition (SPARK-31408)
• Introducera ANSI-lagringstilldelningsprincip för tabellinfogning (SPARK-28495)
• Följ ANSI-lagringstilldelningsregeln i tabellinfogning som standard (SPARK-28885)
• Lägg till en SQLConf spark.sql.ansi.enabled (SPARK-28989)
• Stöd för ANSI SQL-filtersats för aggregeringsuttryck (SPARK-27986)
• Stöd för FUNKTIONEN ANSI SQL OVERLAY (SPARK-28077)
• Stöd för ANSI-kapslade kommentarer (SPARK-28880)
• Utlöser undantag vid spill för heltal (SPARK-26218)
• Spillkontroll för intervallaritmetiska åtgärder (SPARK-30341)
• Generera undantag när ogiltig sträng är gjuten till numerisk typ (SPARK-30292)
• Gör intervall multiplicera och dividera överflödets beteende i enlighet med andra åtgärder (SPARK-30919)
• Lägg till alias av ANSI-typ för tecken och decimaltecken (SPARK-29941)
• SQL Parser definierar reserverade nyckelord som är ANSI-kompatibla (SPARK-26215)
• Förbjud reserverade nyckelord som identifierare när ANSI-läget är aktiverat (SPARK-26976)
• Stöd för ANSI SQL-syntax LIKE ... ESCAPE (SPARK-28083)
• Stöd för ANSI SQL Boolean-Predicate syntax (SPARK-27924)
• Bättre stöd för korrelerad underfrågor (SPARK-18455)

Förbättringar av övervakning och felsökning

• Nytt gränssnitt för strukturerad direktuppspelning (SPARK-29543)
• SHS: Tillåt att händelseloggar för att köra strömmande appar rullas över (SPARK-28594)
• Lägg till ett API som gör att en användare kan definiera och observera godtyckliga mått på batch- och strömningsfrågor (SPARK-29345)
• Instrumentation för att spåra planeringstid per fråga (SPARK-26129)
• Placera de grundläggande shuffle-måtten i SQL Exchange-operatorn (SPARK-26139)
• SQL-instruktionen visas på FLIKEN SQL i stället för anropsplatsen (SPARK-27045)
• Lägg till knappbeskrivning i SparkUI (SPARK-29449)
• Förbättra historikserverns samtidiga prestanda (SPARK-29043)
• EXPLAIN FORMATTED kommando (SPARK-27395)
• Stöd för dumpning av trunkerade planer och genererad kod till en fil (SPARK-26023)
• Förbättra beskriv ramverket för att beskriva utdata från en fråga (SPARK-26982)
• Lägg till SHOW VIEWS kommando (SPARK-31113)
• Förbättra felmeddelandena för SQL-parser (SPARK-27901)
• Stöd för Prometheus-övervakning internt (SPARK-29429)

PySpark-förbättringar

• Omdesignade Pandas UDF:er med typtips (SPARK-28264)
• Pandas UDF-pipeline (SPARK-26412)
• Stöd för StructType som argument och returtyper för Scalar Pandas UDF (SPARK-27240 )
• Stöd för Dataframe Cogroup via Pandas UDF:er (SPARK-27463)
• Lägg till mapInPandas för att tillåta en iterator av DataFrames (SPARK-28198)
• Vissa SQL-funktioner bör också ta kolumnnamn (SPARK-26979)
• Gör PySpark SQL-undantag mer pythoniska (SPARK-31849)

Förbättringar av dokumentation och testtäckning

• Skapa en SQL-referens (SPARK-28588)
• Skapa en användarhandbok för WebUI (SPARK-28372)
• Skapa en sida för SQL-konfigurationsdokumentation (SPARK-30510)
• Lägg till versionsinformation för Spark-konfiguration (SPARK-30839)
• Portregressionstester från PostgreSQL (SPARK-27763)
• Thrift-server-testtäckning (SPARK-28608)
• Testtäckning av UDF:er (python UDF, Pandas UDF, scala UDF) (SPARK-27921)

Andra viktiga ändringar

• Inbyggd Hive-körningsuppgradering från 1.2.1 till 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
• Använd Apache Hive 2.3-beroende som standard (SPARK-30034)
• GA Scala 2.12 och ta bort 2.11 (SPARK-26132)
• Förbättra logiken för tidsbestämning av körbara filer i dynamisk allokering (SPARK-20286)
• Diskbeständiga RDD-block som hanteras av shuffle-tjänsten och ignoreras för dynamisk allokering (SPARK-27677)
• Skaffa nya utförare för att undvika hängning på grund av blocklistning (SPARK-22148)
• Tillåt delning av Nettys allokerare för minnespooler (SPARK-24920)
• Åtgärda dödläge mellan TaskMemoryManager och UnsafeExternalSorter$SpillableIterator (SPARK-27338)
• Introducera AdmissionControl API:er för StructuredStreaming (SPARK-30669)
• Prestandaförbättring för Spark-historik för huvudsidan (SPARK-25973)
• Snabba upp och banta måttaggregering i SQL-lyssnaren (SPARK-29562)
• Undvik nätverket när shuffle-block hämtas från samma värd (SPARK-27651)
• Förbättra fillistan för DistributedFileSystem (SPARK-27801)

Beteendeändringar för Spark Core, Spark SQL och Structured Streaming

Följande migreringsguider visar beteendeändringar mellan Apache Spark 2.4 och 3.0. Dessa ändringar kan kräva uppdateringar av jobb som du har kört på lägre Databricks Runtime-versioner:

• Migreringsguide: Spark Core
• Migreringsguide: SQL, datauppsättningar och DataFrame
• Migreringsguide: Strukturerad direktuppspelning
• Migreringsguide: PySpark (Python på Spark)

Följande beteendeändringar beskrivs inte i dessa migreringsguider:

• I Spark 3.0 har den inaktuella klassen org.apache.spark.sql.streaming.ProcessingTime tagits bort. Använd org.apache.spark.sql.streaming.Trigger.ProcessingTime i stället. org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger På samma sätt har tagits bort till förmån för Trigger.Continuous, och org.apache.spark.sql.execution.streaming.OneTimeTrigger har dolts till förmån för Trigger.Once. (SPARK-28199)
• När du läser en Hive SerDe-tabell i Databricks Runtime 7.0 tillåter Spark som standard inte läsning av filer under en underkatalog som inte är en tabellpartition. Om du vill aktivera den anger du konfigurationen spark.databricks.io.hive.scanNonpartitionedDirectory.enabled som true. Detta påverkar inte spark-inbyggda tabellläsare och filläsare.

MLlib

Höjdpunkter

• Stöd för flera kolumner lades till i Binarizer (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) och PySpark QuantileDiscretizer (SPARK-22796)
• Stöd för trädbaserad funktionstransformering (SPARK-13677)
• Två nya utvärderare MultilabelClassificationEvaluator (SPARK-16692) och RankingEvaluator (SPARK-28045) har lagts till
• Stöd för exempelvikter lades till i DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-9612)24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) och GaussianMixture (SPARK-30102)
• R API för PowerIterationClustering lades till (SPARK-19827)
• Spark ML-lyssnaren har lagts till för att spåra ML-pipelinestatus (SPARK-23674)
• Modellpassning med valideringsdataset lades till i Gradient Boosted Trees i Python (SPARK-24333)
• RobustScaler-transformatorn har lagts till (SPARK-28399)
• Factorization Machines-klassificeraren och regressorn har lagts till (SPARK-29224)
• Gaussian Naive Bayes (SPARK-16872) och Complement Naive Bayes (SPARK-29942) lades till
• ML-funktionsparitet mellan Scala och Python (SPARK-28958)
• predictRaw offentliggörs i alla klassificeringsmodeller. predictProbability offentliggörs i alla klassificeringsmodeller utom LinearSVCModel (SPARK-30358)

Beteendeändringar för MLlib

I följande migreringsguide visas beteendeändringar mellan Apache Spark 2.4 och 3.0. Dessa ändringar kan kräva uppdateringar av jobb som du har kört på lägre Databricks Runtime-versioner:

• Migreringsguide: MLlib (Machine Learning)

Följande beteendeändringar beskrivs inte i migreringsguiden:

• I Spark 3.0 returnerar LogisticRegressionSummaryen logistisk regression med flera klasser i Pyspark nu (korrekt) , inte underklassen BinaryLogisticRegressionSummary. De ytterligare metoder som exponeras av BinaryLogisticRegressionSummary fungerar inte i det här fallet ändå. (SPARK-31681)
•  I Spark 3.0 pyspark.ml.param.shared.Has* tillhandahåller mixins inte längre några set*(self, value) settermetoder, använd respektive self.set(self.*, value) i stället. Mer information finns i SPARK-29093. (SPARK-29093)

SparkR

• Piloptimering i SparkR:s samverkan (SPARK-26759)
• Prestandaförbättring via vektoriserad R gapply(), dapply(), createDataFrame, collect()
• "Ivrig körning" för R Shell, IDE (SPARK-24572)
• R API för Power Iteration Clustering (SPARK-19827)

Beteendeändringar för SparkR

I följande migreringsguide visas beteendeändringar mellan Apache Spark 2.4 och 3.0. Dessa ändringar kan kräva uppdateringar av jobb som du har kört på lägre Databricks Runtime-versioner:

• Migreringsguide: SparkR (R på Spark)

Utfasningar

• Inaktuellt Python 2-stöd (SPARK-27884)
• Inaktuellt R < 3.4-stöd (SPARK-26014)

Kända problem

• Parsningsdag på året med mönsterbokstaven "D" returnerar fel resultat om fältet year saknas. Detta kan inträffa i SQL-funktioner som to_timestamp som parsar datetime-sträng till datetime-värden med hjälp av en mönstersträng. (SPARK-31939)
• Koppling/fönster/aggregering i underfrågor kan leda till fel resultat om nycklarna har värdena -0.0 och 0.0. (SPARK-31958)
• En fönsterfråga kan oväntat misslyckas med ett tvetydigt självkopplingsfel. (SPARK-31956)
• Strömningsfrågor med dropDuplicates operatorn kanske inte kan startas om med kontrollpunkten som skrivits av Spark 2.x. (SPARK-31990)

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 7.0.

Systemmiljö

• Operativsystem: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R version 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2020-04-22.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)