Databricks Runtime 6.0 (EoS)

Databricks släppte den här versionen i oktober 2019.

Följande versionsanteckningar ger information om Databricks Runtime 6.0, som drivs av Apache Spark.

Nya funktioner

Python-miljö

Databricks Runtime 6.0 innehåller större ändringar i Python och hur Python-miljöer konfigureras, inklusive uppgradering av Python till 3.7.3, förfina listan över installerade Python-paket och uppgradera de installerade paketen till nyare versioner. Mer information finns i Installerade Python-bibliotek.

Dessutom stöder Databricks Runtime 6.0 inte Python 2, vilket tidigare har meddelats.

Några större ändringar är:

• Uppgraderade Python från 3.5.2 till 3.7.3. Vissa gamla versioner av Python-paket kanske inte är framåtkompatibla med Python 3.7 eftersom de är beroende av gamla versioner av Cython som inte är kompatibla med Python 3.7. Installation av ett sådant paket kan utlösa fel som liknar ‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’ (se GitHub-problem 1978 för mer information). Installera Python 3.7-kompatibla versioner av Python-paket i stället.
• Större paketuppgraderingar:
  • boto3 till 1.9.162
  • ipython till 7.4.0
  • matplotlib till 3.0.3
  • numpy till 1.16.2
  • pandas till 0.24.2
  • pyarrow till 0.13.0
• Jämfört med Databricks Runtime 5.5 LTS (EoS) ingår följande Python-paket nyligen: asn1crypto, backcall, jedi, kiwisolver, parso och PySocks.
• Jämfört med Databricks Runtime 5.5 LTS (EoS) installeras inte följande Python-paket: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson och singledispatch.
• Funktionen display för Python-ggplot-objekt stöds inte längre eftersom ggplot-paketet inte är kompatibelt med nyare version av Pandas.
• Inställningen PYSPARK_PYTHON till /databricks/python2/bin/python stöds inte eftersom Databricks Runtime 6.0 inte stöder Python 2. Ett kluster med en sådan inställning kan fortfarande starta. Python-anteckningsböcker och Python-kommandon fungerar dock inte, det vill säga Python-kommandoceller misslyckas med felet "Avbruten" och ett Python shell failed to start-fel visas i förarloggarna.
• Om PYSPARK_PYTHON pekar på en Körbar Python-fil som finns i en miljö som hanteras av Virtualenv aktiveras den här miljön för init-skript och notebook-filer. Du kan använda kommandona python och pip som definieras direkt i den aktiverade miljön utan att behöva ange de absoluta platserna för dessa kommandon. Som standard är PYSPARK_PYTHON inställt på /databricks/python3/bin/python. Därför pekar python och pip som standard på /databricks/python3/bin/python respektive /databricks/python3/bin/pip för init-skript och notebook-filer. Om dina PYSPARK_PYTHON pekar på en Python-exekverbar fil som inte finns under en miljö hanterad av Virtualenv eller om du skriver ett init-skript för att skapa den Python-fil som anges av PYSPARK_PYTHON, måste du använda absoluta sökvägar för att få åtkomst till rätt python och pip. När Python-biblioteksisolering är aktiverat (det är aktiverat som standard) är den aktiverade miljön fortfarande den miljö som PYSPARK_PYTHON är associerad med. Vi rekommenderar att du använder biblioteksverktyget (dbutils.library) (äldre) för att ändra den isolerade miljön som är associerad med en Python-anteckningsbok.

Scala- och Java-API:er för Delta Lake DML-kommandon

Du kan nu ändra data i Delta-tabeller med hjälp av programmatiska API:er för borttagning, uppdatering och sammanslagning. Dessa API:erna speglar syntaxen och semantiken hos sina motsvarande SQL-kommandon och är utmärkta för många arbetsbelastningar, till exempel för långsamt föränderliga dimensionsoperationer (SCD), sammanslagning av ändringsdata för replikering och upserts från strömmande frågor.

Mer information finns i Vad är Delta Lake?.

Scala- och Java-API:er för Delta Lake-verktygskommandon

Databricks Runtime har nu programmatiska API:er för kommandona vacuum och history -verktyget. Dessa API:er speglar syntaxen och semantiken för motsvarande SQL-kommandon som är tillgängliga i tidigare versioner av Databricks Runtime.

Du kan rensa filer som inte längre refereras till av en Delta-tabell och som är äldre än kvarhållningströskeln genom att köra vacuum i tabellen. Om du kör kommandot vacuum på tabellen dammsugs de kataloger som är associerade med Delta-tabellen rekursivt. Standardtröskelvärdet för kvarhållning av filerna är 7 dagar. Möjligheten att resa i tiden tillbaka till en version som är äldre än kvarhållningsperioden förloras efter att du har kört vacuum. vacuum utlöses inte automatiskt.

Du kan hämta information om åtgärder, användare, tidsstämpel och så vidare för varje skrivning till en Delta-tabell genom att köra kommandot history. Åtgärderna returneras i omvänd kronologisk ordning. Som standard behålls tabellhistoriken i 30 dagar.

Mer information finns i Vad är Delta Lake?.

Diskcachelagring är tillgänglig för Azure Lsv2-instanser

Diskcache är nu aktiverat som standardinställning för alla Lsv2-instanser.

Optimerad lagring med hjälp av lokala fil-API:er

API:er för lokala filer är användbara eftersom de gör att du kan komma åt filer från underliggande distribuerad objektlagring som lokala filer. I Databricks Runtime 6.0 har vi förbättrat FUSE-monteringen som gör det möjligt för lokala fil-API:er att hantera nyckelbegränsningar. Databricks Runtime 6.0 förbättrar läs- och skrivhastigheten avsevärt och stöder filer som är större än 2 GB. Om du behöver snabbare och mer tillförlitliga läsningar och skrivningar, till exempel för distribuerad modellträning, skulle den här förbättringen vara särskilt användbar. Dessutom skulle du inte behöva läsa in data till en lokal lagring för dina arbetsbelastningar, både spara kostnader och förbättra produktiviteten.

Mer information finns i Vad är DBFS?.

Flera matplotlib-diagram per notebook-cell

Nu kan du visa flera matplotlib-diagram per notebook-cell:

Tjänstautentiseringsuppgifter för flera Azure Data Lake Storage Gen1-konton

Nu kan du konfigurera autentiseringsuppgifter för tjänsten för flera Azure-lagringskonton för användning i en enda Apache Spark-session. Det gör du genom att lägga till account.<account-name> i konfigurationsnycklarna. Om du till exempel vill konfigurera autentiseringsuppgifter för konton för åtkomst till både adl://example1.azuredatalakestore.net och adl://example2.azuredatalakestore.netkan du göra detta på följande sätt:

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Förbättringar

• Uppgraderade AWS SDK till 1.11.596.
• Uppgraderade Azure Storage SDK i WASB-drivrutinen till 7.0.
• OPTIMIZE innehåller nu en sammanfattning av mått, till exempel antal filer som lagts till, antal filer som tagits bort och maximal och minsta filstorlek. Se Optimera layouten för datafilen.

Borttagning

Databricks ML-modellexport tas bort. Använd MLeap för att importera och exportera modeller i stället.

Apache Spark

Databricks Runtime 6.0 innehåller Apache Spark 2.4.3. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 5.5 LTS (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-27992][SPARK-28881][PYTHON] Tillåt Python att ansluta till förbindelsetråd för att sprida fel
• [SPARK-27330][SS]stöd för avbrytning av uppgifter i foreach-författaren (6.0, 5.x)
• [SPARK-28642][SQL] Dölj autentiseringsuppgifter i SHOW CREATE TABLE
• [SPARK-28699][CORE] Åtgärda ett hörnfall för att avbryta obestämd fas
• [SPARK-28647][WEBUI] Restaurera ytterligare metrisk funktion
• [SPARK-28766][R][DOC] Åtgärda cran inkommande genomförbarhetsvarning på ogiltig URL
• [SPARK-28486][CORE][PYTHON] Mappa PythonBroadcasts datafil till en BroadcastBlock för att undvika borttagning av GC
• [SPARK-25035][CORE] Undviker minnesmappning vid replikering av block lagrade på disk
• [SPARK-27234][SS][PYTHON] Använd InheritableThreadLocal för aktuell epok i EpochTracker (för att stödja Python UDF:er)
• [SPARK-28638][WEBUI] Aktivitetssammanfattning bör endast innehålla mått för lyckade aktiviteter
• [SPARK-28153][PYTHON] Använda AtomicReference på InputFileBlockHolder (för att stödja input_file_name med Python UDF)
• [SPARK-28564][CORE] Åtkomsthistorikapplikationen har som standardinställning senaste försöks-ID
• [SPARK-28260] Klustret kan avslutas automatiskt medan thriftserverfrågan fortfarande hämtar resultat
• [SPARK-26152][CORE] Synkronisera rensning av arbetare med arbetsavstängning
• [SPARK-28545][SQL] Lägg till hash-kartstorleken i riktningsloggen för ObjectAggregationIterator
• [SPARK-28489][SS] Åtgärda en bugg där KafkaOffsetRangeCalculator.getRanges kan tappa förskjutningar
• [SPARK-28421][ML] Prestandaoptimering av SparseVector.apply-metoden
• [SPARK-28156][SQL] Självkoppling ska inte missa cachelagrade vyer
• [SPARK-28152][SQL] Mappade ShortType till SMALLINT och FloatType till REAL för MsSqlServerDialect
• [SPARK-28054][SQL] Åtgärda fel vid dynamisk infogning i Hive-partitionerad tabell där partitionsnamnet skrivs med versaler
• [SPARK-27159][SQL] uppdatera mssql-serverdialekten för att stödja binär typ
• [SPARK-28355][CORE][PYTHON] Använd Spark-konfiguration för att fastställa tröskelvärdet vid vilket…
• [SPARK-27989][CORE] Nya försök har lagts till för anslutningen till drivrutinen för k8s
• [SPARK-27416][SQL] UnsafeMapData & UnsafeArrayData Kryo-serialisering ...
• [SPARK-28430][UI] Åtgärda rendering av stegtabell när vissa uppgifters metrik saknas
• [SPARK-27485] EnsureRequirements.reorder ska hantera duplicerade uttryck på ett korrekt sätt
• [SPARK-28404][SS] Åtgärda negativt timeout-värde i RateStreamContinuousPartitionReader
• [SPARK-28378][PYTHON] Ta bort användningen av cgi.escape
• [SPARK-28371][SQL] Gör Parquet "startswith"-filter säker för nullvärden
• [SPARK-28015][SQL] Kontrollera att funktionen stringToDate() förbrukar hela indata för formaten åååå och ååå-[m]m
• [SPARK-28302][CORE] Se till att generera en unik utdatafil för SparkLauncher i Windows
• [SPARK-28308][CORE] CalendarInterval under andra delen ska vara vadderad innan parsning
• [SPARK-28170][ML][PYTHON] Dokumentation om enhetliga vektorer och matriser
• [SPARK-28160][CORE] Åtgärda en bugg där återanropsfunktionen kan fastna när ett okontrollerat undantag missas
• [SPARK-27839][SQL] Ändra UTF8String.replace() så att det fungerar på UTF8-byte
• [SPARK-28157][CORE] Rensa SHS KVStore LogInfo för de svartlistade posterna
• [SPARK-28128][PYTHON][SQL] Pandas Grupperade UDF:er hoppar över tomma partitioner
• [SPARK-28012][SQL] Hive UDF stöder vikbart uttryck av struct-typ
• [SPARK-28164] Åtgärda användningsbeskrivning för start-slave.sh
• [SPARK-27100][SQL] Använd Array istället för Seq i FilePartition för att förhindra StackOverflowError
• [SPARK-28154][ML] GMM åtgärdar dubbel cachelagring

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 6.0.

Systemmiljö

• Operativsystem: Ubuntu 16.04.6 LTS
• Java: 1.8.0_232
• Scala: 2.11.12
• Python: 3.7.3
• R: R version 3.6.1 (2019-07-05)
• Delta lake: 0.3.0

Installerade Python-bibliotek

Installerade R-bibliotek

Installerade Java- och Scala-bibliotek (Scala 2.11-klusterversion)