Databricks Runtime 6.5 (EoS)

Databricks vydala tuto verzi v dubnu 2020.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 6.5, který využívá Apache Spark.

Nové funkce

Metriky operací pro všechny zápisy, aktualizace a odstranění na Delta table jsou nyní zobrazeny v historii table.

Nyní si můžete zobrazit metriky operací (například počet souborů a řádků, které byly změněny) pro všechny zápisy, aktualizace a odstraňování v table Delta v historii table. Generování těchto metrik je ve výchozím nastavení povolené. Historii můžete zobrazit spuštěním následujícího příkazu:

DESCRIBE HISTORY deltaTableName

Rychlost –limit dat zpracovaných v mikrodávkách streamování Delta Lake

Při zpracování dat z Delta Lake pomocí strukturovaného streamováníteď můžete set možnost maxBytesPerTrigger rychlostlimit množství dat zpracovávaných v každé mikrodávce. Tím se nastaví "soft max", což znamená, že dávkové procesy zpracovávají přibližně toto množství dat a mohou zpracovávat více než limit.

Pokud používáte Trigger.Once pro streamování, tato možnost se ignoruje. Kromě toho, pokud tuto možnost použijete ve spojení s maxFilesPerTrigger, mikrodávkový proces zpracovává data, dokud není dosaženo buď maxFilesPerTrigger, nebo maxBytesPerTriggerlimit.

Vylepšení

Konektor Snowflake byl aktualizován na verzi 2.5.9.

Aktualizovaný konektor podporuje ovladač Snowflake JDBC na verzi 3.12.0.

Java upgradovala na verzi 1.8.0_242

Tato verze zavádí nové kontroly certifikátů ukotvení důvěryhodnosti, aby se zajistilo, že důvěryhodné kotvy jsou certifikáty certifikační autority a obsahují správná rozšíření. Certifikáty ukotvení důvěryhodnosti musí obsahovat rozšíření Základní omezení s polem caset na true. Kromě toho, pokud zahrnují rozšíření s použitím klíče, bit keyCertSign musí být set.

Pokud používáte certifikáty ukotvení důvěryhodnosti podepsané svým držitelem, můžete použít následující výjimky zavedené novými kontrolami:

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Pokud chcete dál používat certifikáty ukotvení důvěryhodnosti podepsané svým držitelem, máte dvě možnosti, jak vyřešit výše uvedené výjimky:

• Set systémová vlastnost Javy, jdk.security.allowNonCaAnchor zavedla s Javou 1.9.0_242 pro truerestore předchozího chování. Pomocí spark.driver.extraJavaOptions a spark.executor.extraJavaOptions můžete tuto vlastnost systému set předat ovladači Sparku a exekutorům.

• Zahrňte rozšíření Základní omezení s polem ca z set do true do certifikátů důvěryhodných kotvy. Pokud certifikáty kořenů důvěryhodnosti obsahují rozšíření použití klíče, bit keyCertSign set.

  Pokud k generate párů veřejného a privátního klíče používáte Nástroj Java Keytool, set-ext BasicConstraints=ca:true při generování certifikátů ukotvení důvěryhodnosti. Pokud certifikáty kotvy důvěry obsahují rozšíření Použití klíče, je bit keyCertSign (-ext KeyUsage=...,keyCertSign) nastaven na set při generování certifikátů kotvy důvěry.

Upgradované knihovny jazyka R

Upgradovali jsme několik nainstalovaných knihoven R. Viz nainstalované knihovny jazyka R.

Zastaralé

• Balíček boto je zastaralý a bude odebrán v nadcházející hlavní verzi Databricks Runtime. Azure Databricks doporučuje místo toho použít boto3 .
• V nadcházející hlavní verzi Databricks Runtime budou odebrány následující balíčky R:
  • abind
  • bitops
  • car
  • carData
  • doMC
  • Gbm
  • h2o
  • menší
  • lme4
  • mapproj
  • mapy
  • maptools
  • Maticové modely
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • Rio
  • Sp
  • Řídký čas
  • statmod
  • zip

Azure Databricks doporučuje pomocí následujícího kódu nainstalovat a načíst balíčky R, které nejsou nainstalovány modulem Databricks Runtime:

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

Databricks Runtime 6.5 zahrnuje Apache Spark 2.4.5. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 6.4 (EoS) a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-27099] [SQL] Přidání xxhash64 pro hashování libovolných columns na Long
• [SPARK-26151] [SQL] Vrácení částečných výsledků pro chybné záznamy CSV
• [SPARK-30927] [SS] StreamingQueryManager by se měl vyhnout zachování odkazu na ukončený StreamingQuery
• [SPARK-22590] Kopírování sparkContext.localproperties do podřízeného vlákna v BroadcastExchangeExec.executionContext
• [SPARK-30671] emptyDataFrame by měl používat LocalRelation
• [SPARK-30556] [SQL] Reset stav se změnil v rámci SQLExecution s ThreadLocalCaptured
• [SPARK-30763] [SQL] Oprava java.lang.IndexOutOfBoundsException Žádná skupina 1 pro regexp_extract
• [SPARK-30806] [SQL] Vyhodnocení jednou na skupinu v unboundedWindowFunctionFrame
• [SPARK-30731]Update zastaralá možnost Mkdocs
• [SPARK-30857] [SQL] Oprava zkrácení časových razítek před epochou na hodiny a dny
• [SPARK-30798] Scope Session.active v QueryExecution
• [SPARK-30793] [SQL] Oprava zkrácení časových razítek před epochou na minuty a sekundy
• [SPARK-30826] [SQL] Respektovat referenční případ v StringStartsWith posunu dolů na parquet
• [SPARK-30797] [SQL] Set tradiční oprávnění uživatele/skupiny/ostatní k záznamům ACL při nastavování seznamů ACL při operaci zkrácení table
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop by měl zpracovávat duplicitní columns
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill by měl zpracovávat duplicitní hodnoty columns
• [SPARK-30310] [JÁDRO] Řešení chybějícího případu shody v obslužné rutině SparkUncaughtExceptionHandler a přidání testů
• [SPARK-30512] Přidání vyhrazené skupiny smyček událostí šéfa

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 6.5.

Prostředí systému

• Operační systém: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: R verze 3.6.3 (2020-02-29)
• Delta Lake: 0.5.0

V této části:

• Nainstalované knihovny Pythonu
• Nainstalované knihovny jazyka R
• Nainstalované knihovny Java a Scala (verze clusteru Scala 2.11)

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2020-02-26.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.11)