Databricks Runtime 10.1 (EoS)

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 10.1 en Databricks Runtime 10.1 Photon, mogelijk gemaakt door Apache Spark 3.2.0. Databricks heeft deze versie uitgebracht in november 2021. Photon bevindt zich in openbare preview.

Nieuwe functies en verbeteringen

• Nieuwe Delta-tabelinstellingen voor het comprimeren van kleine bestanden
• Nieuwe metrische gegevens voor rijgroepen voor Parquet-queryscans
• Trigger.AvailableNow voor streamingquery's van Delta-bronnen
• Trigger.AvailableNow voor automatisch laden
• Delta-ondersteuning voor Hadoop-bestandssysteemconfiguraties die worden doorgegeven via DataFrame-opties
• Asynchrone statuscontrolepunten worden nu ondersteund in stateful streamingtaken (openbare preview)
• Sparklyr met referentiepassthrough
• Databricks Utilities-gegevens geven een overzicht van precisiebeheer (openbare preview)
• Azure Databricks-notebooks kunnen nu worden gebruikt met de IPython-kernel
• Nieuwe functies in Spark SQL

Nieuwe Delta-tabelinstellingen voor het comprimeren van kleine bestanden

De eigenschap Delta-tabel delta.autoOptimize.autoCompact accepteert nu de nieuwe waarden van auto en legacy naast de bestaande waarden van true en false. Wanneer deze instelling is ingesteld op auto (aanbevolen), gebruikt Automatisch comprimeren betere standaardwaarden, zoals het instellen van 32 MB als doelbestandsgrootte (hoewel het standaardgedrag in de toekomst kan worden gewijzigd). Als deze is ingesteld op legacy of true, gebruikt automatische compressie 128 MB als doelbestandsgrootte.

In plaats van deze eigenschap voor een afzonderlijke tabel in te stellen, kunt u de spark.databricks.delta.autoCompact.enabled-configuratie instellen op auto, legacyof true om automatische compressie in te schakelen voor alle Delta-tabellen. Deze configuratie heeft voorrang op de gerelateerde tabeleigenschap tijdens de huidige sessie.

De doelbestandsgrootte voor automatisch comprimeren kan worden beheerd met de spark.databricks.delta.autoCompact.maxFileSize configuratie.

Zie Automatische compressie voor Delta Lake in Azure Databricks voor meer informatie over automatische compressie.

Nieuwe metrische gegevens voor rijgroepen voor Parquet-queryscans

Query's met Parquet scannen nu metrische gegevens voor rijgroepen in de Spark-gebruikersinterface. Deze metrische gegevens voor rijgroepen zijn:

• totaal aantal parquet-rijgroepen
• aantal parquet-rijgroepen gelezen

Trigger.AvailableNow voor streamingquery's van Delta-bronnen

Deze wijziging ondersteunt een nieuw type trigger voor Delta-bronstreamingquery's in Scala: Trigger.AvailableNow. Het is alsof Trigger.Once, waarmee alle beschikbare gegevens worden verwerkt en de query wordt gestopt. Trigger.AvailableNow Biedt echter een betere schaalbaarheid, omdat gegevens in meerdere batches kunnen worden verwerkt in plaats van één. Deze wijziging introduceert geen nieuwe interface; hiermee wordt een bestaande Spark-API geïmplementeerd. Deze trigger ondersteunt ook alle opties voor snelheidsbeperking die al door Delta als bron worden ondersteund.

Voorbeeld:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Zie de dekking in Trigger.AvailableNowWhat is Auto Loader?

Trigger.AvailableNow voor automatisch laden

Trigger.AvailableNow is een nieuwe streamingtriggermodus die vergelijkbaar is met Trigger.Once. Trigger.Once verwerkt alle beschikbare gegevens en stopt de query. Trigger.AvailableNow heeft een betere schaalbaarheid, omdat gegevens in meerdere batches kunnen worden verwerkt in plaats van één. Auto Loader biedt nu ondersteuning Trigger.AvailableNow voor zowel directory-vermeldingen als bestandsmeldingsmodi voor Scala. Zie de dekking in Trigger.AvailableNowWhat is Auto Loader?

Delta-ondersteuning voor Hadoop-bestandssysteemconfiguraties die worden doorgegeven via DataFrame-opties

Net als bij Parquet ondersteunt Delta nu het lezen van Hadoop-bestandssysteemconfiguraties uit DataFrameReader en DataFrameWriter opties wanneer de tabel wordt gelezen of geschreven, met behulp van DataFrameReader.load(path) of DataFrameWriter.save(path). Zie Delta-opslagreferenties configureren.

Asynchrone statuscontrolepunten worden nu ondersteund in stateful streamingtaken (openbare preview)

Asynchrone statuscontrolepunten is een nieuwe functie die de end-to-end microbatchlatentie in stateful streamingtaken met grote statusupdates vermindert. Zie controlepunten voor Asynchrone status voor stateful query's.

Sparklyr met referentiepassthrough

U kunt nu de sparklyr-API's gebruiken om gegevens naar en van cloudopslag te lezen en te schrijven met behulp van referentiepassthrough. Deze functionaliteit is beperkt tot standaardclusters met toegang tot één gebruiker. Zie Toegang tot Azure Data Lake Storage met behulp van Microsoft Entra ID referentie passthrough (verouderd).

Databricks Utilities-gegevens geven een overzicht van precisiebeheer (openbare preview)

Een nieuwe precise parameter voor dbutils.data.summarize het bepalen van de precisie van samenvattingsresultaten. Wanneer precise is ingesteld op onwaar (de standaardinstelling), retourneert de samenvatting geschatte resultaten voor afzonderlijke aantallen, percentiel en frequente itemaantallen. Wanneer precise is ingesteld op waar, worden samenvattingen nu berekend met exact afzonderlijke aantallen en frequente itemaantallen, met nauwkeurigere percentielschattingen. Zie de opdracht summarize (dbutils.data.summarize).

Azure Databricks-notebooks kunnen nu worden gebruikt met de IPython-kernel

U kunt nu een Azure Databricks-cluster configureren om de IPython-kernel te gebruiken om Python-code uit te voeren. Met behulp van de IPython-kernel in Azure Databricks wordt ondersteuning toegevoegd voor weergave- en uitvoerhulpprogramma's van IPython. De IPython-kernel legt ook de stdout- en stderr-uitvoer vast van onderliggende processen die zijn gemaakt door een notebook, zodat deze uitvoer kan worden opgenomen in de opdrachtresultaten van het notebook.

Zie IPython-kernel voor meer informatie.

Nieuwe functies in Spark SQL

De volgende objecten en opdrachten zijn toegevoegd voor het werken met gegevens in Unity Catalog (preview):

• Externe locaties
• ALTER CATALOG
• ALTER CREDENTIAL
• ALTER LOCATION
• CREATE CATALOG
• LOCATIE MAKEN
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• LOCATIE BESCHRIJVEN
• DROP CATALOG
• DROP CREDENTIAL
• DROP LOCATION
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• LOCATIES WEERGEVEN
• USE CATALOG

De volgende opdrachten zijn toegevoegd voor Delta Sharing (preview), waarmee je alleen-lezengegevens kunt delen met ontvangers buiten je organisatie:

• Delen
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT DELEN
• REVOKE DELEN
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Bugfixes

• Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals No FileSystem for scheme of waardoor wijzigingen sparkContext.hadoopConfiguration niet van kracht kunnen worden in query's.

Bibliotheekupgrades

• Bijgewerkte Python-bibliotheken:
  • filelock van 3.0.12 tot 3.3.1
  • koala's van 1.8.1 tot 1.8.2
  • plotly from 5.1.0 to 5.3.0
• Bijgewerkte R-bibliotheken:
  • bslib van 0.3.0 tot 0.3.1
  • caret van 6,0-88 tot 6,0-90
  • cpp11 van 0.3.1 tot 0.4.0
  • data.table van 1.14.0 tot 1.14.2
  • desc van 1.3.0 tot 1.4.0
  • diffobj van 0.3.4 tot 0.3.5
  • digest van 0.6.27 tot 0.6.28
  • generics van 0.1.0 tot 0.1.1
  • hms van 1.1.0 tot 1.1.1
  • breisel van 1,34 tot 1,36
  • rooster van 0,20-44 tot 0,20-45
  • levenscyclus van 1.0.0 tot 1.0.1
  • lubridate van 1.7.10 tot 1.8.0
  • mgcv van 1,8-37 tot 1,8-38
  • mime van 0.11 tot 0.12
  • pkgload van 1.2.2 tot 1.2.3
  • voortgang van 0.8.0 tot 0.9.0
  • rcmdcheck van 1.3.3 tot 1.4.0
  • leesbewerking van 2.0.1 tot 2.0.2
  • recepten van 0.1.16 tot 0.1.17
  • afstandsbedieningen van 2.4.0 tot 2.4.1
  • rlang van 0.4.11 tot 0.4.12
  • rvest van 1.0.1 tot 1.0.2
  • glanzend van 1.6.0 tot 1.7.1
  • stringi van 1.7.4 tot 1.7.5
  • testthat van 3.0.4 tot 3.1.0
  • tidyr van 1.1.3 tot 1.1.4
  • tinytex van 0,33 tot 0,34
  • usethis from 2.0.1 to 2.1.2
  • xfun van 0,26 tot 0,27
• Bijgewerkte Java-bibliotheken:
  • com.zaxxer.HikariCP van 3.1.0 tot 4.0.3

Apache Spark

Databricks Runtime 10.1 bevat Apache Spark 3.2.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 10.0 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

• [SPARK-37037] [SQL] Bytematrix sorteren verbeteren door compareTo-functie van UTF8String en ByteArray te combineren
• [SPARK-37091] [R] SystemRequirements voor het opnemen van Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: SSL-ondersteuning (Secure-Socket-Layer) voor HMS
• [SPARK-37098] [SQL] Tabeleigenschappen wijzigen moet cache ongeldig maken
• [SPARK-36992] [SQL] Bytematrix sorteren verbeteren door de functie getPrefix van UTF8String en ByteArray te combineren
• [SPARK-37047] [SQL] Lpad- en rpad-functies toevoegen voor binaire tekenreeksen
• [SPARK-37076] [SQL] StructType.toString expliciet implementeren voor Scala 2.13
• [SPARK-37075] [SQL] UDAF-expressies verplaatsen van sql/katalysator naar sql/core
• [SPARK-37084] [SQL] Stel spark.sql.files.openCostInBytes in op bytesConf
• [SPARK-37088] [PYSPARK][SQL] Schrijfthread mag geen toegang krijgen tot invoer nadat de listener voor taakvoltooiing is geretourneerd
• [SPARK-37069] [SQL] Goede terugval wanneer Hive.getWithoutRegisterFns niet beschikbaar is
• [SPARK-37050] [PYTHON] Update Conda-installatie-instructies
• [SPARK-37067] [SQL] Gebruik ZoneId.of() om de tijdzonetekenreeks in DatetimeUtils te verwerken
• [SPARK-35925] [SQL] Ondersteuning voor DayTimeIntervalType in de functie width-bucket
• [SPARK-35926] [SQL] Ondersteuning voor YearMonthIntervalType toevoegen voor width_bucket
• [SPARK-35973] [SQL] Opdracht Toevoegen SHOW CATALOGS
• [SPARK-36922] [SQL] De functies SIGN/SIGNUM moeten ANSI-intervallen ondersteunen
• [SPARK-37078] [CORE] Ondersteuning voor oude sinkconstructors met drie parameters
• [SPARK-37061] [SQL] CustomMetrics herstellen bij het gebruik van binnenste klassen
• [SPARK-35918] [AVRO] De verwerking van niet-overeenkomende schema's voor lezen/schrijven samenvoegen en foutberichten verbeteren
• [SPARK-36871] [SQL]CreateViewStatement migreren naar v2-opdracht
• [SPARK-36898] [SQL] Maak de shuffle hash join-factor configureerbaar
• [SPARK-36921] [SQL] ANSI-intervallen ondersteunen op DIV
• [SPARK-36794] [SQL] Dubbele joinsleutels negeren bij het opbouwen van relaties voor semi-/anti-geschudde hash-join
• [SPARK-36867] [SQL] Foutbericht met GROUP BY alias oplossen
• [SPARK-36914] [SQL] DropIndex en listIndexes implementeren in JDBC (MySQL dialect)
• [SPARK-35531] [SQL] Geef hive Table rechtstreeks door aan HiveClient wanneer aanroep getPartitions wordt aangeroepen om onnodige conversie uit HiveTable te voorkomen -> CatalogTable -> HiveTable
• [SPARK-36718] [SQL] Alleen projecten samenvouwen als we geen dure expressies dupliceren
• [SPARK-37046] [SQL]: De weergave Wijzigen behoudt geen kolomcase
• [SPARK-36978] [SQL] De regel InferConstraints moet isNotNull-beperkingen maken voor het geneste veld dat wordt geopend in plaats van het geneste hoofdtype
• [SPARK-37052] [CORE] Spark mag alleen het uitgebreide argument doorgeven aan de hoofdklasse wanneer sql shell is
• [SPARK-37017] [SQL] Het bereik van gesynchroniseerd beperken om mogelijke impasses te voorkomen
• [SPARK-37032] [SQL] Koppeling met verbroken SQL-syntaxis in SQL-verwijzingspagina herstellen
• [SPARK-36905] [SQL] Oplossing voor het lezen van hive-weergaven zonder expliciete kolomnamen
• [SPARK-36678]SHOW TABLES migreren om standaard de V2-opdracht te gebruiken
• [SPARK-36943] [SQL] De leesbaarheid van de foutmelding voor een ontbrekende kolom verbeteren
• [SPARK-36980] [SQL] Ondersteuningsquery invoegen met CTE
• [SPARK-37001] [SQL] Schakel standaard twee toewijzingsniveaus uit voor uiteindelijke hashaggregatie
• [SPARK-36970] [SQL] Handmatig uitgeschakelde indeling B van date_format de functie om Java 17 compatibel te maken met Java 8
• [SPARK-36546] [SQL] Matrixondersteuning toevoegen aan samenvoeging op naam
• [SPARK-36979] [SQL] RewriteLateralSubquery-regel toevoegen aan niet-uitbecludableRules
• [SPARK-36949] [SQL] Verbied Hive-providertabellen met ANSI-intervallen
• [SPARK-36849] [SQL] UseStatement migreren naar v2-opdrachtframework
• [SPARK-36868] [SQL] CreateFunctionStatement migreren naar v2-opdrachtframework
• [SPARK-36841] [SQL] Ansi-syntaxis set catalog xxx toevoegen om de huidige catalogus te wijzigen
• [SPARK-36821] [SQL] Klasse ColumnarBatch uitbreidbaar maken - addendum
• [SPARK-36963] [SQL] Max_by/min_by toevoegen aan sql.functions
• [SPARK-36913] [SQL] CreateIndex en IndexExists implementeren in DS V2 JDBC (MySQL dialect)
• [SPARK-36848] [SQL] ShowCurrentNamespaceStatement migreren naar v2-opdrachtframework
• [SPARK-36526] [SQL] DSV2-indexondersteuning: add supportsIndex interface
• [SPARK-36960] [SQL] Pushdownfilters met ANSI-intervalwaarden in ORC
• [SPARK-36929] [SQL] Remove Unused Method EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Ansi-intervallen van/naar ORC-gegevensbronnen ondersteunen
• [SPARK-34980] [SQL] Ondersteuning voor coalesce partition via UNION in AQE
• [SPARK-36809] [SQL] Broadcast verwijderen voor InSubqueryExec die wordt gebruikt in DPP
• [SPARK-36813] [SQL][PYTHON] Een infrastructuur van as-of join voorstellen en ps.merge_asof implementeren
• [SPARK-36918] [SQL] Typen negeren bij het vergelijken van structs voor unionByName
• [SPARK-36891] [SQL] SpecificParquetRecordReaderBase herstructureren en meer dekking toevoegen aan gevectoriseerde Parquet-decodering
• [SPARK-36920] [SQL] ANSI-intervallen ondersteunen op ABS()
• [SPARK-36888] [SQL] testcases voor sha2-functie toevoegen
• [SPARK-36889] [SQL] Respect spark.sql.parquet.filterPushdown door v2 parquet scan builder
• [SPARK-36830] [SQL] Ansi-intervallen van/naar JSON-gegevensbronnen ondersteunen
• [SPARK-36870] [SQL] Introduceer INTERNAL_ERROR foutklasse
• [SPARK-36831] [SQL] Ondersteuning voor het lezen en schrijven van ANSI-intervallen van/naar CSV-gegevensbronnen.
• [SPARK-36550] [SQL] Doorgifteoorzaak wanneer UDF-weerspiegeling mislukt
• [SPARK-36866] [SQL] Pushdownfilters met ANSI-intervalwaarden voor Parquet
• nl-NL: [SPARK-33832] [SQL] Vereenvoudiging en verbetering van scheve join-code afdwingen
• [SPARK-36642] [SQL] df.withMetadata pyspark API toevoegen
• [SPARK-35765] [SQL] Afzonderlijke aggs zijn niet dubbelgevoelig
• [SPARK-36825] [SQL] Gegevensframes lezen/schrijven met ANSI-intervallen van/naar parquet-bestanden
• [SPARK-36829] [SQL] Null-controle herstructureren voor collectionOperators
• [SPARK-32712] [SQL] Ondersteuning voor het schrijven van hive-bucketed table (Hive-bestandsindelingen met Hive-hash)
• [SPARK-36797] [SQL] Union moet geneste kolommen oplossen als kolommen op het hoogste niveau
• [SPARK-36838] [SQL] Door InSet gegenereerde codeprestaties verbeteren
• [SPARK-36683] [SQL] Nieuwe ingebouwde SQL-functies toevoegen: SEC en CSC
• [SPARK-36721] [SQL] Booleaanse ekwaliteiten vereenvoudigen als één zijde letterlijk is
• [SPARK-36760] [SQL] Interface supportsPushDownV2Filters toevoegen
• [SPARK-36652] [SQL] AQE dynamic join selection mag niet van toepassing zijn op niet-equi join
• [SPARK-36745] [SQL] ExtractEquiJoinKeys moet de oorspronkelijke predicaten voor joinsleutels retourneren
• [SPARK-36107] [SQL] De eerste set van 20 queryuitvoeringsfouten herstructureren om foutklassen te gebruiken
• [SPARK-32709] [SQL] Ondersteuning voor het schrijven van hive-bucketed table (Parquet/ORC-indeling met Hive-hash)
• [SPARK-36735] [SQL] Overhead van de relationele cache aanpassen voor DPP
• [SPARK-33832] [SQL] Ondersteuning voor het optimaliseren van scheve joins, zelfs als dit extra shuffle introduceert
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec moet alle voorwaarden gebruiken in plaats van niet-equi-voorwaarde
• [SPARK-35221] [SQL] Voeg de controle van ondersteunde joinhints toe
• [SPARK-36814] [SQL] Klasse ColumnarBatch uitbreidbaar maken
• [SPARK-36663] [SQL] Ondersteuning voor kolomnamen met alleen nummers in ORC-gegevensbronnen
• [SPARK-36751] [SQL][PYTHON][R] Bit/octet_length API's toevoegen aan Scala, Python en R
• [SPARK-36733] [SQL] Een prestatieprobleem in SchemaPruning oplossen wanneer een struct veel velden bevat
• [SPARK-36724] [SQL] Ondersteunt timestamp_ntz als een type tijdkolom voor SessionWindow
• [SPARK-36556] [SQL] DSV2-filters toevoegen
• [SPARK-36687] [SQL][CORE] Naam van foutklassen wijzigen met _ERROR achtervoegsel
• [SPARK-35803] [SQL] Ondersteuning voor DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] df.withMetadata toevoegen: een syntaxis-suger voor het bijwerken van de metagegevens van een dataframe

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 10.1.

Systeemomgeving

• Besturingssysteem: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-10-26.

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)