Databricks Runtime 4.1 (EoS)

Databricks heeft deze versie uitgebracht in mei 2018.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 4.1, mogelijk gemaakt door Apache Spark.

Delta Lake

Databricks Runtime versie 4.1 voegt belangrijke kwaliteitsverbeteringen en functionaliteit toe aan Delta Lake. Databricks raadt ten zeerste aan dat alle Delta Lake-klanten upgraden naar de nieuwe runtime. Deze release blijft in Private Preview, maar het vertegenwoordigt een kandidaatrelease in afwachting van de aanstaande algemene beschikbaarheidsrelease (GA).

Delta Lake is nu ook beschikbaar in Private Preview voor Azure Databricks-gebruikers. Neem contact op met uw accountmanager of meld u aan op https://databricks.com/product/databricks-delta.

Wijzigingen die fouten veroorzaken

• Databricks Runtime 4.1 bevat wijzigingen in het transactieprotocol om nieuwe functies in te schakelen, zoals validatie. Tabellen die zijn gemaakt met Databricks Runtime 4.1 gebruiken automatisch de nieuwe versie en kunnen niet worden geschreven naar oudere versies van Databricks Runtime. U moet bestaande tabellen upgraden om te kunnen profiteren van deze verbeteringen. Als u een bestaande tabel wilt bijwerken, moet u eerst alle taken bijwerken die naar de tabel worden geschreven. Voer vervolgens het volgende uit:

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  Zie Hoe beheert Azure Databricks de compatibiliteit van Delta Lake-functies? voor meer informatie.

• Schrijfbewerkingen worden nu gevalideerd op basis van het huidige schema van de tabel in plaats van automatisch kolommen toe te voegen die ontbreken in de doeltabel. Als u het vorige gedrag wilt inschakelen, stelt u de optie mergeSchema in op true.

• Als u eerdere versies van Databricks Delta uitvoert, moet u alle taken upgraden voordat u Databricks Runtime 4.1 gebruikt. Als u een van deze fouten ziet, voert u een upgrade uit naar Databricks Runtime 4.1:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• Tabellen kunnen geen kolommen meer hebben die alleen per geval verschillen.

• Deltaspecifieke tabelconfiguraties moeten nu worden voorafgegaan door delta.

Nieuwe functies

• Schemabeheer - Databricks Delta valideert nu toevoeg- en overschrijfbewerkingen aan een bestaande tabel om ervoor te zorgen dat het schema dat wordt geschreven overeenkomt met het schema.

  • Databricks Delta blijft automatische schemaontwikkeling ondersteunen.
  • Databricks Delta ondersteunt nu de volgende DDL om het schema expliciet te wijzigen:
    • ALTER TABLE ADD COLUMN nieuwe kolommen toevoegen aan een tabel
    • ALTER TABLE CHANGE COLUMNS om de volgorde van kolommen te wijzigen
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Zie Schema afdwingenvoor meer informatie.

• Uitgebreide DDL- en tabelondersteuning

  • Volledige ondersteuning voor tabel-DDL en saveAsTable(). save() en saveAsTable() nu identieke semantiek hebben.
  • Alle DDL- en DML-opdrachten ondersteunen zowel tabelnaam als delta.`<path-to-table>`.
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Gedetailleerde tabelinformatie- U kunt de huidige lezer- en schrijfversies van een tabel zien door DESCRIBE DETAILuit te voeren. Zie Hoe beheert Azure Databricks de compatibiliteit van Delta Lake-functies?
  • Tabeldetails: informatie over herkomst is nu beschikbaar voor elke schrijfbewerking naar een tabel. De zijbalk Gegevens bevat ook gedetailleerde tabelinformatie en geschiedenis voor Databricks Delta-tabellen. Zie Delta Lake-tabeldetails bekijken met detailsbeschrijven.
  • Streamingtabellen - Streaming DataFrames kunnen worden gemaakt met behulp van spark.readStream.format("delta").table("<table-name>").
  • Tabellen met alleen toevoegen: Databricks Delta biedt nu ondersteuning voor basisgegevensbeheer. U kunt verwijderingen en wijzigingen in een tabel blokkeren door de eigenschap tabel in te stellendelta.appendOnly=true.
  • MERGE INTO source : voegt uitgebreidere ondersteuning toe aan de bronqueryspecificatie van MERGE. U kunt bijvoorbeeld en LIMITORDER BY in de bron opgevenINLINE TABLE.
  • Volledige ondersteuning voor tabel-ACL's.

Prestatieverbeteringen

• Minder overhead voor het verzamelen van statistieken: de efficiëntie van het verzamelen van statistieken is verbeterd en statistieken worden nu alleen verzameld voor een configureerbaar aantal kolommen, standaard ingesteld op 32. De schrijfprestaties van Databricks Delta zijn met maximaal 2x verbeterd vanwege de vermindering van de overhead voor het verzamelen van statistieken. Als u het aantal kolommen wilt configureren, stelt u de eigenschap tabel indelta.dataSkippingNumIndexedCols=<number-of-columns>.
• Ondersteuning voor limiet push down: statistieken worden gebruikt om het aantal gescande bestanden te beperken voor query's met LIMIT en predicaten over partitiekolommen. Dit is van toepassing op query's in notebooks vanwege de impliciete limit=1000 werking voor alle notebookopdrachten.
• Pushdown filteren in de streamingbron: streamingquery's gebruiken nu partitionering bij het starten van een nieuwe stream om irrelevante gegevens over te slaan.
• Verbeterde parallellisme voor OPTIMIZE - OPTIMIZE nu wordt uitgevoerd als één Spark-taak en gebruikt alle parallelle uitvoeringen die beschikbaar zijn op het cluster (voorheen beperkt tot 100 gecomprimeerde bestanden tegelijk).
• Gegevens overslaan in DML - UPDATE, DELETEen MERGE gebruiken nu statistieken bij het zoeken naar bestanden die moeten worden herschreven.
• Verminderde bewaarperiode van controlepunten: controlepunten worden nu twee dagen bewaard (de geschiedenis blijft 30 behouden) om de opslagkosten voor het transactielogboek te verlagen.

API-gedrag

• Het gedrag van insertInto(<table-name>) Databricks Delta is hetzelfde als andere gegevensbronnen.
  • Als er geen modus is opgegeven of mode is ErrorIfExists, Ignoreof Append, worden de gegevens in het DataFrame toegevoegd aan de Databricks Delta-tabel.
  • Als mode is Overwrite, verwijdert u alle gegevens in de bestaande tabel en voegt u de gegevens uit het DataFrame in de Databricks Delta-tabel in.
• Als het in de cache is, moet de doeltabel van MERGE handmatig uit de cache worden verwijderd.

Bruikbaarheidsverbeteringen

• Validaties van workloadmigratie: veelvoorkomende fouten bij het migreren van workloads naar Databricks Delta veroorzaken nu een uitzondering in plaats van een fout:
  • Met format("parquet") een tabel lezen of schrijven.
  • Rechtstreeks lezen of schrijven naar een partitie (dat wil zeggen /path/to/delta/part=1).
  • Submappen van een tabel leegmaken.
  • INSERT OVERWRITE DIRECTORY Parquet op een tabel gebruiken.
• Niet-hoofdlettergevoelige configuratie: opties voor de eigenschappen van DataFrame Reader/Writer en tabel zijn nu niet hoofdlettergevoelig (inclusief zowel het leespad als het schrijfpad).
• Kolomnamen: tabelkolomnamen kunnen nu puntjes bevatten.

Bekende problemen

• De invoegingen van instructies met meerdere invoegingen bevinden zich in verschillende werkeenheden, in plaats van dezelfde transactie.

Bugfixes

• Er is een oneindige lus opgelost bij het starten van een nieuwe stream in een tabel die snel wordt bijgewerkt.

Afgeschafte onderdelen

Structured Streaming verwerkt geen invoer die geen toevoeg is en genereert een uitzondering als er wijzigingen optreden in de tabel die als bron wordt gebruikt. Eerder kon u dit gedrag overschrijven met behulp van de ignoreFileDeletion vlag, maar deze is nu afgeschaft. Gebruik in plaats daarvan ignoreDeletes of ignoreChanges. Zie Delta-tabel als een bron.

Andere wijzigingen en verbeteringen

• Query Watchdog is ingeschakeld voor alle clusters die zijn gemaakt met de gebruikersinterface.
• Verbeterde prestaties aan de stuurprogrammazijde voor de DBIO-cache
• Verbeterde prestaties voor Parquet-decodering via een nieuwe systeemeigen Parquet-decoder
• Verbeterde prestaties voor algemene subexpressie-verwijdering
• Verbeterde prestaties van gegevensoverslaan voor koppelingen van grote tabellen met kleine tabellen (feiten-dimensietabelkoppelingen)
• display() nu kolommen met afbeeldingsgegevenstypen weergeeft als uitgebreide HTML.
• Verbeteringen aan MLflow-modellen loggen, laden en registreren
  • Dbml-local bijgewerkt naar de nieuwste versie 0.4.1
  • Fout opgelost met modellen die zijn geëxporteerd met threshold parameter opgegeven
  • Ondersteuning toegevoegd voor exporteren OneVsRestModel, GBTClassificationModel
• Sommige geïnstalleerde Python-bibliotheken zijn bijgewerkt:
  • pip: van 9.0.1 tot 10.0.0b2
  • setuptools: van 38.5.1 tot 39.0.1
  • tornado: 4.5.3 tot 5.0.1
  • wiel: 0.30.0 tot 0.31.0
• Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
• Azure Data Lake Store SDK bijgewerkt van 2.0.11 naar 2.2.8.
• CUDA bijgewerkt naar 9.0 van 8.0 en CUDNN naar 7.0 van 6.0 voor GPU-clusters.

Apache Spark

Databricks Runtime 4.1 bevat Apache Spark 2.3.0. Deze release bevat alle fixes en verbeteringen die zijn opgenomen in Databricks Runtime 4.0 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

• [SPARK-24007][SQL] EqualNullSafe voor FloatType en DoubleType kan een verkeerd resultaat opleveren door codegeneratie.
• [SPARK-23942][PYTHON][SQL] Verzamelt in PySpark als actie voor een queryuitvoerer
• [SPARK-23815][CORE] Spark Writer dynamische partitie-overschrijvingsmodus kan mislukken bij het schrijven van uitvoer op meerdere niveaus partities
• [SPARK-23748][SS] Probleem met continue SS-processen biedt geen ondersteuning voor subqueryAlias-probleem
• [SPARK-23963][SQL] Correct afhandelen van een groot aantal kolommen in de query op een op tekst gebaseerde Hive-tabel
• [SPARK-23867][SCHEDULER] gebruik droppedCount in logWarning
• [SPARK-23816][CORE] Gedoode taken moeten FetchFailures negeren.
• [SPARK-23809][SQL] Active SparkSession moet worden ingesteld door getOrCreate
• [SPARK-23966][SS] Alle logica voor het schrijven van controlepuntenbestanden herstructureren in een algemene Interface van CheckpointFileManager
• [SPARK-21351][SQL] Nullability bijwerken op basis van de uitvoer van kinderen
• [SPARK-23847][PYTHON][SQL] Asc_nulls_first, asc_nulls_last toevoegen aan PySpark
• [SPARK-23822][SQL] Foutmelding verbeteren voor niet-overeenkomende Parquet-schema's
• [SPARK-23823][SQL] Oorsprong behouden in transformExpression
• [SPARK-23838][WEBUI] Het uitvoeren van een SQL-query wordt weergegeven als 'voltooid' op het tabblad SQL
• [SPARK-23802][SQL] PropagateEmptyRelation kan het queryplan ongewijzigd laten
• [SPARK-23727][SQL] Ondersteuning voor het pushen van filters voor DateType in Parquet
• [SPARK-23574][SQL] Rapport SinglePartition in DataSourceV2ScanExec wanneer er precies één gegevenslezerfactory is.
• [SPARK-23533][SS] Ondersteuning toevoegen voor het wijzigen van de startOffset van ContinuousDataReader
• [SPARK-23491][SS] Expliciete taakannulering verwijderen uit het opnieuw configureren van ContinuousExecution
• [SPARK-23040][CORE] Retourneert interruptible iterator voor shuffle reader
• [SPARK-23827][SS] StreamingJoinExec moet ervoor zorgen dat invoergegevens worden gepartitioneerd in een specifiek aantal partities
• [SPARK-23639][SQL] Token verkrijgen voor init-metastore-client in SparkSQL CLI
• [SPARK-23806]Broadcast.unpersist kan een fatale uitzondering veroorzaken bij gebruik...
• [SPARK-23599][SQL] RandomUUIDGenerator gebruiken in Uuid-expressie
• [SPARK-23599][SQL] Een UUID-generator toevoegen uit pseudo-willekeurige getallen
• [SPARK-23759][UI] Kan de Spark-gebruikersinterface niet binden aan specifieke hostnaam/IP
• [SPARK-23769][CORE] Opmerkingen verwijderen die scalastyle-controle onnodig uitschakelen
• [SPARK-23614][SQL] Onjuiste exchange voor hergebruik corrigeren wanneer caching wordt gebruikt
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs moet de CSE-status correct opslaan/herstellen
• [SPARK-23729][CORE] URI-fragment respecteren bij het omzetten van globs
• [SPARK-23550][CORE] Hulpprogramma's opschonen
• [SPARK-23288][SS] Uitvoermetrieken oplossen met Parquet Sink
• [SPARK-23264][SQL] Scala herstellen. MatchError in literals.sql.out
• [SPARK-23649][SQL] Tekens overslaan die niet zijn toegestaan in UTF-8
• [SPARK-23691][PYTHON] Gebruik waar mogelijk sql_conf hulpprogramma in PySpark-tests
• [SPARK-23644][CORE][UI] Absoluut pad gebruiken voor REST-aanroep in SHS
• [SPARK-23706][PYTHON] spark.conf.get(value, default=None) moet None produceren in PySpark
• [SPARK-23623][SS] Vermijd gelijktijdig gebruik van in cache opgeslagen consumenten in CachedKafkaConsumer
• [SPARK-23670][SQL] Geheugenlek in SparkPlanGraphWrapper oplossen
• [SPARK-23608][CORE][WEBUI] Synchronisatie toevoegen in SHS tussen attachSparkUI en detachSparkUI-functies om gelijktijdig wijzigingsprobleem met Jetty-handlers te voorkomen
• [SPARK-23671][CORE] Oplossingsvoorwaarde om de SHS-threadgroep in te schakelen.
• [SPARK-23658][LAUNCHER] InProcessAppHandle gebruikt de verkeerde klasse in getLogger
• [SPARK-23642][DOCS] AccumulatorV2-subklasse isZero scaladoc fix
• [SPARK-22915][MLLIB] Streamingtests voor spark.ml.feature, van N tot Z
• [SPARK-23598][SQL] Methoden in BufferedRowIterator openbaar maken om runtimefout voor een grote query te voorkomen
• [SPARK-23546][SQL] Staatloze methoden/waarden herstructureren in CodegenContext
• [SPARK-23523][SQL] Corrigeer het onjuiste resultaat dat wordt veroorzaakt door de regel OptimizeMetadataOnlyQuery
• [SPARK-23462][SQL] verbeteren ontbrekend veldfoutbericht in StructType
• [SPARK-23624][SQL] Document van methode pushFilters herzien in Datasource V2
• [SPARK-23173][SQL] Voorkom dat beschadigde Parquet-bestanden worden gemaakt bij het laden van gegevens uit JSON
• [SPARK-23436][SQL] Partitie alleen als datum afleiden als deze kan worden omgezet in datum
• [SPARK-23406][SS] Self-joins voor stream-stream inschakelen
• [SPARK-23490][SQL] Controleer storage.locationUri met bestaande tabel in CreateTable
• [SPARK-23524]Grote lokale willekeurige blokken mogen niet worden gecontroleerd op beschadiging.
• [SPARK-23525][SQL] Ondersteuning voor ALTER TABLE CHANGE COLUMN COMMENT voor externe Hive-tabel
• [SPARK-23434][SQL] Spark mag metagegevensmap niet waarschuwen voor een HDFS-bestandspad
• [SPARK-23457][SQL] Listeners voor taakvoltooiing eerst registreren in ParquetFileFormat
• [SPARK-23329][SQL] Documentatie van trigonometrische functies herstellen
• [SPARK-23569][PYTHON] Toestaan pandas_udf te werken met type-aantekeningen in Python3-functies
• [SPARK-23570][SQL] Spark 2.3.0 toevoegen in HiveExternalCatalogVersionsSuite
• [SPARK-23517][PYTHON] Maak _pyspark.util. exception_message de tracering van Java naast Py4JJavaError produceren
• [SPARK-23508][CORE] BlockmanagerId herstellen in geval blockManagerIdCache oorzaakoom
• [SPARK-23448][SQL] Gedrag van JSON- en CSV-parser in document verduidelijken
• [SPARK-23365][CORE] Pas num executors niet aan bij het doden van niet-actieve uitvoerders.
• [SPARK-23438][DSTREAMS] DStreams-gegevensverlies met WAL oplossen wanneer het stuurprogramma vastloopt
• [SPARK-23475][UI] Ook overgeslagen fasen weergeven
• [SPARK-23518][SQL] Vermijd metastore-toegang wanneer de gebruikers alleen gegevensframes willen lezen en schrijven
• [SPARK-23406][SS] Self-joins voor stream-stream inschakelen
• [SPARK-23541][SS] Toestaan dat de Kafka-bron gegevens kan lezen met een grotere parallelle uitvoering dan het aantal artikelpartities
• [SPARK-23097][SQL][SS] Tekstsocketbron migreren naar V2
• [SPARK-23362][SS] Kafka Microbatch-bron migreren naar v2
• [SPARK-23445]ColumnStat-herstructurering
• [SPARK-23092][SQL] MemoryStream migreren naar DataSourceV2-API's
• [SPARK-23447][SQL] Codegen-sjabloon opschonen voor Letterlijk
• [SPARK-23366]Dynamisch leespad verbeteren in ReadAheadInputStream
• [SPARK-22624][PYSPARK] Bereikpartitionering in willekeurige volgorde beschikbaar maken

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 4.1.

Systeemomgeving

• Besturingssysteem: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
• R: R versie 3.4.4 (2018-03-15)
• GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
  • Tesla bestuurder 375.66
  • CUDA 9.0
  • cuDNN 7.0

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)