Databricks Runtime 4.3 (EoS)

Databricks heeft deze versie uitgebracht in augustus 2018.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 4.3, mogelijk gemaakt door Apache Spark.

Nieuwe functies

• Delta Lake
  • TRUNCATE TABLE opdracht: Alle rijen uit een tabel verwijderen. In tegenstelling tot de tegenhanger van Spark-tabellen bieden Delta-tabellen geen ondersteuning voor het verwijderen van specifieke partities.
  • ALTER TABLE REPLACE COLUMNS opdracht: Kolommen in een Delta-tabel vervangen. Het ondersteunt het wijzigen van de opmerking van een kolom en het opnieuw rangschikken van meerdere kolommen.
  • FSCK REPAIR TABLE opdracht: Verwijder de bestandsvermeldingen uit het transactielogboek van een Delta-tabel die niet meer in het onderliggende bestandssysteem kan worden gevonden. Dit kan gebeuren wanneer deze bestanden handmatig zijn verwijderd.
  • Ondersteuning voor query's op verouderde Delta-tabellen om de interactieve query-ervaring te verbeteren: query's op Delta-tabellen kunnen nu worden uitgevoerd op een verouderde versie van de tabel wanneer bijgewerkte resultaten niet nodig zijn. Deze functie vermindert de latentie van query's, met name wanneer onderliggende Delta-tabellen continu worden bijgewerkt via stromen.
• Gestructureerd streamen
  • Schaalbare ondersteuning voor het schrijven van streaming voor Azure Synapse Analytics Connector.
  • Ondersteuning voor foreachBatch() in Python (al beschikbaar in Scala). Zie de documentatie voor foreach en foreachBatch voor meer informatie.
  • Ondersteuning voor het kiezen van het min- of maximumwatermerk wanneer er meerdere invoerstromen in een query zijn. Voorheen werd altijd de minimale tijdstempel gebruikt. Zie de beleid voor meerdere watermerken voor meer informatie.
  • Ondersteuning voor de LIMIT operator voor streams in Append en Complete uitvoermodi. Als u OOM-fouten in het stuurprogramma wilt minimaliseren, LIMIT wordt deze automatisch toegepast wanneer u ongebonden streams gebruikt display() .

Verbeteringen

• Delta Lake

  • Privévoorbeeld van nieuwe schaalbare implementatie van MERGE INTO opdracht waarvoor de invoeglimiet van 10000 rijen niet is bereikt. Neem contact op met de ondersteuning als u dit wilt proberen.
  • Betere prestaties en schaalbaarheid van de OPTIMIZE opdracht, met name op grotere clusters.
  • De opdracht OPTIMIZE wordt nu stapsgewijs doorgevoerd in de tabel, wat betekent dat als de opdracht mislukt, de volledige gegevensset niet opnieuw hoeft te worden verwerkt.
  • Verminder het aantal RPC's van het bestandssysteem dat nodig is om nieuwe gegevens te detecteren bij het gebruik van Delta Lake als streamingbron.
  • Er is ondersteuning toegevoegd voor df.writeStream.table(table-name) in Python om een Delta-tabel te maken vanuit een stream.

• Verbeterde prestaties voor query's met meerdere joins, aggregaties of vensters.

• Verbeterde efficiëntie voor het verwijderen op partitieniveau in query's met broadcast-hash-joins.

• Verbeteringen in het genereren van hele fasecode om dubbele expressies te detecteren, de hoeveelheid gegenereerde code te verminderen en de prestaties voor bepaalde expressietypen te verbeteren.

• Clusters met hoge gelijktijdigheid bieden nu ondersteuning voor uitvoering %fs in notebooks.

• Py4J bijgewerkt die door PySpark wordt gebruikt naar 0.10.7.

• Verbeterde prestaties van schijfcaching op exemplaren van de Azure Ls-serie. De cache is nu standaard ingeschakeld op deze exemplaren, waardoor workloads die parquet-bestanden herhaaldelijk lezen, worden versneld.

Afgeschafte functies

• Gegevens die buiten Databricks Delta worden overgeslagen, worden afgeschaft. Een verbeterde versie van het overslaan van gegevens blijft beschikbaar als onderdeel van Delta Lake. We raden u aan over te schakelen naar het gebruik van Delta Lake om te blijven profiteren van deze functie. Zie Databricks Delta Data Skipping voor meer informatie.

Bugfixes

• Er is een fout in de MERGE INTO-instructie voor predicaatpushdown in Delta opgelost, wanneer de ON-voorwaarde predicaten had die alleen naar de doeltabel verwijzen.
• Er is een fout opgelost in mapGroupsWithState en flatMapGroupsWithState dat verhinderde time-outs voor het instellen van de status wanneer de status is verwijderd (SPARK-22187).
• Er is een probleem opgelost waarbij het voorkomen van watermerken correct Trigger.Once werkt (SPARK-24699).
• Met de opdracht bijwerken worden nu de kolommen in de SET-voorwaarde gevalideerd om ervoor te zorgen dat alle kolommen daadwerkelijk bestaan en dat geen kolom meer dan één keer is ingesteld.
• Er is een mogelijke racevoorwaarde opgelost die impasses kon veroorzaken voor het doorvoeren van mappen.

• Er is een fout opgelost waardoor een afgeschafte versie van de DBFS-client werd gebruikt bij het vernieuwen van koppelingen.

Bekende problemen

• Delta Lake-configuratieopties voor een tabel worden alleen van kracht in het eerste notebook waarmee de tabel wordt geladen.

Apache Spark

Databricks Runtime 4.3 bevat Apache Spark 2.3.1. Deze release bevat alle fixes en verbeteringen die zijn opgenomen in Databricks Runtime 4.2 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

• [SPARK-24934][SQL] Sta expliciet ondersteunde typen toe in boven-/ondergrenzen voor het verwijderen van partities in het geheugen
  • Wanneer complexe gegevenstypen worden gebruikt in queryfilters voor gegevens in de cache, retourneert Spark altijd een lege resultatenset. Bij het snoeien op basis van in-memory statistieken worden onjuiste resultaten gegenereerd, omdat null is ingesteld voor boven- en ondergrenzen bij complexe typen. De oplossing is het niet gebruiken van op statistieken gebaseerde op statistieken gebaseerde pruning voor complexe typen.
• [SPARK-24957][SQL] Het gemiddelde met decimaal gevolgd door aggregatie retourneert een onjuist resultaat
  • De onjuiste resultaten van GEMIDDELDE kunnen worden geretourneerd. De CAST die is toegevoegd in de operator Gemiddelde, wordt overgeslagen als het resultaat van Divide hetzelfde type is als waarnaar deze wordt gecast.
• [SPARK-24867][SQL] AnalysisBarrier toevoegen aan DataFrameWriter
  • SQL-cache wordt niet gebruikt bij het gebruik van DataFrameWriter voor het schrijven van een DataFrame met UDF. Dit is een regressie die wordt veroorzaakt door de wijzigingen die we in AnalysisBarrier hebben aangebracht, omdat niet alle Analyzer-regels idempotent zijn.
• [SPARK-24790][SQL] Complexe statistische expressies in Pivot toestaan
  • Versoepeling van de controle om complexe statistische expressies toe te staan, zoals ceil(sum(col1)) of sum(col1) + 1, wat ongeveer elke statistische expressie betekent die in een aggregaatplan kan worden weergegeven, met uitzondering van pandas UDF.
• [SPARK-24870][SQL] Cache werkt normaal niet als er hoofdletters in SQL zijn
  • Lost een probleem met de canonicalisatie van een plan op.
• [SPARK-24852]Laat spark.ml training gebruikmaken van bijgewerkte Instrumentation-API's .
• [SPARK-24891][SQL] HandleNullInputsForUDF-regel herstellen
  • Maak HandleNullInputsForUDF-regel idempotent om te voorkomen dat plannen niet overeenkomen in cachebeheer wanneer een plan meerdere keren wordt geanalyseerd.
• [SPARK-24878][SQL] Omgekeerde functie herstellen voor matrixtype van primitief type dat null bevat.
• [SPARK-24871][SQL] Herstructureer Concat en MapConcat om te voorkomen dat er voor elke rij een samenvoegobject wordt gemaakt.
• [SPARK-24802][SQL] Een nieuwe configuratie toevoegen voor uitsluiting van optimalisatieregels
  • Biedt een configuratie voor gebruikers om bepaalde optimalisatieregels uit te sluiten.
• [SPARK-24879][SQL] NPE oplossen in het pushdown-filter voor Hive-partitiepruning
  • Wanneer het partitiepredicaat iets is als col IN (1, null), wordt er een NPE gegenereerd. Deze patch lost deze op.
• [SPARK-23731][SQL] FileSourceScanExec canonicalizable maken nadat ze zijn geserialiseerd (gedeserialiseerd)
• [SPARK-24755][CORE] Uitvoerderverlies kan ertoe leiden dat de taak niet opnieuw wordt verzonden
  • Lost een fout op die spark mogelijk niet opnieuw kan verzenden door uitvoerdersverlies. Deze fout is geïntroduceerd in Spark 2.3.
• [SPARK-24677][CORE] Vermijd NoSuchElementException van MedianHeap
  • Lost een speculatieve taakgerelateerde fout op bij het verzamelen van metrische gegevens over de duur van taken.
• [SPARK-24868][PYTHON] een reeksfunctie toevoegen in Python
• [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Type coercions en nullabiliteiten corrigeren.
• [SPARK-24699][SS] Watermerken laten werken met Trigger.Once door een bijgewerkt watermerk op te slaan in het commitlog
• [SPARK-24537][R] Voeg array_remove / array_zip / map_from_arrays / array_distinct
• [SPARK-22187][SS] Onveiligere rij-indeling bijwerken voor de opgeslagen status in flatMapGroupsWithState om time-outs met verwijderde status toe te staan (4.x)
• [SPARK-24681][SQL] Geneste kolomnamen verifiëren in Hive-metastore
  • Zorg ervoor dat geneste kolomnamen geen ',', ':' en ';' bevatten in de Hive-metastore
• [SPARK-23486]de functienaam uit de externe catalogus opslaan voor lookupFunctions
  • Functiezoekacties versnellen.
• [SPARK-24781][SQL] Het gebruik van een verwijzing uit de gegevensset in Filter/Sort werkt mogelijk niet
• [SPARK-24208][SQL] Kenmerkontdubbeling voor FlatMapGroupsInPandas herstellen
  • Oplossen van fout bij self-join in een gegevensset die een FlatMapGroupsInPandas bevat door dubbele kenmerken.
• [SPARK-24530][PYTHON] Een besturingselement toevoegen om python-versie af te dwingen in Sphinx via omgevingsvariabele SPHINXPYTHON
• [SPARK-24250]ondersteuning voor toegang tot SQLConf binnen taken
  • Sla alle SQL-configuraties op in taakeigenschappen wanneer een SQL-uitvoering wordt geactiveerd. Aan de uitvoerzijde bouwen we de SQLConf opnieuw op vanuit taakeigenschappen.
• [SPARK-23936][SQL] Map_concat implementeren
• [SPARK-23914][SQL] Functie array_union toevoegen
• [SPARK-24732][SQL] Typ coercion tussen MapTypes.
  • Hiermee wordt ondersteuning toegevoegd voor type coercion tussen MapTypes, waarbij zowel de sleuteltypen als de waardetypen compatibel zijn. Typen MapType(IntegerType, FloatType) en MapType(LongType, DoubleType) kunnen bijvoorbeeld worden afgetrokken van het type MapType(LongType, DoubleType)
• [SPARK-24662][SQL][SS] Ondersteuning van limiet in gestructureerde streaming
• [SPARK-24730][SS] Beleid toevoegen om maximaal als globaal watermerk te kiezen wanneer streamingquery meerdere watermerken heeft (branch-4.x)
• [SPARK-24596][SQL] Ongeldige cache voor niet-trapsgewijze cache
  • Wanneer u de cache ongedaan maakt of de tijdelijke weergave neer zet, is het niet nodig om alle plannen die afhankelijk zijn van de weergave trapsgewijs op te heffen, omdat de onderliggende gegevens niet worden gewijzigd.
• [SPARK-23927][SQL] Expressie 'sequence' toevoegen
• [SPARK-24636][SQL] Type coercion van matrices voor array_join functie
• [SPARK-22384][SQL] Partitiesnoei verfijnen wanneer het kenmerk is verpakt in Cast
  • Verbeter de partitie-inkorting, kan partitievoorwaarden naar beneden doordrukken met veilige typeconversie (van int naar long, niet van long naar int).
• [SPARK-24385][SQL] Los ambiguïteit met self-join-voorwaarde voor EqualNullSafe op
  • Hiermee wordt EqualNullSafe geïmplementeerd om dubbelzinnigheid in zelfjoin-voorwaarden op te lossen.
• [SPARK-24696][SQL] ColumnPruning-regel kan geen extra Project verwijderen
  • Lost een fout op in de ColumnPruning-regel die een oneindige lusfout heeft veroorzaakt in de Optimizer.
• [SPARK-24603][SQL] Fix findTightestCommonType reference in comments
• [SPARK-24613][SQL] Cache met UDF kan niet worden vergeleken met volgende afhankelijke caches
  • Verpakt het logische plan met een AnalysisBarrier voor de compilatie van het uitvoeringsplan in CacheManager om te voorkomen dat het plan opnieuw wordt geanalyseerd. Dit is ook een regressie van Spark 2.3.
• [SPARK-24017][SQL] ExternalCatalog herstructureren als interface
• [SPARK-24324][PYTHON] pandas Grouped Map UDF moet de resultaatkolommen op naam toewijzen
  • Hiermee worden resultaatkolommen toegewezen op schemanaam als de gebruiker is gelabeld met tekenreeksen, anders met behulp van positie.
• [SPARK-23778][CORE] Vermijd onnodige willekeurige volgorde wanneer de samenvoeging een lege RDD krijgt
  • Negeert binnenkomende lege RDD's in de samenvoegmethode om onnodige extra shuffle te voorkomen wanneer alle andere RDD's dezelfde partitionering hebben.
• [SPARK-24552][CORE][SQL] Gebruik een unieke id in plaats van een pogingsnummer voor schrijfbewerkingen.
  • Geeft de unieke taakpoging-id door in plaats van een pogingsnummer naar v2-gegevensbronnen, omdat het pogingsnummer opnieuw wordt gebruikt wanneer fasen opnieuw worden geprobeerd. Dit is van invloed op de gegevensbron-API's V1 en V2, maar de bestandsindeling-API's worden niet beïnvloed omdat DBR gebruikmaakt van een ander doorvoerprotocol.
• [SPARK-24588][SS] streaming join moet HashClusteredPartitioning van de kinderen vereisen.
• [SPARK-24589][CORE] Identificeer taken in de uitvoerdoorvoeringscoördinator op de juiste manier.
  • Voegt meer informatie toe aan de fasestatus die wordt bijgehouden door de coördinator, zodat slechts één taak de uitvoer mag doorvoeren. Met deze oplossing worden ook de nutteloze codewijzigingen verwijderd die zijn geïntroduceerd door SPARK-18113.
• [SPARK-23933][SQL] Functie map_from_arrays toevoegen
• [SPARK-24583][SQL] Onjuist schematype in InsertIntoDataSourceCommand
  • Bij het maken van een Delta-tabel met NOT NULL-beperkingen kunnen we de nullbaarheid verwijderen en NULL-waarden invoegen zonder de schending van de beperking te controleren.
• [SPARK-24542][SQL] UDF-serie UDFXPathXXXX stelt gebruikers in staat om zorgvuldig gemaakte XML door te geven voor toegang tot willekeurige bestanden
  • Dit is een beveiligingspatch die door de community wordt gerapporteerd. Met UDF-serie UDFXPathXXXX KUNNEN gebruikers zorgvuldig gemaakte XML doorgeven voor toegang tot willekeurige bestanden. Wanneer gebruikers de bibliotheek voor extern toegangsbeheer gebruiken, kunnen gebruikers deze overslaan en toegang krijgen tot de inhoud van het bestand.
• [SPARK-23934][SQL] Functie map_from_entries toevoegen
• [SPARK-23912][SQL] Array_distinct toevoegen
• [SPARK-24574][SQL] array_contains, array_position, array_remove en element_at functies hebben betrekking op kolomtype

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 4.3.

Systeemomgeving

• Besturingssysteem: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
• R: R versie 3.4.4 (2018-03-15)
• GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
  • Tesla bestuurder 375.66
  • CUDA 9.0
  • cuDNN 7.0

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)