Databricks Runtime 16.0

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 16.0, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze versie uitgebracht in november 2024.

Gedragswijzigingen

• Belangrijke wijziging: JDK 17 is nu de standaardinstelling
• Belangrijke wijziging: Gehoste RStudio is het einde van de levensduur
• Wijziging die fouten veroorzaken: ondersteuning voor het wijzigenbyte, shortinten long typen in bredere typen verwijderen
• Juiste parsering van regex-patronen met negatie in geneste tekengroepering
• Dubbele overeenkomstdetectie in Delta Lake verbeteren MERGE
• Installatiemethode voor clusterbibliotheek kan niet meer worden overschreven
• Standaardtime-out van twee uur voor installaties met clusterbereik
• Bibliotheken installeren vanuit DBFS en het instellen van de Spark-conf spark.databricks.driver.dbfsLibraryInstallationAllowed zijn uitgeschakeld
• De addArtifact() functionaliteit is nu consistent voor rekentypen

Belangrijke wijziging: JDK 17 is nu de standaardinstelling

In Databricks Runtime 16.0 en hoger wordt de standaardversie van JDK overgeschakeld van JDK 8 naar JDK 17. Deze wijziging wordt aangebracht vanwege de geplande afschaffing en einde van ondersteuning voor JDK 8. Dit is van invloed op het volgende:

• Java-code die wordt uitgevoerd op Azure Databricks Compute, moet compatibel zijn met Java 17.
• Scala-code die wordt uitgevoerd in notebooks of Azure Databricks Compute, moet compatibel zijn met Java 17.
• Java- en Scala-bibliotheken die zijn geïnstalleerd op compute, moeten compatibel zijn met Java 17.
• Versies van de Apache Hive-metastore-client lager dan 2.x. Als u de Spark-configuratie spark.sql.hive.metastore.version instelt op een versie lager dan 2.x, worden compatibiliteitsproblemen met Java 17 en verbindingsfouten met de Hive-metastore veroorzaakt. Databricks raadt aan Hive te upgraden naar een versie boven 2.0.0.

Als u wilt terugkeren naar Java 8, voegt u het volgende toe aan de Spark-omgevingsvariabelen wanneer u uw Azure Databricks-rekenproces configureert:

JNAME=zulu8-ca-amd64

Als u ARM-exemplaren gebruikt, gebruikt u het volgende:

JNAME=zulu8-ca-arm64

Zie Een cluster maken waarin JDK 17 wordt gebruikt voor meer informatie over het opgeven van JDK-versies met Azure Databricks Compute.

Raadpleeg de volgende handleidingen voor hulp bij het migreren van uw code vanuit Java 8:

• Overstappen van Java 8 naar Java 11
• Migreren van JDK 8 naar latere JDK-releases

Belangrijke wijziging: Gehoste RStudio is het einde van de levensduur

Met deze release is Databricks-gehoste RStudio Server beëindigd en is deze niet beschikbaar in elke Azure Databricks-werkruimte waarop Databricks Runtime 16.0 en hoger wordt uitgevoerd. Zie De afschaffing van Hosted RStudio Server voor meer informatie en een lijst met alternatieven voor RStudio.

Wijziging die fouten veroorzaken: ondersteuning voor het wijzigenbyte, shortinten long typen in bredere typen verwijderen

In Databricks Runtime 15.4.3 en hoger kunnen de volgende wijzigingen van het gegevenstype niet meer worden toegepast op tabellen waarvoor de functie type widening is ingeschakeld:

• byte, en shortintlong aan .decimal
• byte, en shortint aan double.

Deze wijziging wordt aangebracht om consistent gedrag in Delta- en Iceberg-tabellen te garanderen. Zie Type widening voor meer informatie over type widening.

Juiste parsering van regex-patronen met negatie in geneste tekengroepering

Deze release bevat een wijziging ter ondersteuning van de juiste parsering van regex-patronen met negatie in geneste tekengroepering. Wordt bijvoorbeeld [^[abc]] geparseerd als 'elk teken dat niet een van 'abc' is.

Daarnaast was het photon-gedrag inconsistent met Spark voor geneste tekenklassen. Regex-patronen met geneste tekenklassen maken geen gebruik meer van Photon en gebruiken in plaats daarvan Spark. Een geneste tekenklasse is een patroon met vierkante haken binnen vierkante haken, zoals [[a-c][1-3]].

Dubbele overeenkomstdetectie in Delta Lake verbeteren MERGE

In Databricks Runtime 15.4 LTS en hieronder MERGE mislukken bewerkingen als meer dan één rij in de brontabel overeenkomt met dezelfde rij in de doeltabel op basis van de MERGE voorwaarde die is opgegeven in de ON component. In Databricks Runtime 16.0 en hoger worden MERGE ook voorwaarden in de WHEN MATCHED component in overweging gegeven. Zie Upsert in een Delta Lake-tabel met behulp van samenvoegen.

Installatiemethode voor clusterbibliotheek kan niet meer worden overschreven

De Spark-configuraties spark.databricks.libraries.enableSparkPyPIen spark.databricks.libraries.enableMavenResolutionspark.databricks.libraries.enableCRANResolutionnow worden nu standaard true ingesteld en kunnen niet worden overschreven.

Standaardtime-out van twee uur voor installaties met clusterbereik

In Databricks Runtime 16.0 en hoger heeft de installatie van een bibliotheek binnen het clusterbereik een standaardtime-out van twee uur. Bibliotheekinstallaties die langer duren dan deze time-out mislukt en de installatie wordt beëindigd. Wanneer u een cluster configureert, kunt u de time-outperiode wijzigen met behulp van de Spark-configuratie spark.databricks.driver.clusterLibraryInstallationTimeoutSec.

Bibliotheken installeren vanuit DBFS en het instellen van de Spark-conf spark.databricks.driver.dbfsLibraryInstallationAllowed zijn uitgeschakeld

In Databricks Runtime 16.0 en hoger is het installeren van bibliotheken vanuit DBFS volledig uitgeschakeld. Deze wijziging wordt aangebracht om de beveiliging van bibliotheken in een Databricks-werkruimte te verbeteren. Bovendien kunt u in Databricks Runtime 16.0 en hoger de Spark-configuratie spark.databricks.driver.dbfsLibraryInstallationAllowedniet meer gebruiken.

De addArtifact() functionaliteit is nu consistent voor rekentypen

Met deze release wordt het archief automatisch uitgepakt wanneer u addArtifact(archive = True) een afhankelijkheid toevoegt aan gedeelde of serverloze Azure Databricks-berekeningen. Deze wijziging zorgt ervoor dat het addArtifact(archive = True) gedrag van deze rekentypen consistent is met berekeningen van één gebruiker, die al ondersteuning biedt voor het automatisch uitpakken van archieven.

Nieuwe functies en verbeteringen

• Betrouwbaarder opnieuw laden van gewijzigde Python-modules met verbeteringen in autoreload
• Avro-ondersteuning voor recursief schema
• to_avro- en from_avro-functies
• Uitgebreide ondersteuning voor Confluent Schema Registry voor Avro
• Reclustering afdwingen op tabellen met liquide clustering
• De Delta-API's voor Python en Scala ondersteunen nu identiteitskolommen
• Fijnmazig toegangsbeheer voor rekenkracht van één gebruiker is algemeen beschikbaar
• Geclusterde liquide tabellen maken tijdens streaming-schrijfbewerkingen
• Ondersteuning voor de OPTIMIZE VOLLEDIGE clausule
• Ondersteuning voor specificatie van WITH-opties in INSERT en tabelverwijzing
• Nieuwe SQL-functies
• Automatische schemaontwikkeling inschakelen bij het samenvoegen van gegevens in een Delta-tabel

Betrouwbaarder opnieuw laden van gewijzigde Python-modules met verbeteringen in autoreload

In Databricks Runtime 16.0 en hoger verbeteren updates voor de autoreload extensie de veiligheid en betrouwbaarheid van het opnieuw laden van gewijzigde Python-modules die zijn geïmporteerd uit werkruimtebestanden. Met deze wijzigingen laadt u autoreload, indien mogelijk, alleen het gedeelte van een module dat is gewijzigd, opnieuw in plaats van de hele module. Daarnaast stelt Azure Databricks nu automatisch voor om de autoreload extensie te gebruiken als de module is gewijzigd sinds de laatste import. Zie Autoreload voor Python-modules.

Avro-ondersteuning voor recursief schema

U kunt nu de recursiveFieldMaxDepth optie gebruiken met de from_avro functie en de avro gegevensbron. Met deze optie stelt u de maximale diepte in voor schemarecursie op de Avro-gegevensbron. Zie Streaming Avro-gegevens lezen en schrijven.

functies voor to_avro en from_avro

Met de functies to_avro en from_avro kunnen SQL-typen worden geconverteerd naar binaire Avro-gegevens en terug.

Uitgebreide ondersteuning voor Confluent Schema Registry voor Avro

Azure Databricks ondersteunt nu avro-schemaverwijzingen met het Confluent-schemaregister. Zie Verifiëren bij een extern Confluent-schemaregister.

Reclustering afdwingen op tabellen met liquide clustering

In Databricks Runtime 16.0 en hoger kunt u de OPTIMIZE FULL syntaxis gebruiken om af te dwingen dat alle records in een tabel opnieuw worden geclusterd, waarvoor liquide clustering is ingeschakeld. Zie Forcereclustering voor alle records.

De Delta-API's voor Python en Scala ondersteunen nu identiteitskolommen

U kunt nu de Delta-API's voor Python en Scala gebruiken om tabellen te maken met identiteitskolommen. Zie Identiteitskolommen gebruiken in Delta Lake.

Fijnmazig toegangsbeheer voor rekenkracht van één gebruiker is algemeen beschikbaar

In Databricks Runtime 16.0 en hoger is gedetailleerd toegangsbeheer voor rekenkracht van één gebruiker algemeen beschikbaar. Als in werkruimten die zijn ingeschakeld voor serverloze berekeningen, als een query wordt uitgevoerd op ondersteunde berekeningen, zoals rekenkracht van één gebruiker en de query toegang heeft tot een van de volgende objecten, geeft de rekenresource de query door aan de serverloze berekening om gegevensfiltering uit te voeren:

• Weergaven die zijn gedefinieerd in tabellen waarvoor de gebruiker niet over de SELECT bevoegdheid beschikt.
• Dynamische weergaven.
• Tabellen waarop rijfilters of kolommaskers zijn toegepast.
• Gematerialiseerde weergaven en streamingtabellen

Geclusterde liquide tabellen maken tijdens streaming-schrijfbewerkingen

U kunt nu clusterBy liquid clustering inschakelen bij het maken van nieuwe tabellen met Structured Streaming-schrijfbewerkingen. Zie Liquid Clustering inschakelen.

Ondersteuning voor de OPTIMIZE FULL-clausule

Databricks Runtime 16.0 ondersteunt de component OPTIMIZE FULL. Met deze component worden alle records in een tabel geoptimaliseerd die gebruikmaakt van liquide clustering, inclusief gegevens die eerder zijn geclusterd.

Ondersteuning voor specificatie van WITH-opties in INSERT en tabelverwijzing

Databricks Runtime 16.0 ondersteunt een optiesspecificatie voor tabelverwijzingen en tabelnamen van een INSERT instructie die kan worden gebruikt om het gedrag van gegevensbronnen te beheren.

Nieuwe SQL-functies

De volgende SQL-functies worden toegevoegd in Databricks Runtime 16.0:

• try_url_decode

  Deze functie is een fouttolerante versie van url_decode. Deze functie retourneert NULL als de invoer geen geldige tekenreeks met URL-codering is.

• zeroifnull

  Als de invoerexpressie voor de zeroifnull() functie is NULL, retourneert de functie 0. Anders wordt de waarde van de invoerexpressie geretourneerd.

• nullifzero

  Retourneert NULL als de invoer 0 of de bijbehorende invoer is als deze niet 0 is. Als de invoerexpressie voor de nullifzero() functie 0 is, retourneert NULLde functie . Als de invoerexpressie niet 0 is, wordt de waarde van de invoerexpressie geretourneerd

Automatische schemaontwikkeling inschakelen bij het samenvoegen van gegevens in een Delta-tabel

In deze release wordt ondersteuning toegevoegd voor het withSchemaEvolution() lid van de DeltaMergeBuilder klasse. Gebruik withSchemaEvolution() dit om automatische schemaontwikkeling in te schakelen tijdens MERGE bewerkingen. Bijvoorbeeld: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Andere wijzigingen

SparkR is nu afgeschaft

In Databricks Runtime 16.0 en hoger wordt SparkR in Databricks afgeschaft ter voorbereiding op de afschaffing ervan in de komende Spark 4-release. Zie de Apache Spark Spark-thread afgeschaft.

Databricks raadt in plaats daarvan aan sparklyr te gebruiken.

Databricks Runtime 16.0 wordt niet ondersteund met PVC

Databricks Runtime 16.0 wordt niet ondersteund door Databricks Private Virtual Cloud (PVC). U moet Databricks Runtime 15.4 of lager gebruiken met alle PVC-releases.

Bugfixes

Automatisch laden redt nu Avro-recordtypen met lege schema's

Wanneer u een Avro-bestand in een Delta-tabel laadt met behulp van automatisch laden, record worden typen in het bestand met een leeg schema nu toegevoegd aan de kolom met geredde gegevens. Omdat u geen lege complexe gegevenstypen kunt opnemen in een Delta-tabel, wordt hiermee een probleem opgelost met het laden van sommige Avro-bestanden. Zie Wat is de kolom met geredde gegevens? voor meer informatie over geredde gegevens.

Oplossing voor fout bij het schrijven van tijdstempels met tijdzones die een tweede offset bevatten.

In deze release wordt een fout opgelost die van invloed is op bepaalde tijdstempels met tijdzones die een tweede offset bevatten. Deze fout zorgt ervoor dat de seconden worden weggelaten bij het schrijven naar JSON, XML of CSV, wat leidt tot onjuiste tijdstempelwaarden.

Als u wilt terugkeren naar het vorige gedrag, gebruikt u de volgende optie bij het schrijven naar een van de betrokken indelingen: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Bibliotheekupgrades

• Bijgewerkte Python-bibliotheken:
  • azure-core van 1.30.2 tot 1.31.0
  • azure-storage-blob van 12.19.1 tot 12.23.0
  • azure-storage-file-datalake van 12.14.0 tot 12.17.0
  • zwart van 23.3.0 tot 24.4.2
  • knipperen van 1.4 tot 1.7.0
  • boto3 van 1.34.39 tot 1.34.69
  • botocore van 1.34.39 tot 1.34.69
  • certifi van 2023.7.22 tot 2024.6.2
  • cffi van 1.15.1 tot 1.16.0
  • klik van 8.0.4 tot 8.1.7
  • comm van 0.1.2 tot 0.2.1
  • contourpy van 1.0.5 tot 1.2.0
  • cryptografie van 41.0.3 tot 42.0.5
  • Cython van 0.29.32 tot 3.0.11
  • databricks-sdk van 0.20.0 tot 0.30.0
  • dbus-python van 1.2.18 tot 1.3.2
  • filelock van 3.13.4 tot 3.15.4
  • fonttools van 4.25.0 tot 4.51.0
  • GitPython van 3.1.43 tot 3.1.37
  • google-api-core van 2.18.0 tot 2.20.0
  • google-auth van 2.31.0 tot 2.35.0
  • google-cloud-storage van 2.17.0 tot 2.18.2
  • google-crc32c van 1.5.0 tot 1.6.0
  • google-hervatbare media van 2.7.1 tot 2.7.2
  • googleapis-common-protos van 1.63.2 tot 1.65.0
  • httplib2 van 0.20.2 tot 0.20.4
  • idna van 3.4 tot 3.7
  • ipykernel van 6.25.1 tot 6.28.0
  • ipython van 8.15.0 tot 8.25.0
  • jedi van 0.18.1 tot 0.19.1
  • jmespath van 0.10.0 tot 1.0.1
  • joblib van 1.2.0 tot 1.4.2
  • jupyter_client van 7.4.9 tot 8.6.0
  • jupyter_core van 5.3.0 tot 5.7.2
  • launchpadlib van 1.10.16 tot 1.11.0
  • lazr.restfulclient van 0.14.4 tot 0.14.6
  • matplotlib van 3.7.2 tot 3.8.4
  • mlflow-skinny van 2.11.4 tot 2.15.1
  • more-itertools van 8.10.0 tot 10.3.0
  • mypy-extensies van 0.4.3 tot 1.0.0
  • nest-asyncio van 1.5.6 tot 1.6.0
  • numpy van 1.23.5 tot 1.26.4
  • oauthlib van 3.2.0 tot 3.2.2
  • verpakking van 23.2 tot 24.1
  • patsy van 0.5.3 tot 0.5.6
  • pip van 23.2.1 tot 24.2
  • plotly from 5.9.0 to 5.22.0
  • prompt-toolkit van 3.0.36 tot 3.0.43
  • pyarrow van 14.0.1 tot 15.0.2
  • pydantic van 1.10.6 tot 2.8.2
  • PyGObject van 3.42.1 tot 3.48.2
  • PyJWT van 2.3.0 tot 2.7.0
  • pyodbc van 4.0.38 tot 5.0.1
  • python-dateutil van 2.8.2 tot 2.9.0.post0
  • python-lsp-jsonrpc van 1.1.1 tot 1.1.2
  • pytz van 2022.7 tot 2024.1
  • PyYAML van 6.0 tot 6.0.1
  • pyzmq van 23.2.0 tot 25.1.2
  • aanvragen van 2.31.0 tot 2.32.2
  • scikit-learn van 1.3.0 tot 1.4.2
  • scipy van 1.11.1 tot 1.13.1
  • seaborn van 0.12.2 tot 0.13.2
  • setuptools van 68.0.0 tot 74.0.0
  • smmap van 5.0.1 tot 5.0.0
  • sqlparse van 0.5.0 tot 0.5.1
  • statsmodels van 0.14.0 tot 0.14.2
  • tornado van 6.3.2 tot 6.4.1
  • traitlets van 5.7.1 tot 5.14.3
  • typing_extensions van 4.10.0 tot 4.11.0
  • ujson van 5.4.0 tot 5.10.0
  • virtualenv van 20.24.2 tot 20.26.2
  • wiel van 0.38.4 tot 0.43.0
  • zipp van 3.11.0 tot 3.17.0
• Bijgewerkte R-bibliotheken:
  • pijl van 14.0.0.2 tot 16.1.0
  • backports van 1.4.1 tot 1.5.0
  • basis van 4.3.2 tot 4.4.0
  • bitops van 1.0-7 tot 1.0-8
  • opstarten van 1.3-28 tot 1.3-30
  • brio van 1.1.4 tot 1.1.5
  • bezem van 1.0.5 tot 1.0.6
  • bslib van 0.6.1 tot 0.8.0
  • cachem van 1.0.8 tot 1.1.0
  • beller van 3.7.3 tot 3.7.6
  • cli van 3.6.2 tot 3.6.3
  • klok van 0.7.0 tot 0.7.1
  • cluster van 2.1.4 tot 2.1.6
  • codetools van 0,2-19 tot 0,2-20
  • colorspace van 2.1-0 tot 2.1-1
  • compiler van 4.3.2 tot 4.4.0
  • krijt van 1.5.2 tot 1.5.3
  • curl van 5.2.0 tot 5.2.1
  • data.table van 1.15.0 tot 1.15.4
  • gegevenssets van 4.3.2 tot 4.4.0
  • DBI van 1.2.1 tot 1.2.3
  • dbplyr van 2.4.0 tot 2.5.0
  • digest van 0.6.34 tot 0.6.36
  • downlit van 0.4.3 tot 0.4.4.4
  • evalueren van 0.23 tot 0.24.0
  • ver van 2.1.1 tot 2.1.2
  • fastmap van 1.1.1 tot 1.2.0
  • buitenlandse van 0,8-85 tot 0,8-86
  • fs van 1.6.3 tot 1.6.4
  • toekomst van 1.33.1 tot 1.34.0
  • future.apply from 1.11.1 to 1.11.2
  • gert van 2.0.1 tot 2.1.0
  • ggplot2 van 3.4.4 tot 3.5.1
  • gh van 1.4.0 tot 1.4.1
  • globals van 0.16.2 tot 0.16.3
  • afbeeldingen van 4.3.2 tot 4.4.0
  • grDevices van 4.3.2 tot 4.4.0
  • raster van 4.3.2 tot 4.4.0
  • gt van 0.10.1 tot 0.11.0
  • gtable from 0.3.4 to 0.3.5
  • hardhat van 1.3.1 tot 1.4.0
  • highr van 0,10 tot 0,11
  • htmltools van 0.5.7 tot 0.5.8.1
  • httpuv van 1.6.14 tot 1.6.15
  • httr2 van 1.0.0 tot 1.0.2
  • ipred van 0.9-14 tot 0,9-15
  • KernSmooth van 2.23-21 tot 2.23-22
  • breisel van 1,45 tot 1,48
  • rooster van 0,21-8 tot 0,22-5
  • lava van 1.7.3 tot 1.8.0
  • markdown van 1.12 tot 1.13
  • MASSA van 7.3-60 tot 7.3-60.0.1
  • Matrix van 1,5-4.1 tot 1,6-5
  • methoden van 4.3.2 tot 4.4.0
  • mgcv van 1,8-42 tot 1,9-1
  • mlflow van 2.10.0 tot 2.14.1
  • munsell van 0.5.0 tot 0.5.1
  • nlme van 3.1-163 tot 3.1-165
  • openssl van 2.1.1 tot 2.2.0
  • parallel van 4.3.2 tot 4.4.0
  • parallel van 1.36.0 tot 1.38.0
  • pkgbuild van 1.4.3 tot 1.4.4
  • pkgdown van 2.0.7 tot 2.1.0
  • pkgload van 1.3.4 tot 1.4.0
  • processx van 3.8.3 tot 3.8.4
  • prodlim van 2023.08.28 tot 2024.06.25
  • beloften van 1.2.1 tot 1.3.0
  • ps van 1.7.6 tot 1.7.7
  • ragg van 1.2.7 tot 1.3.2
  • Rcpp van 1.0.12 tot 1.0.13
  • RcppEigen van 0.3.3.9.4 tot 0.3.4.0.0
  • reactR van 0.5.0 tot 0.6.0
  • recepten van 1.0.9 tot 1.1.0
  • afstandsbedieningen van 2.4.2.1 tot 2.5.0
  • reprex van 2.1.0 tot 2.1.1
  • rlang van 1.1.3 tot 1.1.4
  • rmarkdown van 2.25 tot 2.27
  • roxygen2 van 7.3.1 tot 7.3.2
  • rpart van 4.1.21 tot 4.1.23
  • RSQLite van 2.3.5 tot 2.3.7
  • rstudioapi van 0.15.0 tot 0.16.0
  • rvest van 1.0.3 tot 1.0.4
  • sass van 0.4.8 tot 0.4.9
  • shape van 1.4.6 tot 1.4.6.1
  • glanzend van 1.8.0 tot 1.9.1
  • sparklyr van 1.8.4 tot 1.8.6
  • ruimtelijk van 7,3-15 tot 7,3-17
  • splines van 4.3.2 tot 4.4.0
  • statistieken van 4.3.2 tot 4.4.0
  • stats4 van 4.3.2 tot 4.4.0
  • stringi van 1.8.3 tot 1.8.4
  • overleving van 3,5-5 tot 3,6-4
  • swagger van 3.33.1 tot 5.17.14.1
  • systemfonts van 1.0.5 tot 1.1.0
  • tcltk van 4.3.2 tot 4.4.0
  • testthat van 3.2.1 tot 3.2.1.1
  • textshaping van 0.3.7 tot 0.4.0
  • tidyselect van 1.2.0 tot 1.2.1
  • tinytex van 0,49 tot 0,52
  • hulpprogramma's van 4.3.2 tot 4.4.0
  • usethis from 2.2.2 to 3.0.0
  • hulpmiddelen van 4.3.2 tot 4.4.0
  • uuid van 1,2-0 tot 1,2-1
  • V8 van 4.4.1 tot 4.4.2
  • metr van 3.0.0 tot 3.0.1
  • xfun van 0,41 tot 0,46
  • xopen van 1.0.0 tot 1.0.1
  • yaml van 2.3.8 tot 2.3.10
• Bijgewerkte Java-bibliotheken:
  • com.amazonaws.aws-java-sdk-autoscaling van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-config van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-core van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-datapipeline van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-directory van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-dynamodb van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-ecs van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-efs van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-emr van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-glacier van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-glue van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-iam van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-importexport van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-kinesis van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-kms van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-lambda van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-logs van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-rds van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-redshift van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-route53 van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-s3 van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-ses van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-simpleworkflow van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-sns van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-sqs van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-ssm van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-sts van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-support van 1.12.610 tot 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces van 1.12.610 tot 1.12.638
  • com.amazonaws.jmespath-java van 1.12.610 tot 1.12.638
  • com.google.protobuf.protobuf-java van 2.6.1 tot 3.25.1
  • io.airlift.aircompressor van 0.25 tot 0.27
  • io.delta.delta-sharing-client_2.12 van 1.1.3 tot 1.2.0
  • io.netty.netty-all van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-buffer van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-codec van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-codec-http van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-codec-http2 van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-codec-socks van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-common van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-handler van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-handler-proxy van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-resolver van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-transport van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-transport-classes-epoll van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue van 4.1.96.Final tot 4.1.108.Final
  • io.netty.netty-transport-native-epoll van 4.1.96.Final-linux-x86_64 naar 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue van 4.1.96.Final-osx-x86_64 tot 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common van 4.1.96.Final tot 4.1.108.Final
  • org.apache.ivy.ivy van 2.5.1 tot 2.5.2
  • org.apache.zookeeper.zookeeper van 3.6.3 tot 3.9.2
  • org.apache.zookeeper.zookeeper-jute van 3.6.3 tot 3.9.2
  • org.rocksdb.rocksdbjni van 8.11.4 tot 9.2.1
  • org.scalactic.scalactic_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-compatible van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-core_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-freespec_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-funspec_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-propspec_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-refspec_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 van 3.2.15 tot 3.2.16
  • org.scalatest.scalatest_2.12 van 3.2.15 tot 3.2.16

Apache Spark

Databricks Runtime 16.0 bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 15.4 LTS, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

• [SPARK-49093] [DBRRM-1371] Revert "[SC-172958][SQL] GROUP BY met MapType-nes...
• [SPARK-49898] [DBRRM-1282][SC-178410] Documentatie en standaardinstelling voor metrische logboekgegevens van gebeurtenislogboeken oplossen met logboekregistratievlag van SPARK-42204
• [SPARK-49743] [ES-1260022][GEDRAG-157][SC-177475][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
• [SPARK-49816] [SC-177896][SQL] Moet alleen out-going-ref-count worden bijgewerkt voor de buitenste CTE-relatie waarnaar wordt verwezen
• [SPARK-48939] [SC-177022][SC-172766][AVRO] Ondersteuning voor het lezen van Avro met recursieve schemaverwijzing
• [SPARK-49688] [SC-177468][ES-1242349][VERBINDING MAKEN] Een gegevensrace tussen onderbreken en uitvoeren van plan herstellen
• [SPARK-49771] [SC-177466][PYTHON] Pandas Scalar Iter UDF-fout verbeteren wanneer uitvoerrijen de invoerrijen overschrijden
• [SPARK-48866] [SC-170772][SQL] Corrigeer hints van geldige tekenset in het foutbericht van INVALID_PARAMETER_VALUE. CHARSET
• [SPARK-48195] [FIXFORWARD][SC-177267][CORE] RDD/Broadcast opslaan en opnieuw gebruiken die is gemaakt door SparkPlan
• [SPARK-49585] [VERBINDING MAKEN] Toewijzing van uitvoeringen in SessionHolder vervangen door operationID-set
• [SPARK-49211] [SC-174257][SQL] V2-catalogus kan ook ondersteuning bieden voor ingebouwde gegevensbronnen
• [SPARK-49684] De levensduur van de sessieherstelvergrendeling minimaliseren
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Gestructureerd logboekframework aan de java-zijde
• [SPARK-48857] [SC-170661][SQL] Tekenssets in CSVOptions beperken
• [SPARK-49152] [SC-173690][SQL] V2SessionCatalog moet V2Command gebruiken
• [SPARK-42846] [SC-176588][SQL] Foutvoorwaarde verwijderen _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [SC-177267][CORE] RDD/Broadcast opslaan en opnieuw gebruiken die is gemaakt door SparkPlan
• [SPARK-49630] [SC-177379][SS] Platgemaakte optie toevoegen voor het verwerken van verzamelingstypen met de lezer van de statusgegevensbron
• [SPARK-49699] [SC-177154][SS] PruneFilters uitschakelen voor streamingworkloads
• [SPARK-48781] [SC-175282][SQL] Catalogus-API's toevoegen voor het laden van opgeslagen procedures
• [SPARK-49667] [SC-177068][SQL] Geen CS_AI sorteringen met expressies die gebruikmaken van StringSearch
• [SPARK-49737] [SC-177207][SQL] Bucketing uitschakelen voor gesorteerde kolommen in complexe typen
• [SPARK-48712] [SC-169794][SQL] Prestatieverbetering voor coderen met lege waarden of UTF-8 charset
• [SPARK-49038] [SC-173933][SQL] SQLMetric moet de onbewerkte waarde in de update-gebeurtenis accumulator rapporteren
• [SPARK-48541] [SC-169066][CORE] Een nieuwe afsluitcode toevoegen voor uitvoerders die zijn gedood door TaskReaper
• [SPARK-48774] [SC-170138][SQL] SparkSession gebruiken in SQLImplicits
• [SPARK-49719] [SC-177139][SQL] Geheel getal maken UUID en SHUFFLE accepteren seed
• [SPARK-49713] [SC-177135][PYTHON][VERBINDING MAKEN] count_min_sketch Functie getalargumenten accepteren
• [SPARK-47601] [SC-162499][GRAPHX] Graphx: Logboeken migreren met variabelen naar een gestructureerd framework voor logboekregistratie
• [SPARK-49738] [SC-177219][SQL] Endswith-foutoplossing
• [SPARK-48623] [SC-170822][CORE] Migraties voor gestructureerde logboekregistratie [deel 3]
• [SPARK-49677] [SC-177148][SS] Zorg ervoor dat changelog-bestanden zijn geschreven op doorvoer en forceSnapshot-vlag ook opnieuw is ingesteld
• [SPARK-49684] [SC-177040][VERBINDING MAKEN] Globale vergrendelingen verwijderen van sessie- en uitvoeringsbeheerders
• [SPARK-48302] [SC-168814][PYTHON] Null-waarden behouden in kaartkolommen in PyArrow-tabellen
• [SPARK-48601] [SC-169025][SQL] Een gebruiksvriendelijkere foutmelding geven bij het instellen van een null-waarde voor de JDBC-optie
• [SPARK-48635] [SC-169263][SQL] Klassen toewijzen aan join-typefouten en as-of-join-fout
• [SPARK-49673] [SC-177032][VERBINDING MAKEN] Verhoog CONNECT_GRPC_ARROW_MAX_BATCH_SIZE tot 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][PYTHON][VERBINDING MAKEN] De tekenreeksweergave van timedelta
• [SPARK-49687] [SC-176901][SQL] Sorteren uitstellen in validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][PS] Plot overschakelen Scatter naar voorbeeldgegevens
• [SPARK-48472] [SC-169044][SQL] Expressies met gesorteerde tekenreeksen inschakelen
• [SPARK-48484] [SC-167484][SQL] Oplossing: V2Write gebruikt dezelfde TaskAttemptId voor verschillende taakpogingen
• [SPARK-48341] [SC-166560][VERBINDING MAKEN] Invoegtoepassingen toestaan om QueryTest in hun tests te gebruiken
• [SPARK-42252] [SC-168723][CORE] Toevoegen spark.shuffle.localDisk.file.output.buffer en verwijderen spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][SS] Geen dubbele cachebestanden voor FileStreamSource met behulp van Trigger.AvailableNow
• [SPARK-49567] [SC-176241][PYTHON] Gebruik classic in plaats van vanilla de PySpark-codebasis
• [SPARK-48374] [SC-167596][PYTHON] Ondersteuning voor extra pyArrow-tabelkolomtypen
• [SPARK-48300] [SC-166481][SQL] Ondersteuning voor codegen voor from_xml
• [SPARK-49412] [SC-177059][PS] Metrische gegevens van alle boxplots in één taak berekenen
• [SPARK-49692] [SC-177031][PYTHON][VERBINDING MAKEN] De tekenreeksweergave van letterlijke datum en datum/tijd verfijnen
• [SPARK-49392] [ES-1130351][SC-176705][SQL] Fouten vangen bij het niet schrijven naar een externe gegevensbron
• [SPARK-48306] [SC-166241][SQL] UDT verbeteren in foutbericht
• [SPARK-44924] [SC-166379][SS] Configuratie toevoegen voor bestanden in de cache van FileStreamSource
• [SPARK-48176] [SC-165644][SQL] Naam van FIELD_ALREADY_EXISTS-foutvoorwaarde aanpassen
• [SPARK-49691] [SC-176988][PYTHON][VERBINDING MAKEN] De functie substring moet kolomnamen accepteren
• [SPARK-49502] [SC-176077][CORE] VERMIJD NPE in SparkEnv.get.shuffleManager.unregisterShuffle
• [SPARK-49244] [SC-176703][SQL] Verdere uitzonderingsverbeteringen voor parser/interpreter
• [SPARK-48355] [SC-176684][SQL] Ondersteuning voor CASE-instructie
• [SPARK-49355] [SC-175121][SQL] levenshtein moet controleren of de collation waarden van alle parametertypen hetzelfde zijn
• [SPARK-49640] [SC-176953][PS] Reservoirsampling toepassen in SampledPlotBase
• [SPARK-49678] [SC-176857][CORE] Ondersteuning spark.test.master in SparkSubmitArguments
• [SPARK-49680] [SC-176856][PYTHON] Parallellisme Sphinx van build beperken tot standaard 4
• [SPARK-49396] '[SC-176030][SQL] Nullability check for CaseWhen expression wijzigen' wijzigen
• [SPARK-48419] [SC-167443][SQL] Vouwbare doorgifte vervangt vouwbare kolomschop...
• [SPARK-49556] [SC-176757][SQL] SQL-pijpsyntaxis toevoegen voor de SELECT-operator
• [SPARK-49438] [SC-175237][SQL] De mooie naam van de FromAvro & ToAvro expressie herstellen
• [SPARK-49659] [SC-1229924][SQL] Voeg een gebruikersvriendelijke foutmelding toe voor scalaire subquery's binnen de VALUES clausule
• [SPARK-49646] [SC-176778][SQL] corrigeer subquery-decorrelation voor samenvoeg-/setbewerkingen wanneer parentOuterReferences verwijzingen bevat die niet worden behandeld in collectedChildOuterReferences
• [SPARK-49354] [SC-175034][SQL] split_part moet controleren of de collation waarden van alle parametertypen hetzelfde zijn
• [SPARK-49478] [SC-175914][VERBINDING MAKEN] Null-metrische gegevens verwerken in ConnectProgressExecutionListener
• [SPARK-48358] [SC-176374][SQL] Ondersteuning voor REPEAT-instructie
• [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable moet PROP_IS_MANAGED_LOCATION respecteren
• [SPARK-49611] [SC-176791][SQL] Maak kennis met TVF collations() en verwijder de SHOW COLLATIONS opdracht
• [SPARK-49261] [SC-176589][SQL] Letterlijke tekens in aggregatieexpressies niet vervangen door group-by-expressies
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace moet aangepaste sessiecatalogus respecteren
• [SPARK-49594] [SC-176569][SS] Controle toevoegen of columnFamilies zijn toegevoegd of verwijderd om stateSchemaV3-bestand te schrijven
• [SPARK-49578] [SC-176385][SQL] Verwijder de ANSI-configuratiesuggesties in CAST_INVALID_INPUT en CAST_OVERFLOW
• [SPARK-48882] [SC-174256][SS] Namen toewijzen aan gerelateerde foutklassen in de streaming-uitvoermodus
• [SPARK-49155] [SC-176506][SQL][SS] Het juistere parametertype gebruiken om een constructie uit te voeren GenericArrayData
• [SPARK-49519] [SC-176388][SQL] Opties voor tabel en relatie samenvoegen bij het maken van FileScanBuilder
• [SPARK-49591] [SC-176587][SQL] Kolom Logisch type toevoegen aan variantleesmij
• [SPARK-49596] [SC-176423][SQL] Prestaties van FormatString
• [SPARK-49525] [SC-176044][SS][VERBINDING MAKEN] Kleine logboekverbetering voor ListenerBus-listener voor streamingquery's aan serverzijde
• [SPARK-49583] [SC-176272][SQL] Definieer de subvoorwaarde SECONDS_FRACTION van de fout voor een ongeldig breukpatroon van de seconden
• [SPARK-49536] [SC-176242] Fout afhandelen in het vooraf instellen van een python-streaminggegevensbronrecord
• [SPARK-49443] [SC-176273][SQL][PYTHON] To_variant_object-expressie implementeren en schema_of_variant expressies object afdrukken voor variantobjecten
• [SPARK-49544] [SASP-3990][SC-176557][VERBINDING MAKEN] Coarse-locking in SparkConnectExecutionManager vervangen door ConcurrentMap
• [SPARK-49548] [SASP-3990][SC-176556][VERBINDING MAKEN] Coarse-locking in SparkConnectSessionManager vervangen door ConcurrentMap
• [SPARK-49551] [SC-176218][SS] RocksDB-logboek verbeteren voor replayChangelog
• [SPARK-49595] [SC-176396][VERBINDING MAKEN][SQL] Oplossing DataFrame.unpivot/melt in Spark Connect Scala-client
• [SPARK-49006] [SC-176162] Opschonen implementeren voor OperatorStateMetadataV2- en StateSchemaV3-bestanden
• [SPARK-49600] [SC-176426][PYTHON] -gerelateerde logica verwijderen Python 3.6 and olderuit try_simplify_traceback
• [SPARK-49303] [SC-176013][SS] TTL implementeren voor ValueState in transformWithStateInPandas-API
• [SPARK-49191] [SC-176243][SS] Ondersteuning toegevoegd voor het lezen van statusvariabelen voor transformWithState-toewijzingen met de lezer van de statusgegevensbron
• [SPARK-49593] [SC-176371][SS] Throw RocksDB exception to the caller on DB close if an error is seen
• [SPARK-49334] [SC-174803][SQL] str_to_map moet controleren of de collation waarden van alle parametertypen hetzelfde zijn
• [SPARK-42204] [SC-176126][CORE] Optie toevoegen om redundante logboekregistratie van interne TaskMetrics-accumulators in gebeurtenislogboeken uit te schakelen
• [SPARK-49575] [SC-176256][SS] Logboekregistratie voor vergrendelingsrelease alleen toevoegen als acquiredThreadInfo niet null is
• [SPARK-49539] [SC-176250][SS] Start-id van interne kolomfamilies bijwerken naar een andere
• [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning moet HashPartitioningLike overnemen
• [SPARK-49396] [SC-176030][SQL] Controle op null-beschikbaarheid voor CaseWhen-expressie wijzigen
• [SPARK-49476] [SC-175700][SQL] Null-waarde van de base64-functie herstellen
• [SPARK-47262] [SC-174829][SQL] Namen toewijzen aan foutvoorwaarden voor parquet-conversies
• [SPARK-47247] [SC-158349][SQL] Kleinere doelgrootte gebruiken bij het samenvoegen van partities met ontploffende joins
• [SPARK-49501] [SC-176166][SQL] Dubbele ontsnapping van tabellocatie herstellen
• [SPARK-49083] [SC-173214][VERBINDING MAKEN] Toestaan dat from_xml en from_json systeemeigen werken met json-schema's
• [SPARK-49043] [SC-174673][SQL] Opgeloste codepadgroep op kaart met gesorteerde tekenreeksen
• [SPARK-48986] [SC-172265][VERBINDING MAKEN][SQL] Tussenliggende weergave van ColumnNode toevoegen
• [SPARK-49326] [SC-176016][SS] Foutklasse classificeren voor foreach-sinkgebruikersfunctiefout
• [SPARK-48348] [SC-175950][SPARK-48376][SQL] Introduceren LEAVE en ITERATE instructies
• [SPARK-49523] [SC-175949][VERBINDING MAKEN] Verhoog de maximale wachttijd voor het maken van een verbindingsserver om te testen
• [SPARK-49000] [BEHAVE-105][ES-1194747][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates - DBR versie 16.x uit te vouwen
• [SPARK-49311] [SC-175038][SQL] Het mogelijk maken dat grote 'interval tweede' waarden worden gecast naar decimaal
• [SPARK-49200] [SC-173699][SQL] Uitzondering voor het ordenen van null-type niet-codegen oplossen
• [SPARK-49467] [SC-176051][SS] Ondersteuning toevoegen voor statusgegevensbronlezer en lijststatus
• [SPARK-47307] [SC-170891][SQL] Een configuratie toevoegen aan optioneel gesegmenteerde base64-tekenreeksen
• [SPARK-49391] [SC-176032][PS] Boxplot selecteer uitbijters op afstand van omheiningen
• [SPARK-49445] [SC-175845][UI] Knopinfo weergeven in de voortgangsbalk van de gebruikersinterface
• [SPARK-49451] [SC-175702] Dubbele sleutels in parse_json toestaan.
• [SPARK-49275] [SC-175701][SQL] Retourtype nullness van de xpath-expressie herstellen
• [SPARK-49021] [SC-175578][SS] Ondersteuning toevoegen voor het lezen van statusvariabelen van transformWithState-waarden met statusgegevensbronlezer
• [SPARK-49474] [GEDRAG-143][SC-169253][SC-175933][SS] Foutklasse classificeren voor Foutklasse FlatMapGroupsWithState-gebruikersfunctie
• [SPARK-49408] [SC-175932][SQL] IndexedSeq gebruiken in ProjectingInternalRow
• [SPARK-49509] [SC-175853][CORE] Gebruiken Platform.allocateDirectBuffer in plaats van ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][PS] Maak frame box plot correct render de fliers/uitbijters
• [SPARK-49002] [SC-172846][SQL] Consistent omgaan met ongeldige locaties in WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49480] [SC-175699][CORE] NullPointerException herstellen vanuit SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][PYTHON] Foutbericht voor ongeldig retourtype pandas udf verbeteren
• [SPARK-48693] [SC-169492][SQL] Vereenvoudig en unify toString of Invoke en StaticInvoke
• [SPARK-49441] [SC-175716][ML] StringIndexer matrices sorteren in uitvoerders
• [SPARK-49347] [SC-175004][R] SparkR afschaven
• [SPARK-49357] [SC-175227][VERBINDING MAKEN][PYTHON] Verticaal geneste protobuf-bericht afkappen
• [SPARK-41982] [SC-120604][SQL] Partities van het type tekenreeks mogen niet worden behandeld als numerieke typen
• [SPARK-48776] [SC-170452][GEDRAG-72] Tijdstempelopmaak voor json, XML en CSV herstellen
• [SPARK-49223] [SC-174800][ML] Vereenvoudig de StringIndexer.countByValue met ingebouwde functies
• [SPARK-49016] Herstel '[SC-174663][SQL] Herstel het gedrag dat query's uit onbewerkte CSV-bestanden zijn niet toegestaan wanneer alleen beschadigde recordkolom wordt opgenomen en de naam toewijst aan _LEGACY_ERROR_TEMP_1285"
• [SPARK-49041] [SC-172392][PYTHON][VERBINDING MAKEN] De juiste fout genereren voor dropDuplicates wanneer er een fout subset wordt gegeven
• [SPARK-49050] [SC-175235] De operator deleteIfExists inSCHAKELEN in TWS met virtuele kolomfamilies
• [SPARK-49216] [SC-173919][CORE]Oplossing voor het niet vastleggen van berichtcontext waarbij LogEntry expliciet is samengesteld wanneer Structured Logging conf is uitgeschakeld
• [SPARK-49252] [SC-175596][CORE] MakenTaskSetExcludeList en HeathTracker onafhankelijk
• [SPARK-49352] [SC-174971][SQL] Vermijd redundante matrixtransformatie voor identieke expressies
• [SPARK-42307] [SC-173863][SQL] Naam toewijzen voor fout _LEGACY_ERROR_TEMP_2232
• [SPARK-49197] [SC-173732][CORE] Uitvoer opnieuw uitvoeren Spark Command in launcher module
• [SPARK-48913] [SC-173934][SQL] InspringingXMLStreamWriter implementeren
• [SPARK-49306] [SC-175363][PYTHON][SQL] Sql-functiealiassen maken voor zeroifnull en nullifzero
• [SPARK-48344] [SQL] Uitvoering van SQL-scripts (inclusief Spark Connect)
• [SPARK-49402] [SC-175122][PYTHON] Binder-integratie in PySpark-documentatie herstellen
• [SPARK-49017] [SC-174664][SQL] Instructie invoegen mislukt wanneer meerdere parameters worden gebruikt
• [SPARK-49318] [SC-174733][SQL] Fout met lage prioriteit voorbereiden op LCA tot het einde van de controleanalyse om de foutervaring te verbeteren
• [SPARK-49016] [SC-174663][SQL] Herstel het gedrag dat query's uit onbewerkte CSV-bestanden niet zijn toegestaan wanneer alleen beschadigde recordkolom wordt opgenomen en de naam toewijst aan _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][PYTHON] Hint voor het type herstellen voor accuracy in percentile_approx en approx_percentile
• [SPARK-49131] [SC-174666][SS] TransformWithState moet impliciete groeperingssleutels correct instellen, zelfs met luie iterators
• [SPARK-49301] [SC-174795][SS] Gegevens van segmentpijlen die zijn doorgegeven aan Python-werkrol
• [SPARK-49039] [SC-174651][UI] Selectievakje opnieuw instellen wanneer metrische gegevens van uitvoerders worden geladen op het tabblad Fasen
• [SPARK-48428] [SC-169806][SQL]: Fix IllegalStateException in NestedColumnAliasing
• [SPARK-49353] [SC-174830][SQL] Documenten bijwerken met betrekking tot UTF-32 codering/decodering
• [SPARK-48613] [SC-170966][SQL] SPJ: Ondersteuning voor automatisch verdelen aan één zijde + minder joinsleutels dan partitiesleutels
• [SPARK-47473] [SC-160450][GEDRAG-127][SQL] Probleem met correctheid van het converteren van postgres INFINITY-tijdstempels oplossen
• [SPARK-49142] [SC-173658][VERBINDING MAKEN][PYTHON] Opvolgen om proto terug te zetten naar kosten voor tekenreeksprestaties
• [SPARK-49300] [SC-175008][CORE] Probleem met hadoop-delegatietokenlekken opgelost wanneer tokenRenewalInterval niet is ingesteld.
• [SPARK-49367] [SC-175012][PS] De KDE-berekening voor meerdere kolommen parallelliseren (plotly backend)
• [SPARK-49365] [SC-175011][PS] De bucketaggregatie in histplot vereenvoudigen
• [SPARK-49372] [SC-175003][SS] Zorg ervoor dat latestSnapshot is ingesteld op geen in de buurt om volgend gebruik te voorkomen
• [SPARK-49341] [SC-174785] Verwijderen connector/docker ten gunste van Apache Spark Operator
• [SPARK-49344] [SC-174894][PS] Ondersteuning json_normalize voor Pandas-API in Spark
• [SPARK-49306] [SC-174794][SQL] Nieuwe SQL-functies 'zeroifnull' en 'nullifzero' maken
• [SPARK-48796] [SC-174668][SS] Kolomfamilie-id laden uit RocksDBCheckpointMetadata voor VCF bij opnieuw opstarten
• [SPARK-49342] [SC-174899][SQL] Het argument jsonFormatSchema van TO_AVRO SQL-functie optioneel maken
• [SPARK-48628] [SC-174695][CORE] Piek van taken toevoegen aan/uit heap-geheugen metrische gegevens
• [SPARK-47407] [SC-159379][GEDRAG-126][SQL] Ondersteuning voor java.sql.Types.NULL-toewijzing aan NullType
• [SPARK-48628] [SC-173407][CORE] Piek van taken toevoegen aan/uit heap-geheugen metrische gegevens
• [SPARK-49166] [SC-173987][SQL] Ondersteuning OFFSET in gecorreleerde subquery
• [SPARK-49269] [SC-174676][SQL] Gretig evalueren VALUES() lijst in AstBuilder
• [SPARK-49281] [SC-174782][SQL] Optimze parquet binary getBytes with getBytesUnsafe om kopieerkosten te voorkomen
• [SPARK-49113] [SC-174734] Beweert niet over vertaalfouten - slik de uitzondering op de achtergrond in
• [SPARK-49098] [SC-173253][SQL] Schrijfopties toevoegen voor INSERT
• [SPARK-48638] [SC-174694][VOLGEN][VERBINDING MAKEN] Documentatie voor ExecutionInfo herstellen
• [SPARK-49250] [ES-1222826][SQL] Foutbericht verbeteren voor geneste Niet-opgelosteWindowExpression in CheckAnalysis
• [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark base-implementatie en ValueState-ondersteuning
• [SPARK-48966] [SC-174329][SQL] Foutbericht verbeteren met ongeldige niet-opgeloste kolomreferentie in UDTF-aanroep
• [SPARK-46590] [SC-154115][SQL] De samenvoeging is mislukt met onverwachte partitie-indeces
• [SPARK-49235] [SC-174159][SQL] Regel ResolveInlineTables herstructureren zodat deze niet door de hele structuur loopt
• [SPARK-49060] [SC-173107][VERBINDING MAKEN] Mima-regels opschonen voor binaire compatibiliteitscontroles van SQL-Connect
• [SPARK-48762] [SC-172525][SQL] Maak kennis met de ClusterBy DataFrameWriter-API voor Python
• [SPARK-49207] [SC-173852][SQL] Een-op-veel-toewijzing in SplitPart en StringSplitSQL herstellen
• [SPARK-49204] [SC-173850][SQL] Verwerking van surrogaatpaar in StringInstr en StringLocate herstellen
• [SPARK-36680] [SC-170640][SQL] Ondersteunt dynamische tabelopties voor Spark SQL
• [SPARK-49204] [SC-173849][SQL] Verwerking van surrogaatpaar in SubstringIndex herstellen
• [SPARK-49204] [SC-173848][SQL] Verwerking van surrogaatpaar in StringTrim herstellen
• [SPARK-48967] [SC-173993]Forward SparkConfigOwnershipSuite-test opgelost voor OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][SQL] Verwerking van surrogaatpaar in StringReplace herstellen
• [SPARK-48967] [SC-173993][SQL][16.x] Verbeter de prestaties en geheugenvoetafdruk van "INSERT INTO ... VALUESverklaringen
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrent herstellen...
• [SPARK-48347] [SC-173812][SQL] Ondersteuning voor WHILE-instructie
• [SPARK-49128] [SC-173344][CORE] De titel van de aangepaste History Server-gebruikersinterface ondersteunen
• [SPARK-49146] [SC-173825][SS] Assertiefouten verplaatsen die zijn gerelateerd aan watermerk die ontbreken in streamingquery's in de toevoegmodus naar het foutenframework
• [SPARK-45787] [SC-172197][SQL] Ondersteuning voor Catalog.listColumns voor clusteringkolommen
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace moet aangepaste sessiecatalogus respecteren
• [SPARK-49138] [SC-173483][SQL] CollationTypeCasts van verschillende expressies corrigeren
• [SPARK-49163] [SC-173666][SQL] Poging om een tabel te maken op basis van verbroken parquet-partitiegegevensresultaten, moet een gebruikersgerichte fout retourneren
• [SPARK-49201] [SC-173793][PS][PYTHON][VERBINDING MAKEN] Plot voor opnieuw implementeren hist met Spark SQL
• [SPARK-49188] [SC-173682][SQL] Interne fout in concat_ws aangeroepen op matrix van matrices van tekenreeks
• [SPARK-49137] [SC-173677][SQL] Wanneer de Booleaanse voorwaarde in de if statement voorwaarde ongeldig is, moet er een uitzondering worden gegenereerd
• [SPARK-49193] [SC-173672][SQL] De prestaties van RowSetUtils.toColumnBasedSet verbeteren
• [SPARK-49078] [SC-173078][SQL] Ondersteuning voor de syntaxis van kolommen weergeven in v2-tabel
• [SPARK-49141] [SC-173388][SQL] Variant markeren als niet-compatibel gegevenstype hive
• [SPARK-49059] [Cherry-Pick][15.x][SC-172528][VERBINDING MAKEN] Naar het testpakket gaan SessionHolder.forTesting(...)
• [SPARK-49111] [SC-173661][SQL] Verplaatsen metProjectAndFilter naar het bijbehorende object van DataSourceV2Strategy
• [SPARK-49185] [SC-173688][PS][PYTHON][VERBINDING MAKEN] Plot voor opnieuw implementeren kde met Spark SQL
• [SPARK-49178] [SC-173673][SQL] Prestaties optimaliseren van de prestaties bij het gebruik van Row#getSeq Spark 3.5 met Scala 2.12
• [SPARK-49093] [SC-172958][SQL] GROUP BY met MapType genesteld binnen een complex type
• [SPARK-49142] [SC-173469][VERBINDING MAKEN][PYTHON] Lager niveau van spark Connect-clientlogboek voor foutopsporing
• [SPARK-48761] [SC-172048][SQL] ClusterBy DataFrameWriter-API introduceren voor Scala
• [SPARK-48346] [SC-173083][SQL] Ondersteuning voor IF ELSE-instructies in SQL-scripts
• [SPARK-48338] [SC-173112][SQL] Uitzonderingen verbeteren die zijn gegenereerd door parser/interpreter
• [SPARK-48658] [SC-169474][SQL] Codeer-/decodeerfuncties melden coderingsfouten in plaats van mojibake voor niet-toepasbare tekens
• [SPARK-49071] [SC-172954][SQL] ArraySortLike-eigenschap verwijderen
• [SPARK-49107] Herstel "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS ondersteunt RoutineType"" herstellen
• [SPARK-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState wordt onjuist herschreven om een ongeldig queryplan te produceren
• [SPARK-49114] [SC-173217] Subcategorisatie kan geen fouten in het statusarchief laden
• [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS ondersteunt RoutineType
• [SPARK-49048] [SC-173223][SS] Ondersteuning toevoegen voor het lezen van relevante operatormetagegevens bij de opgegeven batch-id
• [SPARK-49094] [SC-173049][SQL] Fix ignoreCorruptFiles niet-functionerend voor hive orc impl met mergeSchema off
• [SPARK-49108] [SC-173102][VOORBEELD] Rest API-voorbeeld toevoegen submit_pi.sh
• [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS ondersteunt RoutineType
• [SPARK-48997] [SC-172484][SS] Afzonderlijke uitladingen implementeren voor threadfouten met onderhoudsthreads
• [SPARK-49063] [SC-173094][SQL] Oplossing tussen met ScalarSubqueries
• [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Ondersteuning toevoegen voor intervaltypen in de variantspecificatie
• [SPARK-49074] [GEDRAG-110][SC-172815][SQL] Variant herstellen met df.cache()
• [SPARK-49003] [SC-172613][SQL] Opgeloste hashing van geïnterpreteerde codepaden om op de hoogte te zijn van sortering
• [SPARK-48740] [SC-172430][SQL] Fout met ontbrekende vensterspecificatie vroegtijdig detecteren
• [SPARK-48999] [SC-172245][SS] PythonStreamingDataSourceSimpleSuite delen
• [SPARK-49031] [SC-172602] Validatie implementeren voor de operator TransformWithStateExec met behulp van OperatorStateMetadataV2
• [SPARK-49053] [SC-172494][PYTHON][ML] Make model save/load helper functions accept spark session
• [SPARK-49032] [Backport][15.x][SS] Voeg het schemapad toe aan de vermelding van de metagegevenstabel, controleer de verwachte versie en voeg de metagegevenstest voor operatormetagegevens toe voor de indeling v2 van de operatormetagegevens
• [SPARK-49034] [SC-172306][CORE] Ondersteuning voor vervanging aan de serverzijde sparkProperties in REST Submission API
• [SPARK-48931] [SC-171895][SS] Api-kosten voor Cloud Store-lijst verlagen voor onderhoudstaken voor statusopslag
• [SPARK-48849] [SC-172068][SS]OperatorStateMetadataV2 maken voor de operator TransformWithStateExec
• [SPARK-49013] [SC-172322] Sleutel wijzigen in sortationsMap voor kaart- en matrixtypen in scala
• [SPARK-48414] [SC-171884][PYTHON] Wijziging die fouten veroorzaken in Python oplossen fromJson
• [SPARK-48910] [SC-171001][SQL] HashSet/HashMap gebruiken om lineaire zoekopdrachten in PreprocessTableCreation te voorkomen
• [SPARK-49007] [SC-172204][CORE] Verbeteren MasterPage ter ondersteuning van aangepaste titel
• [SPARK-49009] [SC-172263][SQL][PYTHON] Kolom-API's en -functies en opsommingen accepteren
• [SPARK-49033] [SC-172303][CORE] Ondersteuning voor vervanging aan de serverzijde environmentVariables in REST Submission API
• [SPARK-48363] [SC-166470][SQL] Enkele redundante codes opschonen in from_xml
• [SPARK-46743] [SC-170867][SQL][GEDRAG-84] Fout tellen nadat ScalarSubqery is gevouwen als deze een lege relatie heeft
• [SPARK-49040] [SC-172351][SQL] Document herstellen sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ML] Metaalgoritmen opslaan/laden met SparkSession
• [SPARK-48959] [SC-171708][SQL] NoSuchNamespaceException Uitbreiden NoSuchDatabaseException om de afhandeling van uitzonderingen te herstellen
• [SPARK-48996] [SC-172130][SQL][PYTHON] Lege letterlijke tekens voor en en of kolommen toestaan
• [SPARK-48990] [SC-171936] Opvolgen voor #101759 - testoplossing
• [SPARK-48338] [SC-171912][SQL] Variabelendeclaraties controleren
• [SPARK-48990] [SC-171936][SQL] Trefwoorden voor gerelateerde SQL-syntaxis voor geïntegreerde variabelen
• [SPARK-48988] [SC-171915][ML] Metagegevens DefaultParamsReader/Writer afhandelen met spark-sessie
• [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Gebruiken SparkSession.implicits in plaats van SQLContext.implicits
• [SPARK-48760] [SC-170870][SQL] CatalogV2Util.applyClusterByChanges oplossen
• [SPARK-48928] [SC-171956] Logboekwaarschuwing voor aanroepen van .unpersist() op lokaal gecontroleerd RDD's
• [SPARK-48760] [SC-170139][SQL] Introduceert ALTER TABLE ... CLUSTER BY SQL-syntaxis voor het wijzigen van clusterkolommen
• [SPARK-48844] [SC-170669][SQL] GEBRUIK INVALID_EMPTY_LOCATION in plaats van UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY wanneer het pad leeg is
• [SPARK-48833] [SC-171914][SQL][VARIANT] Ondersteuningsvariant in InMemoryTableScan
• [SPARK-48975] [SC-171894][PROTOBUF] Overbodige ScalaReflectionLock definitie verwijderen uit protobuf
• [SPARK-48970] [SC-171800][PYTHON][ML] Vermijd het gebruik van SparkSession.getActiveSession in spark ML reader/writer
• [SPARK-48844] [SC-170669][SQL] GEBRUIK INVALID_EMPTY_LOCATION in plaats van UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY wanneer het pad leeg is
• [SPARK-48714] [SC-170136] Mislukte df.mergeInto-tests in PySpark en UC oplossen
• [SPARK-48957] [SC-171797][SS] Retourneer subclassificatiefoutklasse bij belasting van de statusopslag voor hdfs en rocksdb-provider
• [SPARK-48891] [Backport][15x][SC-171677][SS] StateSchemaCompatibilityChecker herstructureren om alle indelingen voor statusschema's te samenvoegen
• [SPARK-48972] [SC-171795][PYTHON] De verwerking van letterlijke tekenreeksen in functies samenvoegen
• [SPARK-48388] [SC-171337][SQL] SET instructiegedrag voor SQL-scripts herstellen
• [SPARK-48743] [SC-170552][SQL][SS] SamenvoegenSessionIterator moet beter worden verwerkt wanneer getStruct null retourneert
• [SPARK-48623] [15.x][SC-171322][CORE] FileAppender-logboeken migreren naar gestructureerde logboekregistratie
• [SPARK-36680] [DBRRM-1123] [SC-170640][SQL] ondersteunt dynamische tabelopties voor Spark SQL
• [SPARK-48841] [SC-170868][GEDRAG-83][SQL] Opnemen collationName naar van sql()Collate
• [SPARK-48941] [SC-171703][PYTHON][ML] RDD-lees-/schrijf-API-aanroep vervangen door Dataframe read/write-API
• [SPARK-48938] [SC-171577][PYTHON] Foutberichten verbeteren bij het registreren van Python UDFS
• [SPARK-48350] [SC-171040][SQL] Inleiding tot aangepaste uitzonderingen voor SQL-scripts
• [SPARK-48907] [SC-171158][SQL] De waarde explicitTypes herstellen in COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [SC-171658][PYTHON] Regex-functies vereenvoudigen met lit
• [SPARK-48944] [SC-171576][VERBINDING MAKEN] De verwerking van het JSON-indelingsschema in Connect Server samenvoegen
• [SPARK-48836] [SC-171569] SQL-schema integreren met statusschema/metagegevens
• [SPARK-48946] [SC-171504][SQL] NPE in redact-methode wanneer sessie null is
• [SPARK-48921] [SC-171412][SQL] ScalaUDF-coderingsprogramma's in subquery moeten worden omgezet voor MergeInto
• [SPARK-45155] [SC-171048][VERBINDING MAKEN] API-documenten toevoegen voor Spark Connect JVM/Scala-client
• [SPARK-48900] [SC-171319] Veld toevoegen reason voor cancelJobGroup en cancelJobsWithTag
• [SPARK-48865] [SC-171154][SQL] Functie try_url_decode toevoegen
• [SPARK-48851] [SC-170767][SQL] De waarde wijzigen van SCHEMA_NOT_FOUND in namespacecatalog.namespace
• [SPARK-48510] [SC-170893][2/2] Ondersteuning voor UDAF-API toColumn in Spark Connect
• [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][VERBINDING MAKEN] Ondersteuning from_xml voor StructType-schema maken
• [SPARK-48930] [SC-171304][CORE] Redact awsAccessKeyId by including accesskey pattern
• [SPARK-48909] [SC-171080][ML][MLLIB] Gebruikt SparkSession over SparkContext bij het schrijven van metagegevens
• [SPARK-48883] [SC-171133][ML][R] RDD-lees-/schrijf-API-aanroep vervangen door Dataframe read/write-API
• [SPARK-48924] [SC-171313][PS] Een pandas-achtige make_interval helperfunctie toevoegen
• [SPARK-48884] [SC-171051][PYTHON] Ongebruikte helperfunctie verwijderen PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][SQL] Meerdere samenvoegopdrachten gretig uitvoeren
• [SPARK-48896] [SC-171079][ML][MLLIB] Vermijd opnieuw partitioneren bij het schrijven van de metagegevens
• [SPARK-48892] [SC-171127][ML] Voorkomen dat alinea's per rij worden gelezen in Tokenizer
• [SPARK-48927] [SC-171227][CORE] Het aantal RDD's in de cache weergeven in StoragePage
• [SPARK-48886] [15.x][Backport][SC-171039][SS] Versie-informatie toevoegen om changelog v2 te wijzigen, zodat de evolutie eenvoudiger kan worden
• [SPARK-48903] [SC-171136][SS] De laatste momentopnameversie van RocksDB correct instellen bij extern laden
• [SPARK-48742] [SC-170538][SS] Virtuele kolomfamilie voor RocksDB
• [SPARK-48726] [15.x][SC-170753][SS] Maak de bestandsindeling StateSchemaV3 en schrijf deze uit voor de operator TransformWithStateExec
• [SPARK-48794] [SC-170882][VERBINDING MAKEN][15.x] df.mergeInto-ondersteuning voor Spark Connect (Scala en Python)
• [SPARK-48714] [SC-170136][PYTHON] Implementeren DataFrame.mergeInto in PySpark
• [SPARK-48772] [SC-170642][SS][SQL] Modus Voor wijzigen van feedlezer statusgegevensbron
• [SPARK-48666] [SC-170887][SQL] Pushfilter niet als het PythonUDFs bevat
• [SPARK-48845] [SC-170889][SQL] AlgemeneUDF-vangstuitzondering van kinderen
• [SPARK-48880] [SC-170974][CORE] Voorkom dat NullPointerException wordt gegooid als de invoegtoepassing voor stuurprogramma's niet kan worden geïnitialiseerd
• [SPARK-48888] [Backport][15x][SC-170973][SS] Het maken van momentopnamen verwijderen op basis van de grootte van changelog ops
• [SPARK-48871] [SC-170876] Validatie van INVALID_NON_DETERMINISTIC_EXPRESSIONS in...
• [SPARK-48883] [SC-170894][ML][R] RDD-lees-/schrijf-API-aanroep vervangen door Dataframe read/write-API
• [SPARK-36680] [SC-170640][SQL] Ondersteunt dynamische tabelopties voor Spark SQL
• [SPARK-48804] [SC-170558][SQL] ClassIsLoadable & OutputCommitter.isAssignableFrom check for output committer class configrations
• [SPARK-46738] [SC-170791][PYTHON] Een groep doctests opnieuwinen
• [SPARK-48858] [SC-170756][PYTHON] Afgeschafte setDaemon methodeaanroep van Thread in verwijderen log_communication.py
• [SPARK-48639] [SC-169801][VERBINDING MAKEN][PYTHON] Origin toevoegen aan RelationCommon
• [SPARK-48863] [SC-170770][ES-1133940][SQL] ClassCastException herstellen bij het parseren van JSON met spark.sql.json.enablePartialResults ingeschakeld
• [SPARK-48343] [SC-170450][SQL] Inleiding tot SQL Scripting Interpreter
• [SPARK-48529] [SC-170755][SQL] Inleiding tot labels in SQL-scripting
• [SPARK-45292] "[SC-151609][SQL][HIVE] Guava verwijderen uit gedeelde klassen uit IsolatedClientLoader"
• [SPARK-48037] [SC-165330][CORE][3.5] Fix SortShuffleWriter ontbreekt in willekeurige schrijfgerelateerde metrische gegevens, wat resulteert in mogelijk onnauwkeurige gegevens
• [SPARK-48720] [SC-170551][SQL] De opdracht ALTER TABLE ... UNSET TBLPROPERTIES ... uitlijnen in v1 en v2
• [SPARK-48485] [SC-167825][VERBINDING MAKEN][SS] Ondersteuning voor interruptTag en interruptAll in streamingquery's
• [SPARK-45292] [SC-151609][SQL][HIVE] Guava verwijderen uit gedeelde klassen uit IsolatedClientLoader
• [SPARK-48668] [SC-169815][SQL] Ondersteuning voor ALTER NAMESPACE ... UNSET PROPERTIES in v2
• [SPARK-47914] [SC-165313][SQL] De splitsparameter niet weergeven in Bereik
• [SPARK-48807] [SC-170643][SQL] Binaire ondersteuning voor CSV-gegevensbron
• [SPARK-48220] [SC-167592][PYTHON][15.X] Toestaan dat PyArrow Table wordt doorgegeven omDataFrame() te maken
• [SPARK-48545] [SC-169543][SQL] To_avro- en from_avro SQL-functies maken om overeen te komen met DataFrame-equivalenten
• [SPARK-47577] [SC-168875][SPARK-47579] Misleidend gebruik van logboeksleutels corrigeren TASK_ID

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Systeemomgeving

• Besturingssysteem: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakketbeheer CRAN-momentopname.

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)