Databricks Runtime 12.2 LTS

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 12.2 LTS, propulsé par Apache Spark 3.3.2.

Databricks a publié cette version en mars 2023.

Modifications de comportement

[Changement cassant] La nouvelle version de Python nécessite la mise à jour des clients Python Databricks Connect V1

Pour appliquer les correctifs de sécurité requis, la version Python dans Databricks Runtime 12.2 LTS est mise à niveau de 3.9.5 à 3.9.19. Étant donné que ces modifications peuvent entraîner des erreurs dans les clients qui utilisent des fonctions PySpark spécifiques, tous les clients qui utilisent Databricks Connect V1 pour Python avec Databricks Runtime 12.2 LTS doivent être mis à jour vers Python 3.9.7 ou version ultérieure.

Améliorations et nouvelles fonctionnalités

• L’évolution du schema Delta Lake prend en charge la spécification des columns sources dans les instructions de fusion
• Les charges de travail Structured Streaming sont prises en charge sur les clusters avec mode d’accès partagé
• Nouvelles fonctionnalités pour les E/S prédictives
• Prise en charge de l’aliasing de column latérale implicite
• Nouvelle fonctionnalité forEachBatch
• Options de connexion standardisées pour la fédération des requêtes
• Bibliothèque de fonctions SQL étendue pour la gestion des tableaux
• Nouvelle fonction de masque pour anonymiser les chaînes
• Les conditions d’erreur courantes retournent maintenant des SQLSTATE
• Appeler les fonctions de génération dans la clause FROM
• La prise en charge des mémoires tampons de protocole est généralement disponible
• Atteindre la définition pour les variables et fonctions de notebook
• Correctif rapide du Notebook pour l’importation automatique de bibliothèques
• Correctifs de bogues

L’évolution de Delta Lake schema permet de spécifier la source columns dans les instructions de fusion

Vous pouvez désormais spécifier des columns présentes uniquement dans la table source dans les actions insert ou update pour les instructions de fusion lorsque l’évolution du schema est activée. Dans Databricks Runtime 12.1 et ci-dessous, seules les actions INSERT * ou UPDATE SET * peuvent être utilisées pour schema évolution avec fusion. Consultez Évolution automatique du schema schéma pour la fusion Delta Lake.

Les charges de travail Structured Streaming sont prises en charge sur les clusters avec mode d’accès partagé

Vous pouvez désormais utiliser Structured Streaming pour interagir avec Unity Catalog sur des clusters partagés. Certaines limitations s’appliquent. Consultez Quelle est la fonctionnalité Structured Streaming prise en charge par Unity Catalog ?.

Nouvelles fonctionnalités pour les E/S prédictives

La prise en charge de Photon pour le récepteur Foreachbatch est désormais disponible. Les charges de travail qui diffusent en continu à partir d’une source et fusionnent dans des Tables Delta ou écrivent dans plusieurs récepteurs peuvent désormais tirer parti du récepteur Foreachbatch traité par Photon.

Prise en charge implicite de l’aliasing de column latérale

Azure Databricks prend désormais en charge l’alias de column latéral implicite par défaut. Vous pouvez maintenant réutiliser une expression spécifiée précédemment dans la même SELECTlist. Par exemple, étant donné SELECT 1 AS a, a + 1 AS b, le a dans a + 1 peut être résolu comme le 1 AS a défini précédemment. Pour plus d’informations sur l’ordre de résolution, consultez Résolution de noms. Pour désactiver cette fonctionnalité, vous pouvez setspark.sql.lateralColumnAlias.enableImplicitResolution sur false.

Nouvelle fonctionnalité forEachBatch

Photon est désormais pris en charge lors de l’utilisation de foreachBatch pour écrire dans un récepteur de données.

Options de connexion standardisées pour la fédération des requêtes

Vous pouvez maintenant utiliser un set unifié d’options (hôte, port, base de données, utilisateur, mot de passe) pour vous connecter aux sources de données prises en charge dans la fédération de requêtes. Port est facultatif et utilise le numéro de port par défaut pour chaque source de données, sauf s’il est spécifié.

Bibliothèque de fonctions SQL étendue pour la gestion des tableaux

Vous pouvez maintenant remove tous les éléments NULL d’un tableau à l’aide de array_compact. Pour ajouter des éléments à un tableau, utilisez array_append.

Nouvelle fonction de masque pour anonymiser les chaînes

Appelez la fonction de masque pour anonymiser la chaîne sensible values.

Les conditions d’erreur courantes retournent maintenant des SQLSTATE

La plupart des conditions d'erreur de Databricks Runtime inclut désormais un document SQLSTATE values, qui peut être utilisé pour tester les erreurs de manière conforme à la norme SQL.

Appeler les fonctions de génération dans la clause FROM

Vous pouvez maintenant appeler des fonctions de génération table telles que explode dans la clause FROM régulière d’une requête. Cela aligne l'appel d'une fonction génératrice avec les autres fonctions intégrées et définies par l'utilisateur table.

La prise en charge des mémoires tampons de protocole est généralement disponible

Vous pouvez utiliser les fonctions from_protobuf et to_protobuf pour échanger des données entre des types binaires et struct. Consultez Tampons de protocole de lecture et d’écriture.

Atteindre la définition pour les variables et fonctions de notebook

Dans les notebooks, vous pouvez rapidement accéder à la définition d’une variable, d’une fonction ou du code derrière une instruction %run en cliquant avec le bouton droit sur le nom de la variable ou de la fonction.

Correctif rapide du Notebook pour l’importation automatique de bibliothèques

Les Databricks Notebooks offrent désormais une fonction de correction rapide pour l'importation automatique de bibliothèques. Si vous oubliez d’importer une bibliothèque comme pandas, pointez sur l’avertissement de syntaxe souligné, puis cliquez sur correctif rapide, cette fonctionnalité nécessite que l’Assistant Databricks soit activé dans votre espace de travail.

Résolution des bogues

• Amélioration de la cohérence pour le comportement de validation Delta pour les transactions vides relatives aux commandes update, delete et merge. Au niveau d’isolation WriteSerializable, les commandes qui n’entraînent aucune modification créent désormais une validation vide. Au niveau d’isolation Serializable, de telles transactions vides ne créent plus de validation.

Changements de comportement

Changements de comportement avec la nouvelle fonctionnalité d’alias de column latérale

La nouvelle fonctionnalité d’alias latérale column introduit des modifications de comportement pour les cas suivants lors de la résolution de noms :

• L’alias de column latérale est désormais prioritaire sur les références corrélées portant le même nom. Par exemple, pour cette requête SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), le c1 du c1 AS c2 interne a été résolu en référence corrélée t.c1, mais devient maintenant l’alias de column latérale 1 AS c1. La requête retourne maintenant NULL.
• L'alias latéral column est désormais prioritaire sur la fonction parameters portant le même nom. Par exemple, pour la fonction, CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, le x dans le corps de la fonction a été résolu au paramètre de la fonction x, mais devient l’alias de column latérale x + 1 dans le corps de la fonction. La requête SELECT * FROM func(1) retourne maintenant 2, 2.
• Pour désactiver la fonctionnalité d’alias de column latérale, setspark.sql.lateralColumnAlias.enableImplicitResolution sur false. Pour plus d'informations, consultez Résolution de noms.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de 3.8.2 à 3.9.0
  • joblib de 1.1.0 à 1.1.1
  • platformdirs de 2.6.0 à 2.6.2
  • whatthepatch de 1.0.3 à 1.0.4
• Bibliothèques R mises à niveau :
  • class de 7.3-20 à 7.3-21
  • codetools de 0.2-18 à 0.2-19
  • MASS de 7.3-58 à 7.3-58.2
  • nlme de 3.1-160 à 3.1-162
  • Rserve de 1.8-11 à 1.8-12
  • SparkR de 3.3.1 à 3.3.2

Changements de comportement

• Les utilisateurs doivent désormais disposer de privilèges SELECT et MODIFY sur n’importe quel fichier lors de la création d’un schema avec un emplacement défini.

Apache Spark

Databricks Runtime 12.2 inclut Apache Spark 3.3.2. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 12.1 (EoS), ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-42416] [SC-123205][SC-122851][SQL] Les opérations d’ensemble de dates ne doivent pas résoudre à nouveau le plan logique analysé
• [SPARK-41848] Rétablir “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Correction de la tâche sur-planifiée avec TaskResourceProfile”
• [SPARK-42162] [SC-122711][ES-556261] Introduire l’expression MultiCommutativeOp comme optimisation de la mémoire pour canoniser de grandes arborescences d’expressions commutatives
• [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Correction du paramètre de profondeur récursive des fonctions Protobuf
• [SPARK-42002] [SC-122476][CONNECT][PYTHON] Implémenter DataFrameWriterV2
• [SPARK-41716] [SC-122545][CONNECT] Renommer _catalog_to_pandas en _execute_and_fetch dans le Catalog
• [SPARK-41490] [SC-121774][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Implémenter Catalog.cacheTable, isCached et uncache
• [SPARK-42191] [SC-121990][SQL] Prise en charge de l’UDF 'luhn_check'
• [SPARK-42253] [SC-121976][PYTHON] Ajouter un test de détection d’une classe d’erreur en double
• [SPARK-42268] [SC-122251][CONNECT][PYTHON] Ajouter UserDefinedType dans protos
• [SPARK-42231] [SC-121841][SQL] Transformer MISSING_STATIC_PARTITION_COLUMN en internalError
• [SPARK-42136] [SC-122554] Refactoriser le calcul de partitionnement de la sortie BroadcastHashJoinExec
• [SPARK-42158] [SC-121610][SQL] Intégrer _LEGACY_ERROR_TEMP_1003 dans FIELD_NOT_FOUND
• [SPARK-42192] [12.x][SC-121820][PYTHON] Migrer le TypeError de pyspark/sql/dataframe.py vers PySparkTypeError
• [SPARK-35240] Rétablir “[SC-118242][SS] Utiliser CheckpointFileManager ....
• [SPARK-41488] [SC-121858][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1176 (et 1177)
• [SPARK-42232] [SC-122267][SQL] Renommer la classe d’erreur : UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][SQL] Réécrire des agrégats distincts après la fusion de sous-requête
• [SPARK-42306] [SC-122539][SQL] Intégrer _LEGACY_ERROR_TEMP_1317 dans UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][SQL] Renommer la classe d’erreur : UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][CORE] Ignorer IOException dans handleBlockRemovalFailure si SparkContext est arrêté
• [SPARK-41295] [SC-122442][SPARK-41296][SQL] Renommer les classes d’erreur
• [SPARK-42320] [SC-122478][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][CONNECT] SparkConnectClient prend désormais en charge RetryPolicies
• [SPARK-38728] [SC-116723][SQL] Tester la classe d’erreur : FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Exemples autonomes dans PySpark
• [SPARK-39347] [SC-122457][SS] Correctif de bogues pour le calcul de la window de temps lorsque l’heure de l’événement < 0
• [SPARK-42336] [SC-122458][CORE] Utiliser getOrElse() au lieu de contains() dans ResourceAllocator
• [SPARK-42125] [SC-121827][CONNECT][PYTHON] UDF Pandas dans Spark Connect
• [SPARK-42217] [SC-122263][SQL] Prise en charge implicite de l’aliasing de column latérale dans les requêtes avec Window
• [SPARK-35240] [SC-118242][SS] Utiliser CheckpointFileManager pour la manipulation du fichier de point de contrôle
• [SPARK-42294] [SC-122337][SQL] Inclure columnvalues par défaut dans la sortie DESCRIBE pour V2 tables
• [SPARK-41979] Rétablir “Revert “[12.x][SC-121190][SQL] Ajouter les points manquants pour les messages d’erreur des classes d’erreur.””
• [SPARK-42286] [SC-122336][SQL] Secours vers le chemin de code codegen précédent pour une expression complexe avec CAST
• [SPARK-42275] [SC-122249][CONNECT][PYTHON] Éviter d’utiliser une list intégrée, dicter en typage statique
• [SPARK-41985] [SC-122172][SQL] Centraliser davantage de règles de résolution column
• [SPARK-42126] [SC-122330][PYTHON][CONNECT] Accepter le type de retour dans les chaînes DDL pour les UDF scalaires Python dans Spark Connect
• [SPARK-42197] [SC-122328][SC-121514][CONNECT] Réutilise l’initialisation JVM et sépare les groupes de configuration pour set en mode local distant
• [SPARK-41575] [SC-120118][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Rétablir « [SC-122172][SQL] Centraliser d’autres règles de résolution de column »
• [SPARK-42123] [SC-122234][SC-121453][SQL] Inclure les valeurs par défaut de columnvalues par défaut dans la sortie de DESCRIBE et SHOW CREATE TABLE
• [SPARK-41985] [SC-122172][SQL] Centraliser davantage de règles de résolution column
• [SPARK-42284] [SC-122233][CONNECT] Vérifier que l’assembly de serveur de connexion est généré avant d’exécuter des tests clients - SBT
• [SPARK-42239] [SC-121790][SQL] Intégrer MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][SQL] DS V2 pushdown prend en charge la compilation SortOrder des dialectes JDBC par eux-mêmes
• [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics doit faire attention à Python UDAF
• [SPARK-41979] Rétablir “[12.x][SC-121190][SQL] Ajouter les points manquants des messages d’erreur des classes d’erreur.”
• [SPARK-42224] [12.x][SC-121708][CONNECT] Migrer TypeError dans l’infrastructure d’erreur des fonctions Spark Connect
• [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] Migrer les erreurs Spark Connect dans l’infrastructure d’erreurs PySpark.
• [SPARK-42119] [SC-121913][SC-121342][SQL] Ajouter des fonctions de table intégrées inline et inline_outer
• [SPARK-41489] [SC-121713][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] Présenter PySparkValueError et PySparkTypeError
• [SPARK-42081] [SC-121723][SQL] Améliorer la validation des modifications de plan
• [SPARK-42225] [12.x][SC-121714][CONNECT] Ajouter SparkConnectIllegalArgumentException pour gérer l’erreur Spark Connect avec précision.
• [SPARK-42044] [12.x][SC-121280][SQL] Corriger un message d’erreur incorrect de MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][SC-121712][PS] Autoriser le paramètre de columns lors de la création d’un DataFrame avec Series.
• [SPARK-42078] [12.x][SC-120761][PYTHON] Migrer les erreurs levées par JVM dans PySparkException.
• [SPARK-42133] [12.x][SC-121250] Ajouter des méthodes d’API de jeu de données de base à SparkConnect Scala Client
• [SPARK-41979] [12.x][SC-121190][SQL] Ajouter les points manquants pour les messages d’erreur des classes d’erreur.
• [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] UDF Python scalaire inline Scalar dans Spark Connect
• [SPARK-42051] [SC-121994][SQL] Prise en charge de HiveGenericUDF par Codegen
• [SPARK-42257] [SC-121948][CORE] Remove un trieur externe de variable inutilisé
• [SPARK-41735] [SC-121771][SQL] Utiliser MINIMAL au lieu de STANDARD pour SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][SQL] Affiner NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][SQL] Améliorer le message d’erreur de PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][CORE] Migrer SparkCoreErrors vers les classes d’erreur
• [SPARK-42163] [SC-121839][SQL] Correction du nettoyage du schema pour l’index de tableau non pliable ou la clé de carte
• [SPARK-40711] [SC-119990][SQL] Ajouter des métriques de taille de déversement pour window
• [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] Faire prendre en charge le forçage de type createDataFrame par AtomicType -> StringType
• [SPARK-42202] [SC-121837][Connect][Test] Améliorer la logique d’arrêt du serveur de test E2E
• SPARK-41167 [SC-117425][SQL] Améliorer les performances de type multi en créant un prédicat d’arborescence de l’expression équilibré
• [SPARK-41931] [SC-121618][SQL] Améliorer le message d’erreur pour une définition de type complexe incomplète
• [SPARK-36124] [SC-121339][SC-110446][SQL] Prendre en charge les sous-requêtes avec corrélation via UNION
• [SPARK-42090] [SC-121290][3.3] Introduire le nombre de nouvelles tentatives sasl dans RetryingBlockTransferor
• [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR doit fournir le planificateur FAIR
• [SPARK-41572] [SC-120772][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-121224][SQL] Renommer et améliorer le message d’erreur de NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][SQL] Améliorer le message d’erreur de INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][SC-120573] Affecter SQLSTATE (1/2)
• [SPARK-41415] [SC-121117][3.3] Nouvelles tentatives de requête SASL
• SPARK-38591[SC-121018][SQL] Ajouter flatMapSortedGroups et cogroupSorted
• [SPARK-41975] [SC-120767][SQL] Améliorer le message d’erreur de INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][SQL][PROTOBUF] Ajouter des options manquantes aux fonctions Protobuf
• [SPARK-41984] [SC-120769][SQL] Renommer et améliorer le message d’erreur de RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][SQL] Corriger NPE pour les classes d’erreur : CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][CONNECT][PYTHON] Corriger le nom incorrect de column dans le doctest de withField
• [SPARK-41283] [SC-121175][CONNECT][PYTHON] Ajouter array_append à Connect
• [SPARK-41960] [SC-120773][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][SQL] Corriger getPartitionFiltersAndDataFilters() pour gérer les filtres sans attributs référencés
• [SPARK-42096] [SC-121012][CONNECT] Nettoyer le code du module connect
• [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] Corriger count(*) et count(col(*))
• [SPARK-42045] [SC-120958][SC-120450][SQL] Mode SQL ANSI : Round/Bround doit retourner une erreur sur le dépassement d’entier
• [SPARK-42043] [SC-120968][CONNECT] Résultat du client Scala aux tests E2E
• [SPARK-41884] [SC-121022][CONNECT] Prendre en charge le tuple naïf en tant que ligne imbriquée
• [SPARK-42112] [SC-121011][SQL][SS] Ajouter une vérification null avant le ContinuousWriteRDD#compute de fermeture de la fonction dataWriter
• [SPARK-42077] [SC-120553][CONNECT][PYTHON] Le littéral doit lever TypeError pour un DataType non pris en charge
• [SPARK-42108] [SC-120898][SQL] Faire transformer Count(*) en Count(1) par l’analyseur
• [SPARK-41666] [SC-120928][SC-119009][PYTHON] Prendre en charge SQL paramétré par sql()
• [SPARK-40599] [SC-120930][SQL] Assouplir le type de règle multiTransform pour permettre aux alternatives d’être n’importe quel type de Seq
• [SPARK-41574] [SC-120771][SQL] Update_LEGACY_ERROR_TEMP_2009 en tant que INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][SQL] Transformer INCORRECT_END_OFFSET en INTERNAL_ERROR
• [SPARK-41530] [SC-120916][SC-118513][CORE] Renommer MedianHeap en PercentileMap et prendre en charge le centile
• [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Correction de la représentation sous forme de chaîne pour Column classe
• [SPARK-42084] [SC-120775][SQL] Éviter la fuite de la restriction d’accès qualifié uniquement
• [SPARK-41973] [SC-120765][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][SQL] SPJ : Remove une option dans KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][CONNECT][PYTHON] Renommer les messages proto pour toDF et withColumnsRenamed
• [SPARK-42089] [SC-120605][CONNECT][PYTHON] Corriger les problèmes de nom de variable dans les fonctions lambda imbriquées
• [SPARK-41982] [SC-120604][SQL] Les partitions de type chaîne ne doivent pas être traitées comme des types numériques
• [SPARK-40599] [SC-120620][SQL] Ajouter des méthodes multiTransform à TreeNode pour generate des alternatives
• [SPARK-42085] [SC-120556][CONNECT][PYTHON] Faire prendre en charge les types imbriqués par from_arrow_schema
• [SPARK-42057] [SC-120507][SQL][PROTOBUF] Corriger la façon dont l’exception est gérée dans les rapports d’erreur.
• [SPARK-41586] [12.x][ALL TESTS][SC-120544][PYTHON] Introduire pyspark.errors et les classes d’erreur pour PySpark.
• [SPARK-41903] [SC-120543][CONNECT][PYTHON] Literal doit prendre en charge 1-dim ndarray
• [SPARK-42021] [SC-120584][CONNECT][PYTHON] Faire prendre en charge createDataFrame par array.array
• [SPARK-41896] [SC-120506][SQL] Le filtrage par index de ligne retourne des résultats vides
• [SPARK-41162] [SC-119742][SQL] Corriger les anti- et semi-join pour l’auto-join avec des agrégations
• [SPARK-41961] [SC-120501][SQL] Prise en charge des fonctions table-valued avec LATERAL
• [SPARK-41752] [SC-120550][SQL][UI] Regrouper les exécutions imbriquées sous l’exécution racine
• [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] Le littéral doit prendre en charge les types de données Numpy
• [SPARK-42028] [SC-120344][CONNECT][PYTHON] Tronquer les timestamps en nanosecondes
• [SPARK-42011] [SC-120534][CONNECT][PYTHON] Implémenter DataFrameReader.csv
• [SPARK-41990] [SC-120532][SQL] Utiliser FieldReference.column au lieu de apply dans la conversion de filtre V1 en V2
• [SPARK-39217] [SC-120446][SQL] Faire prendre en charge le côté élagage d’Union par DPP
• [SPARK-42076] [SC-120551][CONNECT][PYTHON] Factoriser la conversion de données arrow -> rows en conversion.py
• [SPARK-42074] [SC-120540][SQL] Activer KryoSerializer dans TPCDSQueryBenchmark pour appliquer l’inscription de classe SQL
• [SPARK-42012] [SC-120517][CONNECT][PYTHON] Implémenter DataFrameReader.orc
• [SPARK-41832] [SC-120513][CONNECT][PYTHON] Corriger DataFrame.unionByName, ajouter allow_missing_columns
• [SPARK-38651] [SC-120514][SQL] Ajouter spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert doit accepter ExpressionProxy comme enfant
• [SPARK-41232] [SC-120073][SQL][PYTHON] Ajouter la fonction array_append
• [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] DataFrameReader doit prendre en charge une list de chemins d’accès
• [SPARK-42071] [SC-120533][CORE] Inscrire scala.math.Ordering$Reverse auprès de KryoSerializer
• [SPARK-41986] [SC-120429][SQL] Introduction de la lecture aléatoire sur SinglePartition
• [SPARK-42016] [SC-120428][CONNECT][PYTHON] Activer les tests liés aux column imbriqués
• [SPARK-42042] [SC-120427][CONNECT][PYTHON] DataFrameReader doit prendre en charge la schema StructType
• [SPARK-42031] [SC-120389][CORE][SQL] Nettoyer les méthodes remove qui n’ont pas besoin de remplacement
• [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] Faire prendre en charge les types imbriqués par createDataFrame(rows/lists/tuples/dicts)
• [SPARK-41437] [SC-117601][SQL][ALL TESTS] N’optimize pas la requête de saisie deux fois pour le retour d’écriture v1
• [SPARK-41840] [SC-119719][CONNECT][PYTHON] Ajout de l’alias manquant groupby
• [SPARK-41846] [SC-119717][CONNECT][PYTHON] Activer les doctests pour les fonctions window
• [SPARK-41914] [SC-120094][SQL] FileFormatWriter matérialise le plan AQE avant d’accéder à outputOrdering
• [SPARK-41805] [SC-119992][SQL] Réutiliser des expressions dans WindowSpecDefinition
• [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range doit prendre float comme arguments
• [SPARK-42029] [SC-120336][CONNECT] Ajouter des règles de shading Guava à connect-common pour éviter un échec de démarrage
• [SPARK-41989] [SC-120334][PYTHON] Éviter d’interrompre la configuration de la journalisation de pyspark.pandas
• [SPARK-42003] [SC-120331][SQL] Réduire le code en double dans ResolveGroupByAll
• [SPARK-41635] [SC-120313][SQL] Correction des rapports d’erreur de la clause group by all
• [SPARK-41047] [SC-120291][SQL] Améliorer la documentation relative à round
• [SPARK-41822] [SC-120122][CONNECT] Configurer la connexion gRPC pour le client Scala/JVM
• [SPARK-41879] [SC-120264][CONNECT][PYTHON] Faire prendre en charge les types imbriqués par DataFrame.collect
• [SPARK-41887] [SC-120268][CONNECT][PYTHON] Rendre DataFrame.hint accepter list paramètre typé
• [SPARK-41964] [SC-120210][CONNECT][PYTHON] Ajouter la list des fonctions d’E/S non prises en charge
• [SPARK-41595] [SC-120097][SQL] Prendre en charge la fonction de génération explode/explode_outer dans la clause FROM
• [SPARK-41957] [SC-120121][CONNECT][PYTHON] Activer le doctest pour DataFrame.hint
• [SPARK-41886] [SC-120141][CONNECT][PYTHON] La sortie du doctest DataFrame.intersect a un ordre différent
• [SPARK-41442] [SC-117795][SQL][ALL TESTS] Uniquement update valeur SQLMetric si fusion avec une métrique valide
• [SPARK-41944] [SC-120046][CONNECT] Passer des configurations lorsque le mode distant local est activé
• [SPARK-41708] [SC-119838][SQL] Extraire les informations v1write vers WriteFiles
• [SPARK-41780] [SC-120000][SQL] Doit lever INVALID_PARAMETER_VALUE.PATTERN lorsque le parametersregexp n’est pas valide
• [SPARK-41889] [SC-119975][SQL] Attacher la cause racine à invalidPatternError et refactoriser les classes d’erreur INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][SQL] Créer des classes de cas AvroScanBuilder et JsonScanBuilder
• [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python : connecter le client a perdu column données avec pyarrow.Table.to_pylist
• [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] Encodeurs agnostiques
• [SPARK-41354] [SC-119995][CONNECT][PYTHON] Implémenter RepartitionByExpression
• [SPARK-41581] [SC-1119997][SQL] Update_LEGACY_ERROR_TEMP_1230 en tant que INTERNAL_ERROR
• [SPARK-41928] [SC-119972][CONNECT][PYTHON] Ajouter le list non pris en charge pour functions
• [SPARK-41933] [SC-119980][CONNECT] Fournir un mode local qui démarre automatiquement le serveur
• fr-FR: [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame doit respecter la DDL fournie par l'utilisateur schema
• [SPARK-41936] [SC-119978][CONNECT][PYTHON] Faire réutiliser le proto withMetadata par withColumns
• [SPARK-41898] [SC-119931][CONNECT][PYTHON] Window.rowsBetween, Window.rangeBetween parameters vérification de la parité des types avec pyspark
• [SPARK-41939] [SC-119977][CONNECT][PYTHON] Ajouter le list non pris en charge pour les fonctions catalog
• [SPARK-41924] [SC-119946][CONNECT][PYTHON] Faire prendre en charge les métadonnées par StructType et implémenter DataFrame.withMetadata
• [SPARK-41934] [SC-119967][CONNECT][PYTHON] Ajouter la fonction non prise en charge list pour session
• [SPARK-41875] [SC-119969][CONNECT][PYTHON] Ajouter des cas de test pour Dataset.to()
• [SPARK-41824] [SC-119970][CONNECT][PYTHON] Ignore the doctest for explain of connect
• [SPARK-41880] [SC-119959][CONNECT][PYTHON] Faire en sorte que la fonction from_json accepte de schema non littérales
• [SPARK-41927] [SC-119952][CONNECT][PYTHON] Ajouter la list non prise en charge pour GroupedData
• [SPARK-41929] [SC-119949][CONNECT][PYTHON] Ajouter la fonction array_compact
• [SPARK-41827] [SC-119841][CONNECT][PYTHON] Permettre à GroupBy d'accepter columnlist
• [SPARK-41925] [SC-119905][SQL] Activer spark.sql.orc.enableNestedColumnVectorizedReader par défaut
• [SPARK-41831] [SC-119853][CONNECT][PYTHON] Rendre DataFrame.select accepter columnlist
• [SPARK-41455] [SC-119858][CONNECT][PYTHON] Faire en sorte que DataFrame.collect élimine les informations de timezone
• [SPARK-41923] [SC-119861][CONNECT][PYTHON] Ajouter DataFrame.writeTo au list non pris en charge
• [SPARK-41912] [SC-119837][SQL] La sous-requête ne doit pas valider la CTE
• [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] Faire prendre en charge les dataframes vides par createDataFrame
• [SPARK-41905] [SC-119848][CONNECT] Prendre charge les noms en tant que chaînes dans le slice
• [SPARK-41869] [SC-119845][CONNECT] Rejeter une chaîne unique dans dropDuplicates
• [SPARK-41830] [SC-119840][CONNECT][PYTHON] Rendre DataFrame.sample accepter les mêmes parameters que PySpark
• [SPARK-41849] [SC-119835][CONNECT] Implémenter DataFrameReader.text
• [SPARK-41861] [SC-119834][SQL] Faire que la build() de v2 ScanBuilders retourne une analyse typée
• [SPARK-41825] [SC-119710][CONNECT][PYTHON] Activer les doctests liés à DataFrame.show
• [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] Faire que createDataFrame gère None/NaN correctement
• [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] Faire que DataFrame.collect gère None/NaN/Array/Binary correctement
• [SPARK-39318] [SC-119713][SQL] Remove tpch-plan-stability WithStats golden files
• [SPARK-41791] [SC-119745] Ajouter de nouvelles métadonnées de source de fichier column types
• [SPARK-41790] [SC-119729][SQL] Set correctement le format du lecteur et de l’enregistreur TRANSFORM
• [SPARK-41829] [SC-119725][CONNECT][PYTHON] Ajouter le paramètre de classement manquant dans Sort et sortWithinPartitions
• [SPARK-41576] [SC-119718][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][CONNECT][PYTHON] Corriger le test de documentation pour DataFrame.describe
• [SPARK-41871] [SC-119714][CONNECT] Le paramètre d’indicateur DataFrame peut être str, float ou int
• [SPARK-41720] [SC-119076][SQL] Renommer UnresolvedFunc en UnresolvedFunctionName
• [SPARK-41573] [SC-119567][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][SQL] Corriger le bogue d’exactitude lié aux values DEFAULT dans le lecteur Orc
• [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Réutiliser INVALID_TYPED_LITERAL au lieu de _LEGACY_ERROR_TEMP_0022

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 12.2.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.5 LTS
• Java  Zulu 8.68.0.21-CA-linux64
• Scala : 2.12.15
• Python : 3.9.19
• R: 4.2.2
• Delta Lake: 2.2.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 11/11/2022.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)