Databricks Runtime 12.2 LTS

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 12.2 LTS, con tecnología de Apache Spark 3.3.2.

Databricks publicó esta versión en marzo de 2023.

Cambios en el comportamiento

[Cambio importante] La nueva versión de Python requiere actualizar los clientes de Python de Databricks Connect V1

Para aplicar los parches de seguridad necesarios, la versión de Python de Databricks Runtime 12.2 LTS se actualiza de 3.9.5 a 3.9.19. Dado que estos cambios pueden provocar errores en los clientes que usan funciones específicas de PySpark, los clientes que usan Databricks Connect V1 para Python con Databricks Runtime 12.2 LTS deben actualizar a Python 3.9.7 o posterior.

Nuevas características y mejoras

• Python actualizado de 3.9.19 a 3.9.21
• La evolución del esquema de Delta Lake admite la especificación de columnas de origen en instrucciones de combinación
• Las cargas de trabajo de Structured Streaming se admiten en clústeres con modo de acceso compartido
• Nuevas características para E/S predictivas
• Compatibilidad con alias de columna lateral implícita
• Nueva característica forEachBatch
• Opciones de conexión estandarizadas para la federación de consultas
• Biblioteca de funciones SQL extendidas para la administración de matrices
• Nueva función de máscara para anonimizar cadenas
• Las condiciones de error comunes ahora devuelven valores de SQLSTATE
• Invocación de funciones generadoras en la cláusula FROM
• La compatibilidad con búferes de protocolo está disponible con carácter general
• Ir a la definición para las variables y funciones del cuaderno
• Corrección rápida de Notebook para la importación automática de bibliotecas
• Correcciones de errores

Python actualizado de 3.9.19 a 3.9.21

La versión de Python de Databricks Runtime 12.2 LTS se actualiza de 3.9.19 a 3.9.21.

La evolución del esquema de Delta Lake admite la especificación de columnas de origen en instrucciones de combinación

Ahora puede especificar columnas presentes solo en la tabla de origen en acciones de inserción o actualización para instrucciones de combinación cuando la evolución del esquema está habilitada. En Databricks Runtime 12.1 y en las versiones posteriores, solo se pueden usar las acciones INSERT * o UPDATE SET * para la evolución del esquema con combinación. Consulte Evolución automática del esquema para la combinación de Delta Lake.

Las cargas de trabajo de Structured Streaming se admiten en clústeres con modo de acceso compartido

Ahora puede usar Structured Streaming para interactuar con Catalogo de Unity en computación con el modo de acceso estándar. Se aplican algunas limitaciones. Consulte ¿Qué funcionalidad de Structured Streaming admite Unity Catalog?.

Nuevas características para E/S predictivas

La compatibilidad de Photon con el receptor Foreachbatch ya está disponible. Las cargas de trabajo que se transmiten desde un origen y se combinan en tablas delta o que escriben en varios receptores ahora pueden beneficiarse del receptor Photonized Foreachbatch.

Compatibilidad con alias de columna lateral implícita

Azure Databricks ahora admite el alias de columna lateral implícito de forma predeterminada. Ahora puede reutilizar una expresión especificada anteriormente en la misma lista SELECT. Por ejemplo, dado SELECT 1 AS a, a + 1 AS b, la a en a + 1 se puede resolver como el elemento 1 AS a anteriormente definido. Consulte Resolución de nombres para obtener más detalles sobre el orden de resolución. Para desactivar esta característica, puede establecer spark.sql.lateralColumnAlias.enableImplicitResolution en false.

Nueva característica forEachBatch

Photon ahora se admite al usar foreachBatch para escribir en un receptor de datos.

Opciones de conexión estandarizadas para la federación de consultas

Ahora puede usar un conjunto unificado de opciones (host, puerto, base de datos, usuario, contraseña) para conectarse a orígenes de datos admitidos en federación de consultas. Port es opcional y usa el número de puerto predeterminado para cada origen de datos si no se proporciona.

Biblioteca de funciones SQL extendidas para la administración de matrices

Ahora puede quitar todos los elementos NULL de una matriz mediante array_compact. Para anexar elementos a una matriz, use array_append.

Nueva función de máscara para anonimizar cadenas

Invoque la función de máscara para anonimizar valores de cadena confidenciales.

Las condiciones de error comunes ahora devuelven valores de SQLSTATE

La mayoría de las condiciones de error de Databricks Runtime ahora incluyen valores de SQLSTATE documentados, que se pueden usar para pruebas de errores de forma de cumpla con el estándar de SQL.

Invocación de funciones generadoras en la cláusula FROM

Ahora puede invocar funciones de generador con valores de tabla, como explode en la cláusula regular FROM de una consulta. Esto alinea la invocación de función del generador con otras funciones de tabla integradas y definidas por el usuario.

La compatibilidad con búferes de protocolo está disponible con carácter general

Puede usar las funciones from_protobuf y to_protobuf para intercambiar datos entre tipos binarios y struct. Consulte Búferes de protocolo de lectura y escritura.

Ir a la definición para las variables y funciones del cuaderno

En los cuadernos, puede ir rápidamente a la definición de una variable, función o el código detrás de una instrucción %run haciendo clic con el botón derecho en el nombre de la variable o función.

Corrección rápida de Notebook para la importación automática de bibliotecas

Los Notebooks de Databricks ahora ofrecen una característica de corrección rápida para las bibliotecas de importación automática. Si olvida importar una biblioteca como Pandas, mantenga el puntero sobre la advertencia de sintaxis subrayada y, a continuación, haga clic en Corrección rápida, esta característica requiere que Databricks Assistant esté habilitado en el área de trabajo.

Corrección de errores

• Coherencia mejorada para el comportamiento de confirmación Delta para transacciones vacías relacionadas con los comandos update, delete y merge. En el nivel de aislamiento WriteSerializable, los comandos que no dan lugar a cambios ahora crean una confirmación vacía. En un nivel de aislamiento Serializable, estas transacciones vacías ahora no crean una confirmación.

Cambios de comportamiento

Cambios de comportamiento con la nueva característica de alias de columna lateral

La nueva característica de alias de columna lateral presenta cambios de comportamiento para los siguientes casos durante la resolución de nombres:

• Ahora, el alias de columna lateral tiene prioridad sobre las referencias correlacionadas con el mismo nombre. Por ejemplo, para esta consulta SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), el elemento c1 en el c1 AS c2 interno, se resolvió en la referencia correlacionada t.c1, pero ahora cambia al alias 1 AS c1 de la columna lateral. La consulta ahora devuelve NULL.
• Ahora, el alias de columna lateral tiene prioridad sobre los parámetros de función con el mismo nombre. Por ejemplo, para la función, CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, el elemento x del cuerpo de la función se resolvió en el parámetro de función x, pero cambia al alias x + 1 de columna lateral en el cuerpo de la función. La consulta, SELECT * FROM func(1) ahora devuelve 2, 2.
• Para desactivar la característica de alias de columna lateral, establezcaspark.sql.lateralColumnAlias.enableImplicitResolution en false. Para obtener más información, consulte Resolución de nombres.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • filelock de 3.8.2 a 3.9.0
  • joblib de 1.1.0 a 1.1.1
  • platformdirs de 2.6.0 a 2.6.2
  • whatthepatch de 1.0.3 a 1.0.4
• Bibliotecas de R actualizadas:
  • clase de 7.3-20 a 7.3-21
  • codetools de 0.2-18 a 0.2-19
  • MASS de 7.3-58 a 7.3-58.2
  • nlme de 3.1-160 a 3.1-162
  • Rserve de 1.8-11 a 1.8-12
  • SparkR de 3.3.1 a 3.3.2

Cambios de comportamiento

• Ahora, los usuarios deben tener los privilegios SELECT y MODIFY en cualquier archivo al crear un esquema con una ubicación definida.

Apache Spark

Databricks Runtime 12.2 incluye Apache Spark 3.3.2. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 12.1 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-42416] [SC-123205][sc-122851][SQL] Las operaciones dateset no deben resolver de nuevo el plan lógico analizado.
• [SPARK-41848] Revertir "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Corrección de tareas programadas con TaskResourceProfile"
• [SPARK-42162] [SC-122711][es-556261] Introduce la expresión MultiCommutativeOp como una optimización de memoria para canónicor árboles grandes de expresiones conmutantes
• [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Corregir la configuración de profundidad recursiva para las funciones protobuf
• [SPARK-42002] [SC-122476][connect][PYTHON] Implementar DataFrameWriterV2
• [SPARK-41716] [SC-122545][connect] Cambiar el nombre de _catalog_to_pandas a _execute_and_fetch en el catálogo
• [SPARK-41490] [SC-121774][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Implementar Catalog.cacheTable, isCached y uncache
• [SPARK-42191] [SC-121990][sql] Compatibilidad con udf "luhn_check"
• [SPARK-42253] [SC-121976][python] Agregar prueba para detectar la clase de error duplicada
• [SPARK-42268] [SC-122251][connect][PYTHON] Agregar UserDefinedType en los protos
• [SPARK-42231] [SC-121841][sql] Convertir MISSING_STATIC_PARTITION_COLUMN en internalError
• [SPARK-42136] [SC-122554] Refactorizar el cálculo de particiones de salida de BroadcastHashJoinExec
• [SPARK-42158] [SC-121610][sql] Integrar _LEGACY_ERROR_TEMP_1003 en FIELD_NOT_FOUND
• [SPARK-42192] [12.x][sc-121820][PYTHON] Migrar TypeError de pyspark/sql/dataframe.py a PySparkTypeError
• [SPARK-35240] Revertir "[SC-118242][ss] Usar CheckpointFileManager ...
• [SPARK-41488] [SC-121858][sql] Asignar nombre a _LEGACY_ERROR_TEMP_1176 (y 1177)
• [SPARK-42232] [SC-122267][sql] Cambiar el nombre de la clase de error: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][sql] Reescribir agregados distintos después de la fusión de subconsultas
• [SPARK-42306] [SC-122539][sql] Integrar _LEGACY_ERROR_TEMP_1317 en UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][sql] Cambiar el nombre de la clase de error: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][core] Omitir IOException en handleBlockRemovalFailure si SparkContext está detenido
• [SPARK-41295] [SC-122442][spark-41296][SQL] Cambiar el nombre de las clases de error
• [SPARK-42320] [SC-122478][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][connect] SparkConnectClient admite ahora RetryPolicies
• [SPARK-38728] [SC-116723][sql] Pruebe la clase de error: FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Ejemplos independientes en PySpark
• [SPARK-39347] [SC-122457][ss] Solución de errores para el cálculo de la ventana de tiempo cuando la hora del evento < 0
• [SPARK-42336] [SC-122458][core] Use getOrElse() en lugar de contains() en ResourceAllocator
• [SPARK-42125] [SC-121827][connect][PYTHON] Pandas UDF en Spark Connect
• [SPARK-42217] [SC-122263][sql] Admite alias de columna lateral implícito en consultas con ventanas
• [SPARK-35240] [SC-118242][ss] Usar CheckpointFileManager para la manipulación de ficheros de punto de control
• [SPARK-42294] [SC-122337][sql] Incluir los valores predeterminados de la columna en la salida de DESCRIBIR para tablas V2
• [SPARK-41979] Revertir “Revertir “[12.x][sc-121190][SQL] Añadir puntos faltantes para mensajes de error en clases de error.””
• [SPARK-42286] [SC-122336][sql] Retrocede a la ruta de ejecución anterior de codegen para una expresión compleja con CAST
• [SPARK-42275] [SC-122249][connect][PYTHON] Evite usar la lista integrada, dict en escritura estática
• [SPARK-41985] [SC-122172][sql] Centralizar más reglas de resolución de columnas
• [SPARK-42126] [SC-122330][python][CONNECT] Aceptar el tipo de valor devuelto en cadenas DDL para UDF escalares de Python en Spark Connect
• [SPARK-42197] [SC-122328][sc-121514][CONNECT] Reutiliza la inicialización de JVM y grupos de configuración independientes para establecer en modo local remoto
• [SPARK-41575] [SC-120118][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Revertir “[SC-122172][sql] Centralizar un mayor número de reglas de resolución de columnas”
• [SPARK-42123] [SC-122234][sc-121453][SQL] Incluir los valores por defecto de las columnas en DESCRIBE y la salida de SHOW CREATE TABLE
• [SPARK-41985] [SC-122172][sql] Centralizar más reglas de resolución de columnas
• [SPARK-42284] [SC-122233][connect] Asegúrese de que el ensamblado del servidor de conexión se compila antes de ejecutar pruebas de cliente: SBT
• [SPARK-42239] [SC-121790][sql] Integrar MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][sql] DS V2 pushdown soporta dialectos JDBC que se compilan SortOrder por sí mismos
• [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics debe ocuparse de UDAF de Python
• [SPARK-41979] Reversión de “[12.x][sc-121190][SQL] Agregar puntos faltantes en los mensajes de error de las clases de error.”
• [SPARK-42224] [12.x][sc-121708][CONNECT] Migrar TypeError al marco de error para las funciones de Spark Connect
• [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Migre los errores de Spark Connect al marco de errores de PySpark.
• [SPARK-42119] [SC-121913][sc-121342][SQL] Agregar funciones de tabla integradas inline y inline_outer
• [SPARK-41489] [SC-121713][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Introducir PySparkValueError y PySparkTypeError
• [SPARK-42081] [SC-121723][sql] Mejorar la validación del cambio de plan
• [SPARK-42225] [12.x][sc-121714][CONNECT] Agregue SparkConnectIllegalArgumentException para controlar precisamente el error de Spark Connect.
• [SPARK-42044] [12.x][sc-121280][SQL] Corregir un mensaje de error incorrecto para MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][sc-121712][PS] Permitir el parámetro columns al crear DataFrame con series.
• [SPARK-42078] [12.x][sc-120761][PYTHON] Migrar errores lanzados por JVM a PySparkException.
• [SPARK-42133] [12.x][sc-121250] Agregar métodos básicos de la API de Dataset al cliente Scala de SparkConnect
• [SPARK-41979] [12.x][sc-121190][SQL] Agregar puntos faltantes para los mensajes de error en las clases de error.
• [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Función escalar definida por el usuario (UDF) en línea en Python en Spark Connect
• [SPARK-42051] [SC-121994][sql] Compatibilidad de Codegen con HiveGenericUDF
• [SPARK-42257] [SC-121948][core] Quitar el clasificador externo de variables sin usar
• [SPARK-41735] [SC-121771][sql] Use MINIMAL en lugar de STANDARD para SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][sql] Refinar NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][sql] Mejorar el mensaje de error para PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][core] Migración de SparkCoreErrors a clases de error
• [SPARK-42163] [SC-121839][sql] Corrección de la poda del esquema para índice de matriz no reducible o clave de mapa
• [SPARK-40711] [SC-119990][sql] Agregar métricas de tamaño de desbordamiento para la ventana
• [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] Hacer que createDataFrame soporte AtomicType -> StringType coercion
• [SPARK-42202] [SC-121837][connect][Test] Mejorar la lógica de detención del servidor de pruebas E2E
• [SPARK-41167] [SC-117425][sql] Mejorar el rendimiento de múltiples operaciones LIKE mediante la creación de un predicado de árbol de expresiones equilibrado
• [SPARK-41931] [SC-121618][sql] Mensaje de error mejor para la definición de tipo complejo incompleta
• [SPARK-36124] [SC-121339][sc-110446][SQL] Compatibilidad con subconsultas con correlación a través de UNION
• [SPARK-42090] [SC-121290][3.3] Introducir el recuento de reintentos sasl en RetryingBlockTransferor
• [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR debería proporcionar un programador FAIR
• [SPARK-41572] [SC-120772][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-121224][sql] Cambiar el nombre de & mejorar el mensaje de error para NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][sql] Mejorar el mensaje de error para INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][sc-120573] Asignar de SQLSTATE (1/2)
• [SPARK-41415] [SC-121117][3.3] Reintentos de solicitud SASL
• [SPARK-38591] [SC-121018][sql] Agregar las funciones flatMapSortedGroups y cogroupSorted
• [SPARK-41975] [SC-120767][sql] Mejorar el mensaje de error para INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][sql][PROTOBUF] Agregar opciones que faltan para las funciones de Protobuf
• [SPARK-41984] [SC-120769][sql] Cambiar el nombre de & y mejorar el mensaje de error para RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][sql] Corregir NPE para clases de error: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][connect][PYTHON] Corregir el nombre de columna incorrecto en el doctest de withField
• [SPARK-41283] [SC-121175][connect][PYTHON] Agregar array_append a Connect
• [SPARK-41960] [SC-120773][sql] Asignar nombre a _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][sql] Corregir getPartitionFiltersAndDataFilters() para controlar filtros sin atributos a los que se hace referencia
• [SPARK-42096] [SC-121012][connect] Limpiar algo de código del módulo connect
• [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] Corrección de count(*) y count(col(*))
• [SPARK-42045] [SC-120958][sc-120450][SQL] Modo ANSI SQL: Round/Bround debe devolver un error en un desbordamiento entero
• [SPARK-42043] [SC-120968][connect] Resultado del cliente de Scala con pruebas E2E
• [SPARK-41884] [SC-121022][connect] Admite la tupla ingenua como una fila anidada
• [SPARK-42112] [SC-121011][sql][SS] Agregar comprobación nula antes de ContinuousWriteRDD#compute función close dataWriter
• [SPARK-42077] [SC-120553][connect][PYTHON] Literal debería lanzar TypeError para tipo de dato no admitido
• [SPARK-42108] [SC-120898][sql] Hacer que el analizador transforme Count(*) en Count(1)
• [SPARK-41666] [SC-120928][sc-119009][PYTHON] Compatibilidad con SQL con parámetros mediante sql()
• [SPARK-40599] [SC-120930][sql] Relajar el tipo de regla multiTransform para permitir alternativas de cualquier tipo de Seq
• [SPARK-41574] [SC-120771][sql] Actualice _LEGACY_ERROR_TEMP_2009 como INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][sql] Asignar nombre a _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][sql] Convertir INCORRECT_END_OFFSET en INTERNAL_ERROR
• [SPARK-41530] [SC-120916][sc-118513][CORE] Cambie el nombre de MedianHeap a PercentileMap y admita percentil
• [SPARK-41757] [SC-120608][spark-41901][CONNECT] Corregir la representación de cadena para la clase Column
• [SPARK-42084] [SC-120775][sql] Evitar la fuga de la restricción de sólo acceso calificado
• [SPARK-41973] [SC-120765][sql] Asignar nombre a _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][sql] SPJ: Eliminar opción en KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][connect][PYTHON] Cambiar el nombre de los mensajes proto para toDF y withColumnsRenamed
• [SPARK-42089] [SC-120605][connect][PYTHON] Solucionar problemas de nombre de variable en funciones lambda anidadas
• [SPARK-41982] [SC-120604][sql] Las particiones de tipo cadena no deben tratarse como tipos numéricos
• [SPARK-40599] [SC-120620][sql] Agregar métodos multiTransform a TreeNode para generar alternativas
• [SPARK-42085] [SC-120556][connect][PYTHON] Hacer que from_arrow_schema admita tipos anidados
• [SPARK-42057] [SC-120507][sql][PROTOBUF] Corregir cómo se controla la excepción en los informes de errores.
• [SPARK-41586] [12.x][todas las pruebas][SC-120544][python] Introduce pyspark.errors y clases de error para PySpark.
• [SPARK-41903] [SC-120543][connect][PYTHON] Literal debe admitir matrices unidimensionales (ndarray)
• [SPARK-42021] [SC-120584][connect][PYTHON] Hacer que createDataFrame admita array.array
• [SPARK-41896] [SC-120506][sql] El filtrado por índice de fila devuelve resultados vacíos
• [SPARK-41162] [SC-119742][sql] Corregir anti- y semicombinación para la autocombinación con agregaciones
• [SPARK-41961] [SC-120501][sql] Compatibilidad con funciones con valores de tabla con LATERAL
• [SPARK-41752] [SC-120550][sql][UI] Agrupar ejecuciones anidadas en la ejecución raíz
• [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Literal debe admitir tipos de datos Numpy
• [SPARK-42028] [SC-120344][connect][PYTHON] Truncar marcas de tiempo nanosegundosl
• [SPARK-42011] [SC-120534][connect][PYTHON] Implementar DataFrameReader.csv
• [SPARK-41990] [SC-120532][sql] Use FieldReference.column en lugar de apply en la conversión de filtro V1 a V2
• [SPARK-39217] [SC-120446][sql] Hace que DPP admita que el lado de poda tenga Union
• [SPARK-42076] [SC-120551][connect][PYTHON] Factor data conversion arrow -> rows a conversion.py
• [SPARK-42074] [SC-120540][sql] Habilitar KryoSerializer en TPCDSQueryBenchmark para aplicar el registro de clases SQL
• [SPARK-42012] [SC-120517][connect][PYTHON] Implementar DataFrameReader.orc
• [SPARK-41832] [SC-120513][connect][PYTHON] Corrección de DataFrame.unionByName, añadir allow_missing_columns
• [SPARK-38651] [SC-120514][SQL] Agregar spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert debe aceptar ExpressionProxy como hijo
• [SPARK-41232] [SC-120073][sql][PYTHON] Agregar array_append función
• [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader debe admitir la lista de rutas de acceso.
• [SPARK-42071] [SC-120533][core] Registrar scala.math.Ordering$Reverse en KyroSerializer
• [SPARK-41986] [SC-120429][sql] Introducir reordenamiento en SinglePartition
• [SPARK-42016] [SC-120428][connect][PYTHON] Habilitación de pruebas relacionadas con la columna anidada
• [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader debe admitir el esquema StructType
• [SPARK-42031] [SC-120389][core][SQL] Limpiar métodos remove que no necesitan sobrescribir
• [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Hacer que createDataFrame(rows/lists/tuples/dicts) soporte tipos anidados
• [SPARK-41437] [SC-117601][sql][ALL TESTS] No optimice la consulta de entrada dos veces al recurrir a la escritura v1.
• [SPARK-41840] [SC-119719][connect][PYTHON] Agregue el alias que falta groupby
• [SPARK-41846] [SC-119717][connect][PYTHON] Habilitación de doctests para funciones de ventana
• [SPARK-41914] [SC-120094][sql] FileFormatWriter materializa el plan AQE antes de acceder a la ordenación de salida
• [SPARK-41805] [SC-119992][sql] Reutilización de expresiones en WindowSpecDefinition
• [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range para aceptar valores de tipo float como argumentos
• [SPARK-42029] [SC-120336][connect] Agregar reglas de sombreado de guava a connect-common para evitar errores de inicio
• [SPARK-41989] [SC-120334][python] Evitar interrumpir la configuración de registro de pyspark.pandas
• [SPARK-42003] [SC-120331][sql] Reducir el código duplicado en ResolveGroupByAll
• [SPARK-41635] [SC-120313][sql] Corregir el grupo por todos los informes de errores
• [SPARK-41047] [SC-120291][sql] Mejorar los documentos para la ronda
• [SPARK-41822] [SC-120122][connect] Configuración de la conexión gRPC para el cliente Scala/JVM
• [SPARK-41879] [SC-120264][connect][PYTHON] Permitir que DataFrame.collect admita tipos anidados
• [SPARK-41887] [SC-120268][connect][PYTHON] Make DataFrame.hint aceptar un parámetro de tipo lista
• [SPARK-41964] [SC-120210][connect][PYTHON] Agregar la lista de funciones de E/S no admitidas
• [SPARK-41595] [SC-120097][sql] Soporte para la función generadora explode/explode_outer en la cláusula FROM
• [SPARK-41957] [SC-120121][connect][PYTHON] Habilitar el Doctest para DataFrame.hint
• [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect salida de doctest tiene un orden diferente
• [SPARK-41442] [SC-117795][sql][ALL TESTS] Solo actualice el valor de SQLMetric si se combina con métrica válida.
• [SPARK-41944] [SC-120046][connect] Pasar configuraciones cuando el modo remoto local está activado
• [SPARK-41708] [SC-119838][sql] Extraer información de v1write para WriteFiles
• [SPARK-41780] [SC-120000][sql] Debe lanzar INVALID_PARAMETER_VALUE.PATTERN cuando el parámetro regexp es inválido
• [SPARK-41889] [SC-119975][sql] Asociar causa raíz a invalidPatternError & refactorizar clases de error INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][sql] Hacer clases de casos AvroScanBuilder y JsonScanBuilder
• [SPARK-41945] [SC-120010][connect][PYTHON] Python: conexión de datos de columna perdidos de cliente con pyarrow. Table.to_pylist
• [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Codificadores agnósticos
• [SPARK-41354] [SC-119995][connect][PYTHON] Implementar RepartitionByExpression
• [SPARK-41581] [SC-119997][sql] Actualizar _LEGACY_ERROR_TEMP_1230 como INTERNAL_ERROR
• [SPARK-41928] [SC-119972][connect][PYTHON] Agregar la lista no admitida para functions
• [SPARK-41933] [SC-119980][connect] Proporcione el modo local que inicie automáticamente el servidor.
• [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame' deben respetar el esquema DDL proporcionado por el usuario.
• [SPARK-41936] [SC-119978][connect][PYTHON] Hacer que withMetadata vuelva a usar el proto de withColumns
• [SPARK-41898] [SC-119931][connect][PYTHON] Paridad de comprobación de tipos de parámetros de Window.rowsBetween, Window.rangeBetween con pyspark
• [SPARK-41939] [SC-119977][connect][PYTHON] Agregar la lista de funciones no admitidas para catalog
• [SPARK-41924] [SC-119946][connect][PYTHON] Hacer que StructType admita metadatos e Implement DataFrame.withMetadata
• [SPARK-41934] [SC-119967][connect][PYTHON] Agregar la lista de funciones no admitidas para session
• [SPARK-41875] [SC-119969][connect][PYTHON] Agregar casos de prueba para Dataset.to()
• [SPARK-41824] [SC-119970][connect][PYTHON] Ignorar el doctest para explicar la conexión
• [SPARK-41880] [SC-119959][connect][PYTHON] Hacer que la función from_json acepte un esquema no literal
• [SPARK-41927] [SC-119952][connect][PYTHON] Añadir la lista no soportada para GroupedData
• [SPARK-41929] [SC-119949][connect][PYTHON] Agregar función array_compact
• [SPARK-41827] [SC-119841][connect][PYTHON] Hacer que GroupBy acepte lista de columnas
• [SPARK-41925] [SC-119905][sql] Habilitar spark.sql.orc.enableNestedColumnVectorizedReader de forma predeterminada
• [SPARK-41831] [SC-119853][connect][PYTHON] Hacer que DataFrame.select acepte lista de columnas
• [SPARK-41455] [SC-119858][connect][PYTHON] Hacer DataFrame.collect descartar la información de zona horaria
• [SPARK-41923] [SC-119861][connect][PYTHON] Agregar DataFrame.writeTo a la lista no admitida
• [SPARK-41912] [SC-119837][sql] Subconsulta no debe validar CTE
• [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Implementar que createDataFrame admita dataframe vacío
• [SPARK-41905] [SC-119848][connect] Compatibilidad con el nombre como cadenas en el slice
• [SPARK-41869] [SC-119845][connect] Rechazar una cadena única en dropDuplicates
• [SPARK-41830] [SC-119840][connect][PYTHON] Hacer que DataFrame.sample acepte los mismos parámetros que PySpark
• [SPARK-41849] [SC-119835][connect] Implementar DataFrameReader.text
• [SPARK-41861] [SC-119834][sql] Hacer que las v2 ScanBuilders construyan y devuelvan un escaneo tipificado
• [SPARK-41825] [SC-119710][connect][PYTHON] Habilitar doctests relacionados con DataFrame.show
• [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] Hacer que createDataFrame control Ninguno/NaN correctamente
• [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] Hacer que DataFrame.collect maneje None/NaN/Array/Binary correctamente.
• [SPARK-39318] [SC-119713][sql] Quitar archivos golden tpch-plan-stability WithStats
• [SPARK-41791] [SC-119745] Agregar nuevos tipos de columna de metadatos de origen de archivo
• [SPARK-41790] [SC-119729][sql] Establecer el formato del lector y del escritor de TRANSFORM correctamente
• [SPARK-41829] [SC-119725][connect][PYTHON] Agregue el parámetro de ordenación que falta en Sort y sortWithinPartitions
• [SPARK-41576] [SC-119718][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][connect][PYTHON] Corrección de pruebas de documentos para DataFrame.describe
• [SPARK-41871] [SC-119714][connect] El parámetro de sugerencia DataFrame puede ser str, float o int
• [SPARK-41720] [SC-119076][sql] Cambiar el nombre de UnresolvedFunc a UnresolvedFunctionName
• [SPARK-41573] [SC-119567][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][sql] Corrección de un error de exactitud relacionado con los valores predeterminados en el lector Orc
• [SPARK-41582] [SC-119482][sc-118701][CORE][sql] Reutilizar INVALID_TYPED_LITERAL en lugar de _LEGACY_ERROR_TEMP_0022

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 12.2.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.5 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• python: 3.9.21
• R: 4.2.2
• Delta Lake: 2.2.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 11-11-2022. La instantánea ya no está disponible.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)