Databricks Runtime 13.1 (EoS)

Le seguenti note sulla versione forniscono informazioni su Databricks Runtime 13.1, con tecnologia Apache Spark 3.4.0.

Databricks ha rilasciato questa versione nel maggio 2023.

Miglioramenti e nuove funzionalità

• Supporto del cluster per JDK 17 (anteprima pubblica)
• Aggiungere, modificare o eliminare dati nelle tabelle di streaming
• Leggere Kafka con SQL
• Nuove funzioni predefinite SQL
• Supporto del catalogo Unity per le librerie Python con ambito cluster
• Espansione dell'abilitazione predefinita per le scritture ottimizzate nel Catalogo Unity
• Supporto avanzato per gli operatori a stato nei carichi di lavoro di Structured Streaming
• Il clone Delta per il catalogo Unity è disponibile in anteprima pubblica
• Supporto Pub/Sub per Structured Streaming
• Rimuovere duplicati nelle filigrane di Structured Streaming
• Supporto espanso per le conversioni Delta da tabelle Iceberg con colonne di partizione troncate
• Trasmettere le modifiche allo schema con il mapping delle colonne in Delta Lake
• Rimuovere la VERSIONE INIZIALE
• Nuove espressioni H3 disponibili con Python

Supporto del cluster per JDK 17 (anteprima pubblica)

Databricks offre ora il supporto del cluster per il kit di sviluppo di Java (JDK) 17. Vedere Databricks SDK per Java.

Aggiungere, modificare o eliminare dati nelle tabelle di streaming

È ora possibile usare istruzioni DML per modificare le tabelle di streaming pubblicate in Unity Catalog dalle pipeline DLT. Vedere Aggiungere, modificare o eliminare dati in una tabella di streaming e Aggiungere, modificare o eliminare dati in una tabella di streaming di destinazione. È anche possibile usare istruzioni DML per modificare le tabelle di streaming create in Databricks SQL.

Leggere Kafka con SQL

È ora possibile usare la funzione SQL read_kafka per la lettura dei dati Kafka. Lo streaming con SQL è supportato solo in DLT o con tabelle di streaming in Databricks SQL. Vedere read_kafka funzione con valori di tabella.

Nuove funzioni predefinite SQL

Sono state aggiunte le funzioni seguenti:

• array_prepend(array, elem) Restituisce array preceduto da elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) Decrittografa un file binario generato usando la crittografia AES e restituisce NULL se si verifica un errore.
• sql_keywords() Restituisce una tabella di parole chiave SQL di Azure Databricks.

Supporto del catalogo Unity per le librerie Python con ambito cluster

Il catalogo Unity presenta alcune limitazioni sull'utilizzo della libreria. A partire dalla versione 13.1 di Databricks Runtime, sono supportate librerie Python con ambito cluster, tra cui i file wheel Python caricati come file dell'area di lavoro. Le librerie a cui viene fatto riferimento utilizzando i percorsi file DBFS non sono supportate, sia nella radice DBFS che in un percorso esterno montato in DBFS. Le librerie non Python non sono supportate. Consultare Librerie cluster.

In Databricks Runtime 13.0 e versioni successive le librerie con ambito cluster non sono supportate nei cluster che usano la modalità di accesso standard (in precedenza modalità di accesso condiviso) in un'area di lavoro abilitata per Unity Catalog.

Abilitazione predefinita espansa per le scritture ottimizzate nel catalogo unity

Il supporto predefinito per la scrittura ottimizzata per le tabelle Delta registrate nel catalogo Unity è stato espanso in modo da includere istruzioni CTAS e operazioni INSERT per le tabelle partizionate. Questo comportamento è allineato alle impostazioni predefinite nei warehouse SQL. Vedere Scritture ottimizzate per Delta Lake in Azure Databricks.

Supporto avanzato per gli operatori con stato nei carichi di lavoro di Structured Streaming

È ora possibile collegare in sequenza più operatori con stato, il che significa che è possibile fornire l'output di un'operazione, come ad esempio un'aggregazione finestrata, a un'altra operazione con stato, come un join. Consulta Che cos'è lo streaming con stato?.

Il clone Delta per il catalogo Unity è disponibile in anteprima pubblica

È ora possibile usare un clone superficiale per creare nuove tabelle gestite del catalogo Unity a partire da tabelle gestite esistenti nel catalogo Unity. Vedere Clone superficiale per le tabelle del catalogo Unity.

Supporto pub/sub per Structured Streaming

È ora possibile usare un connettore predefinito per sottoscrivere Google Pub/Sub con Structured Streaming. Vedi Iscriviti a Google Pub/Sub.

Rimuovere duplicati all'interno di filigrane in Structured Streaming

È ora possibile usare dropDuplicatesWithinWatermark in combinazione con una soglia limite specificata per deduplicare i record in Structured Streaming. Vedere Rimuovi i duplicati all'interno della filigrana.

Supporto espanso per le conversioni Delta da tabelle Iceberg con colonne di partizione troncate

È ora possibile usare CLONE e CONVERT TO DELTA con le tabelle Iceberg con partizioni definite in colonne troncate di tipi int, long e string. Le colonne troncate di tipo decimal non sono supportate.

Le modifiche dello schema con il mapping delle colonne in Delta Lake

È ora possibile fornire un percorso di rilevamento dello schema per abilitare lo streaming da tabelle Delta con mapping di colonne abilitato. Vedere Streaming con mapping di colonne e modifiche dello schema.

Rimuovere la VERSIONE INIZIALE

START VERSION è ora deprecato per ALTER SHARE.

Nuove espressioni H3 disponibili con Python

Le espressioni h3_coverash3 e h3_coverash3string sono disponibili con Python.

Correzioni di bug

Parquet failOnUnknownFields non elimina più silenziosamente i dati in caso di tipo non corrispondente.

Se un file Parquet è stato letto solo con l'opzione failOnUnknownFields o con Auto Loader nella modalità di evoluzione dello schema, le colonne con tipi di dati diversi ora generano un errore e si consiglia l'uso di rescuedDataColumn. Il caricatore automatico ora legge correttamente e non salva più i tipi Integer, Short o Byte se viene fornito uno di questi tipi di dati. Il file Parquet suggerisce uno degli altri due tipi.

Modifiche che interrompono la compatibilità

Aggiornare sqlite-jdbc alla versione 3.42.0.0 per l'indirizzo CVE-2023-32697

Aggiornare sqlite-jdbc dalla versione 3.8.11.2 alla versione 3.42.0.0. Le API della versione 3.42.0.0 non sono completamente compatibili con la versione 3.8.11.2. Se si usa sqlite-jdbc nel codice, controllare il report di compatibilità sqlite-jdbc per informazioni dettagliate. Se migri alla versione 13.1 e usi sqlite, verifica i metodi e il tipo di ritorno nella versione 3.42.0.0.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • facets-overview dalla versione 1.0.2 alla versione 1.0.3
  • filelock da 3.10.7 a 3.12.0
  • pyarrow da 7.0.0 a 8.0.0
  • tenacia da 8.0.1 a 8.1.0
• Librerie R aggiornate:
• Librerie Java aggiornate:
  • com.github.ben-manes.caffeine.caffeine da 2.3.4 a 2.9.3
  • io.delta.delta-sharing-spark_2.12 da 0.6.8 a 0.6.4
  • net.snowflake.snowflake-jdbc da 3.13.29 a 3.13.22
  • org.checkerframework.checker-qual da 3.5.0 a 3.19.0
  • org.scalactic.scalactic_2.12 dalla versione 3.0.8 alla versione 3.2.15
  • org.scalatest.scalatest_2.12 dalla versione 3.0.8 alla versione 3.2.15
  • org.xerial.sqlite-jdbc da 3.8.11.2 a 3.42.0.0

Apache Spark

Databricks Runtime 13.1 include Apache Spark 3.4.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 13.0 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-42719] [DBRRM-199][sc-131578] Ripristinare “[SC-125225] `MapOutputTracker#getMap…
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Revert [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Aggiungere Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][connect][PYTHON] Consentire l'estensione di ChannelBuilder per SparkConnectClient
• [SPARK-43323] [SC-129966][sql][PYTHON] Correggere dataframe.toPandas con Freccia abilitata per gestire correttamente le eccezioni
• [SPARK-42940] [SC-129896][ss][CONNECT] Migliorare la gestione delle sessioni per le query di streaming
• [SPARK-43032] [SC-125756] [CONNECT][ss] Aggiungere Gestione query di streaming
• [SPARK-16484] [SC-129975][sql] Aggiungere il supporto per Datasketches HllSketch
• [SPARK-43260] [SC-129281][python] Migrare gli errori di tipo arrow dei pandas in Spark SQL nelle classi di errore.
• [SPARK-41766] [SC-129964][core] Gestire la richiesta di disattivazione inviata prima della registrazione dell'executor
• [SPARK-43307] [SC-129971][python] Eseguire la migrazione degli errori del valore PandasUDF nella classe di errore
• [SPARK-43206] [SC-129903] [SS] [CONNECT] L'eccezione di StreamingQuery() include la traccia dello stack
• [SPARK-43311] [SC-129905][ss] Aggiungi miglioramenti alla gestione della memoria del provider di archiviazione dello stato RocksDB
• [SPARK-43237] [SC-129898][core] Gestire il messaggio di eccezione Null nel registro eventi
• [SPARK-43320] [SC-129899][sql][HIVE] chiamare direttamente l'API Hive 2.3.9
• [SPARK-43270] [SC-129897][python] Implementare __dir__() in pyspark.sql.dataframe.DataFrame per includere colonne
• [SPARK-43183] Ripristinare "[SC-128938][ss] Introdurre un nuovo callback "...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][sql] Sostituire la classe di errore _LEGACY_ERROR_TEMP_2022 da un errore interno
• [SPARK-43198] [SC-129470][connect] Correggi "Impossibile inizializzare la classe ammonite..." errore durante l'uso del filtro
• [SPARK-43165] [SC-129777][sql] Move canWrite to DataTypeUtils
• [SPARK-43298] [SC-129729][python][ML] predict_batch_udf con input scalare non riesce con dimensioni batch pari a una
• [SPARK-43298] [SC-129700]Revert "[PYTHON][ml] predict_batch_udf con input scalare ha esito negativo con dimensioni batch di uno"
• [SPARK-43052] [SC-129663][core] Gestire stacktrace con nome file nullo nel registro eventi
• [SPARK-43183] [SC-128938][ss] Introdurre un nuovo callback "onQueryIdle" in StreamingQueryListener
• [SPARK-43209] [SC-129190][connect][PYTHON] Eseguire la migrazione degli errori di espressione nella classe di errore
• [SPARK-42151] [SC-128754][sql] Allineare le assegnazioni UPDATE con attributi di tabella
• [SPARK-43134] [SC-129468] [CONNECT] [SS] eccezione() dell'API StreamingQuery del client JVM
• [SPARK-43298] [SC-129699][python][ML] predict_batch_udf con input scalare non riesce con dimensioni batch pari a uno
• [SPARK-43248] [SC-129660][sql] Inutile serialize/deserialize di Path su raccolta parallela delle statistiche di partizione
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] Introdurre PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] Implementare la valutazione anticipata per repr e repr_html
• [SPARK-42953] [SC-129469][connect][Followup] Correggere la build di test Maven per i test UDF del client Scala
• [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
• [SPARK-43136] [SC-129358][connect] Aggiunta di groupByKey + mapGroup + coGroup funzioni
• [SPARK-43156] [SC-129672][sc-128532][SQL] Correzione di bug COUNT(*) is null nella sottoquery scalare correlata
• [SPARK-43046] [SC-129110] [SS] [Connetti] Implementazione dell'api Python dropDuplicatesWithinWatermark per Spark Connect
• [SPARK-43199] [SC-129467][sql] Rendere InlineCTE idempotente
• [SPARK-43293] [SC-129657][sql] __qualified_access_only devono essere ignorate nelle colonne normali
• [SPARK-43276] [SC-129461][connect][PYTHON] Eseguire la migrazione degli errori della finestra di Spark Connect nella classe di errore
• [SPARK-43174] [SC-129109][sql] Correzione del completatore SparkSQLCLIDriver
• [SPARK-43084] [SC-128654] [SS] Aggiungere il supporto applyInPandasWithState per spark connect
• [SPARK-43119] [SC-129040][sql] Supporto per Ottenere le keyword SQL in modo dinamico tramite API JDBC e TVF
• [SPARK-43082] [SC-129112][connect][PYTHON] Funzioni definite dall'utente Python ottimizzate con Arrow in Spark Connect
• [SPARK-43085] [SC-128432][sql] Supporto dell'assegnazione DEFAULT della colonna per nomi di tabelle in più parti
• [SPARK-43226] [LC-671] Definire gli estrattori per i metadati costanti dei file
• [SPARK-43210] [SC-129189][connect][PYTHON] Introdurre PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] Pubblica metriche lato driver per LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Correggere l'errore costante di ReplE2ESuite con JDK 17
• [SPARK-43268] [SC-129249][sql] Usare classi di errore appropriate quando le eccezioni vengono costruite con un messaggio
• [SPARK-43142] [SC-129299] Correggere le espressioni DSL sugli attributi con caratteri speciali
• [SPARK-43129] [SC-128896] API di base di Scala per lo streaming di Spark Connect
• [SPARK-43233] [SC-129250] [SS] Aggiungere la registrazione per la lettura batch Kafka per la partizione dell'argomento, l'intervallo di offset e l'ID attività
• [SPARK-43249] [SC-129195][connect] Correzione delle statistiche mancanti per il comando SQL
• [SPARK-42945] [SC-129188][connect] Supporto PYSPARK_JVM_STACKTRACE_ENABLED in Spark Connect
• [SPARK-43178] [SC-129197][connect][PYTHON] Eseguire la migrazione degli errori UDF nel framework degli errori pySpark
• [SPARK-43123] [SC-128494][sql] I metadati dei campi interni non devono essere rivelati nei cataloghi
• [SPARK-43217] [SC-129205] Si ripete correttamente in mappe/matrici annidate in findNestedField
• [SPARK-43243] [SC-129294][python][CONNECT] Aggiungere parametri di livello a printSchema per Python
• [SPARK-43230] [SC-129191][connect] Semplificare DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] Respect RequiresDistributionAndOrdering in CTAS/RTAS
• [SPARK-43234] [SC-129192][connect][PYTHON] Eseguire la migrazione di ValueError dal dataframe conect alla classe di errore
• [SPARK-43212] [SC-129187][ss][PYTHON] Eseguire la migrazione degli errori di Structured Streaming nella classe di errore
• [SPARK-43239] [SC-129186][ps] Rimuovere null_counts da info()
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput deve essere coerente con l'output del figlio
• [SPARK-43191] [SC-128924][core] Sostituire la reflection con una chiamata diretta per Hadoop CallerContext
• [SPARK-43193] [SC-129042][ss] Rimuovere la soluzione alternativa per HADOOP-12074
• [SPARK-42657] [SC-128621][connect] Supporto per trovare e trasferire i file di classe REPL dal lato client al server come artefatti.
• [SPARK-43098] [SC-77059][sql] Correzione del bug COUNT di precisione quando la sottoquery scalare contiene una clausola GROUP BY
• [SPARK-43213] [SC-129062][python] Aggiungere DataFrame.offset a vanilla PySpark
• [SPARK-42982] [SC-128400][connect][PYTHON] Correggere createDataFrame per rispettare il ddl dello schema specificato
• [SPARK-43124] [SC-129011][sql] Dataset.show projects CommandResults localmente
• [SPARK-42998] [SC-127422][connect][PYTHON] Correggere DataFrame.collect con struttura nulla
• [SPARK-41498] [SC-125343] Annullare ” Propagare i metadati tramite Union”
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Aggiungere await_termination() e api exception() per query di streaming in Python
• [SPARK-42552] [SC-128824][sql] Correggere la strategia di analisi a due fasi del parser antlr
• [SPARK-43207] [SC-128937][connect] Aggiungere funzioni helper per estrarre valore dall'espressione letterale
• [SPARK-43186] [SC-128841][sql][HIVE] Rimuovere la soluzione alternativa per FileSinkDesc
• [SPARK-43107] [SC-128533][sql] Unire i bucket nel join applicato sul lato di flusso del join broadcast
• [SPARK-43195] [SC-128922][core] Rimuovere il wrapper serializzabile non necessario in HadoopFSUtils
• [SPARK-43137] [SC-128828][sql] Migliorare ArrayInsert se la posizione è piegabile e positiva.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join deve restituire un valore Null per la riga senza corrispondenza
• [SPARK-43042] [SC-128602] [SS] [Connetti] Aggiungere il supporto dell'API table() per DataStreamReader
• [SPARK-43153] [SC-128753][connect] Ignorare l'esecuzione di Spark quando il dataframe è locale
• [SPARK-43064] [SC-128496][sql] La scheda SQL dell'interfaccia della riga di comando di Spark SQL deve mostrare una sola volta ogni istruzione
• [SPARK-43126] [SC-128447][sql] Contrassegnare due espressioni UDF Hive come stateful
• [SPARK-43111] [SC-128750][ps][CONNECT][python] Unire istruzioni if annidate in singole istruzioni if
• [SPARK-43113] [SC-128749][sql] Valutare le variabili lato flusso durante la generazione di codice per una condizione vincolata
• [SPARK-42895] [SC-127258][connect] Migliorare i messaggi di errore per le sessioni Spark arrestate
• [SPARK-42884] [SC-126662][connect] Aggiungere l'integrazione di Ammonite REPL
• [SPARK-43168] [SC-128674][sql] Rimuovere il metodo PhysicalDataType dalla classe Datatype
• [SPARK-43121] [SC-128455][sql] Usare BytesWritable.copyBytes anziché la copia manuale in 'HiveInspectors
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog mantiene il meta Char/Varchar sul lato di lettura
• [SPARK-43050] [SC-128550][sql] Correggere le espressioni di aggregazione dei costrutti sostituendo le funzioni di raggruppamento
• [SPARK-43095] [SC-128549][sql] Evitare che l'idempotenza della strategia Once venga compromessa per il batch: Infer Filters
• [SPARK-43130] [SC-128597][sql] Spostare InternalType in PhysicalDataType
• [SPARK-43105] [SC-128456][connect] Abbrevia Byte e Stringhe nel messaggio proto
• [SPARK-43099] [SC-128596][sql] Usare getName anziché getCanonicalName per ottenere il nome della classe del generatore durante la registrazione di udf in FunctionRegistry
• [SPARK-42994] [SC-128586][ml][CONNECT] Supporto della modalità locale del server di distribuzione PyTorch
• [SPARK-42859] Ripristinare "[SC-127935][connect][PS] Supporto di base per l'API pandas in Spark Connect"
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin non funzionano quando si usa AQE
• [SPARK-43125] [SC-128477][connect] Risoluzione del problema nel server Connect che non gestisce le eccezioni con messaggi nulli.
• [SPARK-43147] [SC-128594] correggere il linting di flake8 per controllo locale
• [SPARK-43031] [SC-128360] [SS] [Connetti] Abilitare unit test e doctest per lo streaming
• [SPARK-43039] [LC-67] Supportare i campi personalizzati nella colonna _metadata origine file.
• [SPARK-43120] [SC-128407][ss] Aggiungere il supporto per tenere traccia dell'utilizzo della memoria dei blocchi fissati per l'archivio stati di RocksDB
• [SPARK-43110] [SC-128381][sql] Spostare asIntegral in PhysicalDataType
• [SPARK-43118] [SC-128398][ss] Rimuovere l'asserzione non necessaria per UninterruptibleThread in KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][connect][PYTHON] Supporta i nomi dei campi annidati duplicati
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable consentirà di specificare il livello di archiviazione
• [SPARK-42985] [SC-128332][connect][PYTHON] Correzione di createDataFrame per rispettare le configurazioni SQL
• [SPARK-39696] [SC-127830][core] Correzione della race dei dati nell'accesso a TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][sql] Spostamento di integrali in PhysicalDataType
• [SPARK-42741] [SC-125547][sql] Non rimuovere i cast nel confronto binario quando il letterale è null
• [SPARK-43057] [SC-127948][connect][PYTHON] Eseguire la migrazione degli errori della colonna Spark Connect nella classe di errore
• [SPARK-42859] [SC-127935][connect][PS] Supporto di base per l'API pandas in Spark Connect
• [SPARK-43013] [SC-127773][python] Eseguire la migrazione di ValueError dal dataframe a PySparkValueError.
• [SPARK-43089] [SC-128051][connect] Modifica la stringa di debug nell'interfaccia utente
• [SPARK-43028] [SC-128070][sql] Aggiungere una classe di errore SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] Aggiungere test per dropDuplicates in JavaDatasetSuite
• [SPARK-43075] [SC-127939][connect] Modificare gRPC in grpcio quando non è installato.
• [SPARK-42953] [SC-127809][connect] Filtro tipizzato, mappa, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][sql] Supporto alla conversione del tipo data nel tipo timestamp
• [SPARK-42931] [SC-127933][ss] Introdurre dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] Aggiungere costanti dei tipi di dati proto
• [SPARK-43077] [SC-128050][sql] Migliorare il messaggio di errore di UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][ss][Connect] API di DataStreamReader
• [SPARK-43049] [SC-127846][sql] Usare CLOB anziché VARCHAR(255) per StringType per Oracle JDBC
• [SPARK-43018] [SC-127762][sql] Correzione del bug per i comandi INSERT con valori di tipo timestamp
• [SPARK-42855] [SC-127722][sql] Usare controlli di null runtime in TableOutputResolver
• [SPARK-43030] [SC-127847][sql] Deduplicare le relazioni con colonne di metadati
• [SPARK-42993] [SC-127829][ml][CONNECT] Rendere il server di distribuzione PyTorch compatibile con Spark Connect
• [SPARK-43058] [SC-128072][sql] Spostare numerico e frazionaria in PhysicalDataType
• [SPARK-43056] [SC-127946][ss] Il commit dell'archivio stati di RocksDB deve continuare il lavoro in background solo se è stato sospeso.
• [SPARK-43059] [SC-127947][connect][PYTHON] Eseguire la migrazione di TypeError da DataFrame(Reader|Writer) nella classe error
• [SPARK-43071] [SC-128018][sql] Supporto SELECT DEFAULT con ORDER BY, LIMIT, OFFSET per la relazione sorgente INSERT
• [SPARK-43061] [SC-127956][core][SQL] Introdurre PartitionEvaluator per l'esecuzione dell'operatore SQL
• [SPARK-43067] [SC-127938][ss] Correggere il percorso del file di risorse della classe di errore nel connettore Kafka
• [SPARK-43019] [SC-127844][sql] Move Ordering to PhysicalDataType
• [SPARK-43010] [SC-127759][python] Eseguire la migrazione degli errori di colonna nella classe di errore
• [SPARK-42840] [SC-127782][sql] Cambia _LEGACY_ERROR_TEMP_2004 errore in errore interno
• [SPARK-43041] [SC-127765][sql] Ripristinare costruttori di eccezioni per la compatibilità nell'API del connettore
• [SPARK-42939] [SC-127761][ss][CONNECT] API Python di streaming core per Spark Connect
• [SPARK-42844] [SC-127766][sql] Aggiornare la classe di errore _LEGACY_ERROR_TEMP_2008 a INVALID_URL
• [SPARK-42316] [SC-127720][sql] Assegnare il nome a _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][connect][PYTHON] Eseguire la migrazione degli errori del DataFrame Spark Connect nella classe di errore
• [SPARK-42983] [SC-127717][connect][PYTHON] Correggi createDataFrame per gestire correttamente la matrice numpy a 0 dimensioni.
• [SPARK-42955] [SC-127476][sql] Ignora classifyException e incapsula AnalysisException per SparkThrowable
• [SPARK-42949] [SC-127255][sql] Semplificare il codice per NAAJ
• [SPARK-43011] [SC-127577][sql] array_insert dovrebbe avere esito negativo con 0 indice
• [SPARK-42974] [SC-127487][core] Ripristinare Utils.createTempDir per usare ShutdownHookManager e pulire il metodo JavaUtils.createTempDir.
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' significa anche che la tabella esiste già
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME non può qualificare il new-table-Name con uno schema-Name
• [SPARK-37980] [SC-127668][sql] Access row_index tramite _metadata, se possibile nei test
• [SPARK-42655] [SC-127591][sql] Errore di riferimento di colonna ambiguo non corretto
• [SPARK-43009] [SC-127596][sql] Parametrizzato sql() con costanti Any
• [SPARK-43026] [SC-127590][sql] Applica AQE con cache di tabella non di scambio
• [SPARK-42963] [SC-127576][sql] Estendere SparkSessionExtensions per iniettare regole nell'ottimizzatore del livello di query AQE
• [SPARK-42918] [SC-127357] Generalizzare la gestione degli attributi dei metadati in FileSourceStrategy
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Aggiungere Catalog supporto
• [SPARK-42997] [SC-127535][sql] TableOutputResolver deve usare percorsi di colonna corretti nei messaggi di errore per matrici e mappe
• [SPARK-43006] [SC-127486][pyspark] Correzione dell'errore di digitazione in StorageLevel eq()
• [SPARK-43005] [SC-127485][pyspark] Correzione di un errore di battitura in pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][core] Correzione dell'ortografia in ResourceRequest.equals()
• [SPARK-42907] [SC-126984][connect][PYTHON] Implementare le funzionalità Avro
• [SPARK-42979] [SC-127272][sql] Definire costruttori letterali come parole chiave
• [SPARK-42946] [SC-127252][sql] Redigere i dati sensibili che sono annidati attraverso la sostituzione delle variabili
• [SPARK-42952] [SC-127260][sql] Semplificare il parametro della regola dell'analizzatore "PreprocessTableCreation" e "DataSourceAnalysis"
• [SPARK-42683] [LC-75] Rinominare automaticamente le colonne di metadati in conflitto
• [SPARK-42853] [SC-126101][followup] Correzione dei conflitti
• [SPARK-42929] [SC-126748][connect] rendere compatibili mapInPandas / mapInArrow con "is_barrier"
• [SPARK-42968] [SC-127271][ss] Aggiungere l'opzione per saltare il coordinatore del commit come parte dell'API StreamingWrite per sorgenti/sink DSv2
• [SPARK-42954] [SC-127261][python][CONNECT] Aggiungere YearMonthIntervalType al client Python PySpark e Spark Connect
• [SPARK-41359] [SC-127256][sql] Usare PhysicalDataType anziché DataType in UnsafeRow
• [SPARK-42873] [SC-127262][sql] Definire i tipi Spark SQL come parole chiave
• [SPARK-42808] [SC-126302][core] Evitare di ottenere i processori disponibili ogni volta che si accede a MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][sql] PlanSubqueries deve impostare InSubqueryExec#shouldBroadcast su true
• [SPARK-42896] [SC-126729][sql][PYTHON] Rendi mapInPandas / mapInArrow compatibile con l'esecuzione in modalità barriera
• [SPARK-42874] [SC-126442][sql] Abilitare il nuovo framework di test dei file di riferimento per l'analisi per tutti i file di input
• [SPARK-42922] [SC-126850][sql] Passare da Random a SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange fa riferimento a nodi inesistenti
• [SPARK-40822] [SC-126274][sql] Alias di colonna derivati stabili
• [SPARK-42908] [SC-126856][python] Generare RuntimeError quando SparkContext è obbligatorio ma non inizializzato
• [SPARK-42779] [SC-126042][sql] Consenti alle scritture V2 di indicare la dimensione consigliata delle partizioni shuffle
• [SPARK-42914] [SC-126727][python] Riutilizzare transformUnregisteredFunction per DistributedSequenceID.
• [SPARK-42878] [SC-126882][connect] L'API tabella in DataFrameReader potrebbe accettare anche opzioni
• [SPARK-42927] [SC-126883][core] Modificare l'ambito di accesso di o.a.spark.util.Iterators#size in private[util]
• [SPARK-42943] [SC-126879][sql] Usare LONGTEXT anziché TEXT per StringType per una lunghezza effettiva
• [SPARK-37677] [SC-126855][core] Unzip potrebbe mantenere le autorizzazioni per i file
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] Implementare l'API Mappa co-gruppata
• [SPARK-41876] [SC-126849][connect][PYTHON] Implementare DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][core][SQL] Modificare l'ambito di accesso delle implementazioni correlate ProtobufSerDe in private[protobuf]
• [SPARK-42819] [SC-125879][ss] Aggiungere il supporto per l'impostazione di max_write_buffer_number e write_buffer_size per RocksDB usato nello streaming
• [SPARK-42924] [SC-126737][sql][CONNECT][python] Chiarire il commento degli argomenti SQL con parametri
• [SPARK-42748] [SC-126455][connect] Gestione degli artefatti lato server
• [SPARK-42816] [SC-126365][connect] Supporto delle dimensioni massime dei messaggi fino a 128 MB
• [SPARK-42850] [SC-126109][sql] Rimuovere la regola duplicata CombineFilters nell'Optimizer
• [SPARK-42662] [SC-126355][connect][PS] Aggiungere un messaggio proto per l'API pandas nell'indice predefinito di Spark
• [SPARK-42720] [SC-126136][ps][SQL] Usa l'espressione per l'indice predefinito della sequenza distribuita anziché per il piano
• [SPARK-42790] [SC-126174][sql] Astrarre il metodo escluso per un test migliore per i test docker JDBC.
• [SPARK-42900] [SC-126473][connect][PYTHON] Correzione di createDataFrame per rispettare i nomi di inferenza e colonna
• [SPARK-42917] [SC-126657][sql] Correct getUpdateColumnNullabilityQuery for DerbyDialect
• [SPARK-42684] [SC-125157][sql] il catalogo v2 non dovrebbe consentire il valore predefinito della colonna di default
• [SPARK-42861] [SC-126635][sql] Usare private[sql] anziché protected[sql] per evitare di generare la documentazione api
• [SPARK-42920] [SC-126728][connect][PYTHON] Abilitare i test per le funzioni definite dall'utente (UDF) con tipi definiti dall'utente (UDT)
• [SPARK-42791] [SC-126617][sql] Creare un nuovo framework di test "golden file" per l'analisi
• [SPARK-42911] [SC-126652][python] Introdurre altre eccezioni di base
• [SPARK-42904] [SC-126634][sql] Supporto Char/Varchar per il Catalogo JDBC
• [SPARK-42901] [SC-126459][connect][PYTHON] Trasferire StorageLevel in un file separato per evitare possibili file recursively imports
• [SPARK-42894] [SC-126451][connect] Supporto cache/persist/unpersist/storageLevel per il client JVM di Spark connect
• [SPARK-42792] [SC-125852][ss] Aggiungere il supporto per WRITE_FLUSH_BYTES per RocksDB utilizzato negli operatori stateful di streaming.
• [SPARK-41233] [SC-126441][connect][PYTHON] Aggiungere array_prepend al client Python Spark Connect
• [SPARK-42681] [SC-125149][sql] Allentare il vincolo di ordinamento per ALTER TABLE Descrittore di colonna ADD|REPLACE
• [SPARK-42889] [SC-126367][connect][PYTHON] Implementare cache, rendere persistente, eliminare la persistenza e livello di memorizzazione
• [SPARK-42824] [SC-125985][connect][PYTHON] Specificare un messaggio di errore chiaro per gli attributi JVM non supportati
• [SPARK-42340] [SC-126131][connect][PYTHON] Implementare l'API mappa raggruppata
• [SPARK-42892] [SC-126454][sql] Spostare sameType e metodi pertinenti da DataType
• [SPARK-42827] [SC-126126][connect] Supporto functions#array_prepend per il client di connessione Scala
• [SPARK-42823] [SC-125987][sql] spark-sql shell supporta spazi dei nomi multipart per l'inizializzazione
• [SPARK-42817] [SC-125960][core] Registrare il nome del servizio shuffle una volta in ApplicationMaster
• [SPARK-42786] [SC-126438][connect] Selezionato Digitato
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] Implementare la funzione ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] Supporto codegen per HiveSimpleUDF
• [SPARK-41233] [SC-126110][sql][PYTHON] Aggiungere array_prepend funzione
• [SPARK-42864] [SC-126268][ml][3.4] Rendere IsotonicRegression.PointsAccumulator privato
• [SPARK-42876] [SC-126281][sql] DataType physicalDataType deve essere privato[sql]
• [SPARK-42101] [SC-125437][sql] Rendere AQE compatibile con InMemoryTableScanExec
• [SPARK-41290] [SC-124030][sql] Supportare le espressioni GENERATED ALWAYS AS per le colonne nelle istruzioni di create/replace table
• [SPARK-42870] [SC-126220][connect] Spostare toCatalystValue in connect-common
• [SPARK-42247] [SC-126107][connect][PYTHON] Correggere la funzione definita dall'utente per avere un tipo di ritorno
• [SPARK-42875] [SC-126258][connect][PYTHON] Correzione di toPandas per gestire correttamente i tipi di fuso orario e mappa
• [SPARK-42757] [SC-125626][connect] Implementare textFile per DataFrameReader
• [SPARK-42803] [SC-126081][core][SQL][ml] Usare la funzione getParameterCount anziché getParameterTypes.length
• [SPARK-42833] [SC-126043][sql] Rifattorizzare applyExtensions in SparkSession
• [SPARK-41765] Annullare “[SC-123550][sql] Rimuovere le metriche di scrittura v1...
• [SPARK-42848] [SC-126105][connect][PYTHON] Implementare DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][connect][PYTHON] Supporto di UserDefinedType in Spark Connect
• [SPARK-42818] [SC-125861][connect][PYTHON] Implementare DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][connect] Aggiungere client_type al messaggio Protobuf di AddArtifactsRequest
• [SPARK-42772] [SC-125860][sql] Modificare il valore predefinito delle opzioni JDBC relative al push fino a true
• [SPARK-42771] [SC-125855][sql] Refactor HiveGenericUDF
• [SPARK-25050] [SC-123839][sql] Avro: scrittura di unioni complesse
• [SPARK-42765] [SC-125850][connect][PYTHON] Abilitare l'importazione di pandas_udf da pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation deve rispettare spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][sql] Migliorare le prestazioni delle partizioni di eliminazione
• [SPARK-42689] [SC-125195][core][SHUFFLE] Consenti a ShuffleDriverComponent di dichiarare se i dati di shuffle vengono archiviati in modo affidabile
• [SPARK-42726] [SC-125279][connect][PYTHON] Implementare DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] Estrarre le metriche di scrittura v1 in WriteFiles
• [SPARK-41171] [SC-124191][sql] Dedurre e eseguire il push del limite di finestra verso il basso se partitionSpec è vuoto
• [SPARK-42686] [SC-125292][core] Rinviare la formattazione per i messaggi di debug in TaskMemoryManager
• [SPARK-42756] [SC-125443][connect][PYTHON] Funzione helper per convertire il proto literal in un valore nel client Python
• [SPARK-42793] [SC-125627][connect] connect modulo richiede build_profile_flags
• [SPARK-42701] [SC-125192][sql] Aggiungere la funzione try_aes_decrypt()
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame non funziona con uno schema non annullabile
• [SPARK-42733] [SC-125542][connect][Followup] Scrivere senza percorso o tabella
• [SPARK-42777] [SC-125525][sql] Supporta la conversione delle statistiche del catalogo TimestampNTZ in statistiche del piano
• [SPARK-42770] [SC-125558][connect] Aggiungere truncatedTo(ChronoUnit.MICROS) per fare in modo che SQLImplicitsTestSuite nel test giornaliero di Java 17 passi il compito di GA
• [SPARK-42752] [SC-125550][pyspark][SQL] Rendere stampabili le eccezioni PySpark durante l'inizializzazione
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Supportare il metodo getActiveSession nella sessione di connessione a spark
• [SPARK-42755] [SC-125442][connect] Conversione del valore letterale del fattore in connect-common
• [SPARK-42747] [SC-125399][ml] Correzione dello stato interno errato di LoR e AFT
• [SPARK-42740] [SC-125439][sql] Correggere il bug che scostamento o paging del pushdown non è valido per alcuni dialetti predefiniti
• [SPARK-42745] [SC-125332][sql] Improved AliasAwareOutputExpression funziona con DSv2
• [SPARK-42743] [SC-125330][sql] Supportare l'analisi delle colonne TimestampNTZ
• [SPARK-42721] [SC-125371][connect] Intercettore di log RPC
• [SPARK-42691] [SC-125397][connect][PYTHON] Implement Dataset.semanticHash
• [SPARK-42688] [SC-124922][Connect] Rinominare Connect proto Request client_id in session_id
• [SPARK-42310] [SC-122792][sql] Assegnare il nome a _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][core] Ottimizzare le routine Utils.bytesToString
• [SPARK-42725] [SC-125296][connect][PYTHON] Consentire a LiteralExpression di supportare parametri di tipo array
• [SPARK-42702] [SC-125293][spark-42623][SQL] Supportare le query parametrizzate in sottoquery e CTE
• [SPARK-42697] [SC-125189][webui] Correzione della funzione /api/v1/applications per restituire il tempo totale di attività anziché 0 nel campo relativa alla durata
• [SPARK-42733] [SC-125278][connect][PYTHON] Risolve il problema di DataFrameWriter.save per funzionare senza il parametro path
• [SPARK-42376] [SC-124928][ss] Introdurre la propagazione delle filigrane tra gli operatori
• [SPARK-42710] [SC-125205][connect][PYTHON] Rinominare il prototipo FrameMap in MapPartitions
• [SPARK-37099] [SC-123542][sql] Introdurre il limite di gruppo per la finestra per il filtro basato sul rango per ottimizzare il calcolo dei primi-k
• [SPARK-42630] [SC-125207][connect][PYTHON] Introdurre UnparsedDataType e ritardare l'analisi della stringa DDL fino a quando SparkConnectClient non è disponibile
• [SPARK-42690] [SC-125193][connect] Implementare funzioni di analisi CSV/JSON per il client Scala
• [SPARK-42709] [SC-125172][python] Rimuovere il presupposto della disponibilità di __file__
• [SPARK-42318] [SC-122648][spark-42319][SQL] Assegnare il nome a LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][sql] Aggiungere il supporto per il tipo di dati del parser json "timestamp_ltz" come TimestampType
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def Schema() non deve memorizzare nella cache lo schema
• [SPARK-42643] [SC-125152][connect][PYTHON] Registrare funzioni Java (aggregate) definite dall'utente
• [SPARK-42656] [SC-125177][connect][Followup] Correggere lo script spark-connect
• [SPARK-41516] [SC-123899] [SQL] Consentire ai dialetti jdbc di eseguire l'override della query usata per creare una tabella
• [SPARK-41725] [SC-124396][connect] Esecuzione immediata di DF.sql()
• [SPARK-42687] [SC-124896][ss] Messaggio di errore migliorato per l'operazione pivot non supportata in Streaming
• [SPARK-42676] [SC-124809][ss] Scrivi checkpoint temporanei per le query di streaming nel file system locale anche se il FS predefinito è impostato in modo diverso.
• [SPARK-42303] [SC-122644][sql] Assegnare il nome a _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][sql] Assicurarsi di avere almeno un'unità di tempo dopo "interval"
• [SPARK-42649] [SC-124576][core] Rimuovere l'intestazione della licenza Apache standard dall'inizio dei file di origine di terze parti
• [SPARK-42611] [SC-124395][sql] Inserire controlli di lunghezza char/varchar per i campi interni durante la risoluzione
• [SPARK-42419] [SC-124019][connect][PYTHON] Eseguire la migrazione nel framework di errore per la Colonna API di Spark Connect.
• [SPARK-42637] [SC-124522][connect] Aggiungi SparkSession.stop()
• [SPARK-42647] [SC-124647][python] Modificare l'alias per i tipi numpy deprecati e rimossi
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver chiuderà solo Hive sessionState avviato
• [SPARK-42593] [SC-124405][ps] Deprecate & rimuovere le API che verranno rimosse in pandas 2.0.
• [SPARK-41870] [SC-124402][connect][PYTHON] Correggere createDataFrame per gestire i nomi di colonna duplicati
• [SPARK-42569] [SC-124379][connect] Generare eccezioni per l'API di sessione non supportata
• [SPARK-42631] [SC-124526][connect] Supportare estensioni personalizzate nel client Scala
• [SPARK-41868] [SC-124387][connect][PYTHON] Correggere createDataFrame per supportare le durate
• [SPARK-42572] [SC-124171][sql][SS] Correzione del comportamento per StateStoreProvider.validateStateRowFormat

Aggiornamenti di manutenzione

Vedere Aggiornamenti di manutenzione di Databricks Runtime 13.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2023-02-10.

Librerie Java e Scala installate (versione del cluster di Scala 2.12)