Databricks Runtime 15.4 LTS

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 15.4 LTS, con tecnologia Apache Spark 3.5.0.

Databricks ha rilasciato questa versione nell'agosto 2024.

Modifiche comportamentali

• L'uso di come VARIANT tipo di input o output con una funzione definita dall'utente Python, UDAF o UDTF genera un'eccezione
• Passare alla modalità di associazione dello schema predefinita per le visualizzazioni
• Non consentire l'uso della sintassi ! non documentata anziché di espressioni booleane esterne NOT
• Non consentire la sintassi della definizione di colonna non documentata nelle viste
• Gestione degli errori coerente per la decodifica Base64 in Spark e Photon
• L'aggiunta di un vincolo di CHECK su una colonna non valida restituisce ora la classe di errore UNRESOLVED_COLUMN.WITH_SUGGESTION
• pyodbc viene aggiornato dalla versione 4.0.38 alla versione 4.0.39

L'uso di come VARIANT tipo di input o output con una funzione definita dall'utente Python, UDAF o UDTF genera un'eccezione

[Modifica di rilievo] In Databricks Runtime 15.3 e versioni successive, quando si chiama qualsiasi funzione definita dall'utente (UDF) in Python, funzione di aggregazione definita dall'utente (UDAF) o funzione di tabella definita dall'utente (UDTF) che utilizza un tipo VARIANT come argomento o valore restituito, si genera un'eccezione. Questa modifica viene apportata per evitare problemi che potrebbero verificarsi a causa di un valore non valido restituito da una di queste funzioni. Per altre informazioni sul tipo VARIANT, vedere Usare VARIANT per archiviare dati semistrutturati.

Passare alla modalità di associazione dello schema predefinita per le visualizzazioni

Le viste ora si adattano alle modifiche dello schema nella query di base usando la compensazione dello schema mediante regole standard di casting. Si tratta di una modifica rispetto all'impostazione predefinita precedente della modalità BINDING, la quale ha generato errori quando non è stato possibile eseguire un cast sicuro nel fare riferimento alla visualizzazione.

Consultare CREATE VIEW e relativi alla funzione.

Non consentire l'uso della sintassi non documentata ! anziché di NOT espressioni booleane esterne

Con questa versione, l'uso di ! come sinonimo di NOT al di fuori delle espressioni booleane non è più consentito. Ad esempio, istruzioni come le seguenti: CREATE ... IF ! EXISTS, IS ! NULL, una proprietà di colonna o campo ! NULL, ! IN e ! BETWEEN, devono essere sostituite con: CREATE ... IF NOT EXISTS, IS NOT NULL, una proprietà di colonna o campo NOT NULL, NOT IN e NOT BETWEEN.

Questa modifica garantisce la coerenza, l'allineamento allo standard SQL e rende SQL più portabile.

L'operatore di prefisso booleano! (ad esempio, !is_mgr o !(true AND false)) non è interessato da questa modifica.

Non consentire la sintassi della definizione di colonna non documentata nelle viste

Databricks supporta CREATE VIEW con colonne denominate e commenti sulle colonne. In precedenza, è stata consentita la specifica dei tipi di colonna, dei vincoli NOT NULL o DEFAULT. Con questa versione, non è più possibile usare questa sintassi.

Questa modifica garantisce coerenza, si allinea allo standard SQL e supporta miglioramenti futuri.

Gestione degli errori coerente per la decodifica Base64 in Spark e Photon

Questa versione modifica il modo in cui Photon gestisce gli errori di decodifica Base64 in modo che corrispondano alla gestione spark di questi errori. Prima di queste modifiche, il percorso di generazione del codice Photon e Spark talvolta non è riuscito a generare eccezioni di analisi, mentre l'esecuzione interpretata di Spark è stata generata IllegalArgumentException correttamente o ConversionInvalidInputError. Questo aggiornamento garantisce che Photon generi in modo coerente le stesse eccezioni di Spark durante gli errori di decodifica Base64, offrendo una gestione degli errori più prevedibile e affidabile.

L'aggiunta di un vincolo CHECK su una colonna non valida ora restituisce la classe di errore UNRESOLVED_COLUMN.WITH_SUGGESTION.

Per fornire messaggi di errore più utili, in Databricks Runtime 15.3 e versioni successive un'istruzione ALTER TABLE ADD CONSTRAINT che include un vincolo CHECK che fa riferimento a un nome di colonna non valido restituisce il UNRESOLVED_COLUMN. WITH_SUGGESTION classe di errore. In precedenza, veniva restituito un oggetto INTERNAL_ERROR.

pyodbc viene aggiornato dalla versione 4.0.38 alla versione 4.0.39

Il pacchetto pyodbc viene aggiornato dalla versione 4.0.38 alla versione 4.0.39. Questa modifica è necessaria perché è stato rilevato un bug nella versione 4.0.38 e tale versione è stata rimossa da PyPI.

Miglioramenti e nuove funzionalità

• Funzioni di convalida UTF-8
• API del set di dati tipizzato con funzioni definite dall'utente scala
• Abilitare UniForm Iceberg con ALTER TABLE
• funzione try_url_decode
• Facoltativamente, consentire all'ottimizzatore di basarsi su vincoli di chiave esterna non attivati
• Esecuzioni di processi parallelizzati per sovrascritture selettive
• Miglioramento delle prestazioni per il feed di dati delle modifiche con sovrascritture selettive
• Miglioramento della latenza delle query per il COPY INTO comando
• Supporto per l'eliminazione della funzionalità della tabella dei vincoli check
• L'elaborazione per un singolo utente supporta il controllo di accesso granulare, le viste materializzate e le tabelle di streaming (anteprima pubblica)
• Supporto esteso per le librerie Java e Scala
• Supporto espanso per le operazioni del set di dati Scala
• Scala è disponibile nella versione generale del calcolo condiviso su Unity Catalog
• Accesso Regolamentato dal Catalogo Unity ai Servizi Cloud Esterni Usando Credenziali di Servizio (Anteprima Pubblica)

Funzioni di convalida UTF-8

Questa versione introduce le funzioni seguenti per la convalida delle stringhe UTF-8:

• is_valid_utf8 verifica se una stringa è una stringa UTF-8 valida.
• make_valid_utf8 converte una stringa UTF-8 potenzialmente non valida in una stringa UTF-8 valida usando caratteri di sostituzione
• validate_utf8 genera un errore se l'input non è una stringa UTF-8 valida.
• try_validate_utf8 restituisce NULL se l'input non è una stringa UTF-8 valida.

API del set di dati tipizzato con funzioni definite dall'utente scala

Questa versione include il supporto aggiunto per le API del set di dati tipizzato con funzioni definite dall'utente in Scala (escluse le funzioni di aggregazione definite dall'utente) in ambienti di calcolo abilitati con Unity Catalog e modalità di accesso condiviso. Vedere API del set di dati tipizzato.

Abilitare UniForm Iceberg usando ALTER TABLE

È ora possibile abilitare UniForm Iceberg nelle tabelle esistenti senza riscrivere i file di dati. Vedere Abilitare le letture di Iceberg in una tabella esistente.

funzione try_url_decode

Questa versione introduce la funzione try_url_decode che decodifica una stringa con codifica URL. Se la stringa non è nel formato corretto, la funzione restituisce NULL anziché generare un errore.

Facoltativamente, consentire all'ottimizzatore di basarsi su vincoli di chiave esterna non attivati

Per migliorare le prestazioni delle query, è ora possibile specificare la parola chiave RELY sui vincoli FOREIGN KEY quando si CREATE o ALTER una tabella.

Esecuzioni di processi parallelizzati per sovrascritture selettive

Le sovrascrizioni selettive usando replaceWhere ora eseguono processi che eliminano i dati e inseriscono nuovi dati in parallelo, migliorando le prestazioni delle query e l'utilizzo del cluster.

Miglioramento delle prestazioni per il feed di dati delle modifiche con sovrascritture selettive

Sovrascrizioni selettive usando replaceWhere sulle tabelle con flusso di dati delle modifiche non scrivono più file separati dei dati delle modifiche per i dati inseriti. Queste operazioni usano una colonna _change_type nascosta presente nei file di dati Parquet sottostanti per registrare le modifiche senza amplificazione di scrittura.

Miglioramento della latenza delle query per il COPY INTO comando

Questa versione include una modifica che migliora la latenza della query per il comando COPY INTO. Questo miglioramento viene implementato rendendo asincrono il caricamento dello stato dall'archivio stati RocksDB. Con questa modifica, si noterà un miglioramento dei tempi di inizio per le query con stati di grandi dimensioni, ad esempio le query con un numero elevato di file già inseriti.

Supporto per l'eliminazione della funzionalità della tabella dei vincoli check

È ora possibile eliminare la funzionalità tabella checkConstraints da una tabella Delta usando ALTER TABLE table_name DROP FEATURE checkConstraints. Vedere Disabilitare i vincoli check.

Il calcolo utente singolo supporta il controllo di accesso con granularità fine, le viste materializzate e le tabelle di streaming (anteprima pubblica)

Quando un'area di lavoro è abilitata per il calcolo serverless, Databricks Runtime 15.4 LTS aggiunge il supporto per il controllo di accesso con granularità fine in un ambiente di calcolo singolo utente. Quando una query accede a uno degli oggetti seguenti, la singola risorsa di calcolo utente in Databricks Runtime 15.4 LTS passa la query al calcolo serverless per eseguire il filtro dei dati:

• Viste definite sulle tabelle in cui l'utente non dispone del privilegio SELECT.
• Visualizzazioni dinamiche.
• Tabelle con filtri di riga o maschere di colonna applicate.
• Viste materializzate e tabelle di streaming.

Queste query non sono supportate nel calcolo a singolo utente che esegue Databricks Runtime 15.3 e versioni successive.

Per altre informazioni, vedere Controllo di accesso con granularità fine per il calcolo di un singolo utente.

Supporto esteso per le librerie Java e Scala

A partire da Databricks Runtime 15.4 LTS, tutte le librerie Java e Scala in bundle con Databricks Runtime sono disponibili in tutte le modalità di accesso alle risorse di calcolo quando si usa Unity Catalog. Per altre informazioni sul supporto del linguaggio nelle risorse di calcolo abilitate per Unity catalog, vedere Limitazioni della modalità di accesso alle risorse di calcolo per Unity Catalog.

Supporto espanso per le operazioni del set di dati Scala

Con questa versione, le risorse di calcolo abilitate per Unity Catalog che usano la modalità di accesso condiviso supportano le operazioni di Dataset Scala seguenti: map, mapPartitions, foreachPartition, flatMap, reduce e filter.

Scala è in disponibilità generale su Unity Catalog per il calcolo condiviso.

Con questa versione, Scala è generalmente disponibile nelle risorse di calcolo abilitate per Unity Catalog in modalità accesso condiviso, incluso il supporto per le funzioni scalari definite dall'utente. Le funzioni di aggregazione Structured Streaming, Hive UDF e Hive definite dall’utente non sono supportate. Per un elenco completo delle limitazioni, vedere Limitazioni della modalità di accesso alle risorse di calcolo per Unity Catalog.

Accesso regolamentato dal catalogo Unity ai servizi cloud esterni usando le credenziali del servizio (anteprima pubblica)

Le credenziali del servizio consentono l'autenticazione semplice e sicura con i servizi del tenant cloud usando identità gestite di Azure (MI) e Il catalogo Unity. Vedere Gestire l'accesso ai servizi cloud esterni usando le credenziali del servizio.

Correzioni di bug

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • azure-core da 1.30.1 a 1.30.2
  • google-auth dalla versione 2.29.0 alla versione 2.31.0
  • google-cloud-storage dalla versione 2.16.0 alla versione 2.17.0
  • Google-resumable-media da 2.7.0 a 2.7.1
  • googleapis-common-protos da 1.63.0 a 1.63.2
  • mlflow-skinny da 2.11.3 a 2.11.4
  • proto-plus da 1.23.0 a 1.24.0
  • s3transfer from 0.10.1 to 0.10.2
• Librerie R aggiornate:
• Librerie Java aggiornate:
  • com.databricks.databricks-sdk-java da 0.17.1 a 0.27.0
  • com.ibm.icu.icu4j da 72.1 a 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider da 1.6.1-linux-x86_64 a 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 15.3 (EoS)e le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Consentire il raggruppamento delle espressioni nelle sottoquery scalari, se associate a righe esterne
• [SPARK-48834] [SI COMPORTA-79][SC-170972][SQL] Disabilitare input/output variant in UDF scalari Python, UDF, funzioni definite dall'utente, funzioni definite dall'utente durante la compilazione delle query
• [SPARK-48441] [SC-170980][SQL][WARMFIX] Correzione del comportamento stringTrim per regole di confronto non UTF8_BINARY
• [SPARK-48440] [SC-170895][SQL][WARMFIX] Correzione del comportamento stringTranslate per regole di confronto non UTF8_BINARY
• [SPARK-48872] [SC-170866][PYTHON] Ridurre il sovraccarico di _capture_call_site
• [SPARK-48862] [SC-170845][PYTHON][CONNECT] Evitare di chiamare _proto_to_string quando il livello INFO non è abilitato
• [SPARK-48852] [SC-170837][CONNECT] Correzione della funzione di taglio della stringa in connect
• [SPARK-48791] [SC-170658][CORE] Correzione della regressione delle prestazioni causata dal sovraccarico di registrazione degli analizzatori tramite CopyOnWriteArrayList
• [SPARK-48118] [SQL] Supportare la SPARK_SQL_LEGACY_CREATE_HIVE_TABLE variabile env
• [SPARK-48241] [SC-165811][SQL] Errore di analisi CSV con colonne di tipo char/varchar
• [SPARK-48168] [SC-166900][SQL] Aggiungere operatori di spostamento bit per bit supportati
• [SPARK-48148] [SC-165630][CORE] Gli oggetti JSON non devono essere modificati quando vengono letti come STRING
• [SPARK-46625] [SC-170561] CTE con clausola Identifier come riferimento
• [SPARK-48771] [SC-170546][SQL] Velocizzare LogicalPlanIntegrity.validateExprIdUniqueness i piani di query di grandi dimensioni
• [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] Rendere compatibile il nome di colonna predefinito di cast con Spark Classic
• [SPARK-48623] [SC-170544][CORE] Migrazioni di registrazione strutturata [Parte 2]
• [SPARK-48296] [SC-166138][SQL] Supporto di Codegen per to_xml
• [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter per join a più livelli deve controllare il tipo di join figlio
• [SPARK-48686] [SC-170365][SQL] Migliorare le prestazioni di ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][PYTHON] Introduzione spark.profile.render alla profilatura basata su SparkSession
• [SPARK-48048] [SC-169099] Ripristinare "[SC-164846][CONNECT][SS] Aggiunta del supporto del listener lato client per Scala"
• [SPARK-47910] [SC-168929][CORE] chiudere il flusso quando DiskBlockObjectWriter closeResources per evitare perdite di memoria
• [SPARK-48816] [SC-170547][SQL] Sintassi abbreviata per i convertitori di intervalli in UnivocityParser
• [SPARK-48589] [SC-170132][SQL][SS] Aggiungere snapshot dell'opzioneStartBatchId e snapshotPartitionId all'origine dati di stato
• [SPARK-48280] [SC-170293][SQL] Migliorare l'area di attacco di test delle regole di confronto usando l'espressione walking
• [SPARK-48837] [SC-170540][ML] In CountVectorizer, leggere solo il parametro binario una volta per ogni trasformazione, non una volta per riga
• [SPARK-48803] [SC-170541][SQL] Generare un errore interno nel serializzatore Orc(De)per allinearsi a ParquetWriteSupport
• [SPARK-48764] [SC-170129][PYTHON] Filtro dei frame correlati a IPython dallo stack di utenti
• [SPARK-48818] [SC-170414][PYTHON] Semplificare le percentile funzioni
• [SPARK-48479] [SC-169079][SQL] Supportare la creazione di UDF SQL (funzioni definite dall'utente) scalari e di tabella nel parser
• [SPARK-48697] [SC-170122][LC-4703][SQL] Aggiungere filtri stringa con riconoscimento delle regole di confronto
• [SPARK-48800] [SC-170409][CONNECT][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][SQL] Corretto perché la versione per l'alias randomfunc predefinito , , positionmod, cardinality, , current_schemausersession_userchar_lengthcharacter_length
• [SPARK-48638] [SC-169575][CONNECT] Aggiungere il supporto ExecutionInfo per DataFrame
• [SPARK-48064] [SC-164697][SQL] Aggiornare i messaggi di errore per le classi di errore correlate alle routine
• [SPARK-48810] [CONNECT] L'API di arresto della sessione () deve essere idempotente e non ha esito negativo se la sessione è già chiusa dal server
• [SPARK-48650] [15.x][PYTHON] Visualizzare il sito di chiamata corretto da IPython Notebook
• [SPARK-48271] [SC-166076][SQL] Trasformare l'errore di corrispondenza in RowEncoder in UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][SQL] Correzione della mancata corrispondenza della risoluzione dei tipi varchar per DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][SQL] Correzione della regressione per INSERT con elenco di colonne parziale in una tabella con char/varchar
• [SPARK-48767] [SC-170330][SQL] Correzione di alcune richieste di errore quando variant i dati di tipo non sono validi
• [SPARK-48719] [SC-170339][SQL] Correggere il bug di calcolo di RegrSlope & RegrIntercept quando il primo parametro è Null
• [SPARK-48815] [SC-170334][CONNECT] Aggiornare l'ambiente quando si arresta la sessione di connessione
• [SPARK-48646] [SC-169020][PYTHON] Ridefinire la documentazione dell'API dell'origine dati Python e gli hint per il tipo
• [SPARK-48806] [SC-170310][SQL] Passare un'eccezione effettiva quando url_decode ha esito negativo
• [SPARK-47777] [SC-168818] Correzione del test di connessione dell'origine dati di flusso Python
• [SPARK-48732] [SC-169793][SQL] Pulizia dell'utilizzo dell'API deprecato correlato a JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL] Correggi la tabella cache con colonna ordinata
• [SPARK-48623] [SC-169034][CORE] Migrazioni di registrazione strutturata
• [SPARK-48655] [SC-169542][SQL] SPJ: aggiungere test per ignorare casualmente le query di aggregazione
• [SPARK-48586] [SC-169808][SS] Rimuovere l'acquisizione del blocco in doMaintenance() realizzando una copia completa delle mappature di file in RocksDBFileManager in load()
• [SPARK-48799] [Backport][15.x][SC-170283][SS] Effettuare il refactoring delle versioni per i metadati dell'operatore in lettura/scrittura e chiamanti
• [SPARK-48808] [SC-170309][SQL] Correggere il NPE durante la connessione al thriftserver tramite Hive 1.2.1 quando lo schema dei risultati è vuoto.
• [SPARK-48715] [SC-170291][SQL] Integrare la convalida UTF8String nelle implementazioni di funzioni stringa in grado di supportare le regole di confronto
• [SPARK-48747] [SC-170120][SQL] Aggiungere l'iteratore del punto di codice a UTF8String
• [SPARK-48748] [SC-170115][SQL] Cache numChars in UTF8String
• [SPARK-48744] [SC-169817][Core] La voce di log deve essere costruita una sola volta
• [SPARK-46122] [SC-164313][SQL] Impostare di default spark.sql.legacy.createHiveTableByDefault su false
• [SPARK-48765] [SC-170119][DEPLOY] Migliorare la valutazione del valore predefinito per SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][SQL] Aggiungere la documentazione sulla migrazione per la modifica del comportamento di CREATE TABLE AS SELECT a partire da Spark 3.4
• [SPARK-48598] [SC-169484][PYTHON][CONNECT] Propagare lo schema memorizzato nella cache nelle operazioni del dataframe
• [SPARK-48766] [SC-170126][PYTHON] Documentare la differenza di comportamento tra extractionelement_at e try_element_at
• [SPARK-48768] [SC-170124][PYTHON][CONNECT] Non deve memorizzare nella cache explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS] Modificare in modo che la lettura dei metadati dell'operatore avvenga una sola volta sul driver per verificare la possibilità di trovare informazioni per numColsPrefixKey utilizzato nelle query di aggregazione della finestra di sessione.
• [SPARK-48656] [SC-169529][CORE] Eseguire un controllo di lunghezza e generare COLLECTION_SIZE_LIMIT_EXCEEDED errore in CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
• [SPARK-48472] [SC-169044][SQL] Abilitare le espressioni reflect con stringhe collate
• [SPARK-48699] [SC-169597][SQL] Perfezionare l'API delle regole di confronto
• [SPARK-48682] [SC-169812][SQL][SI COMPORTA-58] Usare L'ICU nell'espressione InitCap per UTF8_BINARY stringhe
• [SPARK-48282] [SC-169813][SQL] Modificare la logica di ricerca di stringhe per le regole di confronto UTF8_BINARY_LCASE (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][SQL] Abilitare il supporto delle regole di confronto per l'espressione Mode
• [SPARK-48320] [SPARK-48490] Sincronizzare la caratteristica di registrazione e i test case più recenti da OSS Spark
• [SPARK-48629] [SC-169479] Eseguire la migrazione del codice residuo al framework di registrazione strutturato
• [SPARK-48681] [SC-169469][SQL][SI COMPORTA-58] Usare l'ICU nelle espressioni Lower/Upper per le stringhe UTF8_BINARY
• [SPARK-48573] [15.x][SC-169582][SQL] Aggiornare la versione di ICU
• [SPARK-48687] [Backport][15.x][SS] Aggiungi modifica per eseguire la convalida dello schema di stato e aggiornare il driver per le query con stato
• [SPARK-47579] [15.x][SC-167310][CORE][PART4] Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata
• [SPARK-48008] [SC-167363][1/2] Supportare le funzioni definite dall'utente in Spark Connect
• [SPARK-48578] [SC-169505][SQL] Aggiungere funzioni correlate alla convalida delle stringhe UTF8
• [SPARK-48670] [SC-169598][SQL] Fornire un suggerimento come parte del messaggio di errore quando viene assegnato un nome di regole di confronto non valido
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] Framework di log strutturato sul lato Java
• [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: Eseguire la migrazione di logWarn con variabili al framework di registrazione strutturata
• [SPARK-48706] [SC-169589][PYTHON] La funzione definita dall'utente Python in ordine superiore non deve generare un errore interno
• [SPARK-48498] [SI COMPORTA-38][SC-168060][SQL] Eseguire sempre il riempimento dei caratteri nei predicati
• [SPARK-48662] [SC-169533][SQL] Correzione dell'espressione StructsToXml con regole di confronto
• [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates e dropDuplicatesWIthinWatermark devono accettare argomenti di lunghezza variabile
• [SPARK-48678] [SC-169463][CORE] Ottimizzazioni delle prestazioni per SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] Rinominare UTF8_BINARY_LCASE in UTF8_LCASE
• [SPARK-47927] [SC-164123][SQL]: Correzione dell'attributo nullbility nel decodificatore UDF
• [SPARK-47579] [SC-165297][CORE][PART1] Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturato (nuovo)
• [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal non usare i metodi deprecati
• [SPARK-48431] [SC-167290][LC-4066][SQL] Non inoltrare predicati sulle colonne collate ai lettori di file
• [SPARK-47579] Ripristinare "[SC-165297][CORE][PART1] Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata"
• [SPARK-47585] [SC-164306][SQL] Sql Core: Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata
• [SPARK-48466] [SC-169042][SQL] Creare un nodo dedicato per EmptyRelation in AQE
• [SPARK-47579] [SC-165297][CORE][PART1] Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata
• [SPARK-48410] [SC-168320][SQL] Correzione dell'espressione InitCap per le regole di confronto di UTF8_BINARY_LCASE e ICU
• [SPARK-48318] [SC-167709][SQL] Abilitare il supporto hash join per tutte le collations (tipi complessi)
• [SPARK-48435] [SC-168128][SQL] Le regole di confronto UNICODE non devono supportare l'uguaglianza binaria
• [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Supportare l'uso di colonne come parametri per diverse funzioni in pyspark/scala
• [SPARK-48591] [SC-169081][PYTHON] Aggiungere una funzione helper per semplificare Column.py
• [SPARK-48574] [SC-169043][SQL] Correzione del supporto per StructType con regole di confronto
• [SPARK-48305] [SC-166390][SQL] Aggiungere il supporto delle regole di confronto per le espressioni CurrentLike
• [SPARK-48342] [SC-168941][SQL] Introduzione al parser di scripting SQL
• [SPARK-48649] [SC-169024][SQL] Aggiungere "ignoreInvalidPartitionPaths" e "spark.sql.files.ignoreInvalidPartitionPaths" per consentire di ignorare i percorsi di partizione non validi
• [SPARK-48000] [SC-167194][SQL] Abilitare il supporto dell'hash join per tutte le collazioni (StringType)
• [SPARK-48459] [SC-168947][CONNECT][PYTHON] Implementare DataFrameQueryContext in Spark Connect
• [SPARK-48602] [SC-168692][SQL] Creare un generatore csv supporta uno stile di output diverso con spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][SQL] Modificare il confronto tra stringhe per UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][SQL] refactoring: usare idMap ausiliario anziché OP_ID_TAG
• [SPARK-48634] [SC-169021][PYTHON][CONNECT] Evitare l'inizializzazione statica del pool di thread in ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][SQL] Introduce un binaryformatter universale per rendere coerente l'output binario
• [SPARK-48642] [SC-168889][CORE] False SparkOutOfMemoryError causato dall'eliminazione dell'attività durante la distribuzione
• [SPARK-48572] [SC-168844][SQL] Correzione di espressioni DateSub, DateAdd, WindowTime, TimeWindow e SessionWindow
• [SPARK-48600] [SC-168841][SQL] Correzione del cast implicito delle espressioni FrameLessOffsetWindowFunction
• [SPARK-48644] [SC-168933][SQL] Eseguire un controllo di lunghezza e generare COLLECTION_SIZE_LIMIT_EXCEEDED errore in Hex.hex
• [SPARK-48587] [SC-168824][VARIANT] Evitare l'amplificazione dell'archiviazione quando si accede a una variante secondaria
• [SPARK-48647] [SC-168936][PYTHON][CONNECT] Ridefinire il messaggio di errore per YearMonthIntervalType in df.collect
• [SPARK-48307] [SC-167802][SQL] InlineCTE deve mantenere relazioni non inlined nel nodo WithCTE originale
• [SPARK-48596] [SC-168581][SQL] Miglioramento delle prestazioni per il calcolo della stringa esadecimale per long
• [SPARK-48621] [SC-168726][SQL] Correzione della semplificazione like in Optimizer per stringhe collated
• [SPARK-47148] [SC-164179][SQL] Evitare di materializzare AQE ExchangeQueryStageExec sull'annullamento
• [SPARK-48584] [SC-168579][SQL] Miglioramento delle prestazioni per unescapePathName
• [SPARK-48281] [SC-167260][SQL] Modificare la logica di ricerca di stringhe per le regole di confronto UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][SQL] Sostituzione della sequenza di byte UTF-8 non valida
• [SPARK-48595] [SC-168580][CORE] Pulizia dell'utilizzo dell'API deprecato correlato a commons-compress
• [SPARK-48030] [SC-164303][SQL] SPJ: cache rowOrdering e structType per InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][SQL] Aggiungere il tratto WriteFilesExecBase per la scrittura v1
• [SPARK-48551] [SC-168438][SQL] Miglioramento delle prestazioni per escapePathName
• [SPARK-48565] [SC-168437][interfaccia utente] Correzione della visualizzazione del dump del thread nell'interfaccia utente
• [SPARK-48364] [SC-166782][SQL] Aggiungere il cast del tipo AbstractMapType e correggere il mapping dei parametri RaiseError per lavorare con stringhe collate
• [SPARK-48421] [SC-168689][SQL] SPJ: Aggiungere la documentazione
• [SPARK-48604] [SC-168698][SQL] Sostituire una chiamata al metodo deprecata new ArrowType.Decimal(precision, scale)
• [SPARK-46947] [SC-157561][CORE] Ritardare l'inizializzazione del gestore della memoria fino al caricamento del plug-in driver
• [SPARK-48411] [SC-168576][SS][PYTHON] Aggiungere il test E2E per DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][SS] Tenere traccia degli errori di convalida delle righe di stato usando la classe di errore esplicita
• [SPARK-48221] [SC-167143][SQL] Modificare la logica di ricerca di stringhe per le regole di confronto UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][SQL] Aggiungere il supporto delle regole di confronto per l'espressione Levenshtein
• [SPARK-48593] [SC-168719][PYTHON][CONNECT] Correggere la rappresentazione di stringa della funzione lambda
• [SPARK-48622] [SC-168710][SQL] recuperare SQLConf una volta al momento della risoluzione dei nomi delle colonne
• [SPARK-48594] [SC-168685][PYTHON][CONNECT] Rinominare parent il campo child in in ColumnAlias
• [SPARK-48403] [SC-168319][SQL] Correzione delle espressioni Lower & Upper per le regole di confronto UTF8_BINARY_LCASE e ICU
• [SPARK-48162] [SC-166062][SQL] Aggiungere il supporto delle regole di confronto per le espressioni MISC
• [SPARK-48518] [SC-167718][CORE] Rendere la compressione LZF in grado di essere eseguita in parallelo
• [SPARK-48474] [SC-167447][CORE] Correggere il nome della classe del log in SparkSubmitArguments & SparkSubmit
• [SPARK-48012] [SC-168267][SQL] SPJ: supportare le espressioni transfrom per un lato casuale
• [SPARK-48552] [SC-168212][SQL] L'inferenza dello schema CSV su più righe deve generare anche FAILED_READ_FILE
• [SPARK-48560] [SC-168268][SS][PYTHON] Impostare StreamingQueryListener.spark
• [SPARK-48569] [SC-168321][SS][CONNECT] Gestire i casi perimetrali in query.name
• [SPARK-47260] [SC-167323][SQL] Assegnare il nome alla classe di errore _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][CONNECT] Propagare lo schema memorizzato nella cache nelle operazioni set
• [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation per il join deve verificare se il figlio rimanente è solo BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][CORE] I nomi brevi del codec di compressione non fanno distinzione tra maiuscole e minuscole, ad eccezione della registrazione degli eventi
• [SPARK-48447] [SC-167607][SS] Controllare la classe del provider dell'archivio stati prima di richiamare il costruttore
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff e DateTimeUtils.timestampAdd non devono generare INTERNAL_ERROR eccezione
• [SPARK-48513] [Backport][15.x][SC-168085][SS] Aggiungere una classe di errore per la compatibilità dello schema di stato e la rifattorizzazione minore
• [SPARK-48413] [SC-167669][SQL] ALTER COLUMN con regole di confronto
• [SPARK-48561] [SC-168250][PS][CONNECT] Generare PandasNotImplementedError un'eccezione per le funzioni di tracciamento non supportate
• [SPARK-48465] [SC-167531][SQL] Evitare la propagazione delle relazioni vuote senza operazioni
• [SPARK-48553] [SC-168166][PYTHON][CONNECT] Memorizzare nella cache altre proprietà
• [SPARK-48540] [SC-168069][CORE] Evitare le impostazioni di caricamento dell'output ivy in stdout
• [SPARK-48535] [SC-168057][SS] Aggiornare la documentazione di configurazione per indicare la possibilità di perdita o danneggiamento dei dati se viene abilitata l'opzione di ignorare i valori null per la configurazione di join tra flussi-flussi
• [SPARK-48536] [SC-168059][PYTHON][CONNECT] Memorizza nella cache lo schema specificato dall'utente in applyInPandas e applyInArrow
• [SPARK-47873] [SC-163473][SQL] Scrivere stringhe con regole di confronto nel metastore Hive usando il tipo stringa normale
• [SPARK-48461] [SC-167442][SQL] Sostituire NullPointerExceptions con la classe di errore nell'espressione AssertNotNull
• [SPARK-47833] [SC-163191][SQL][CORE] Specificare stackstrace del chiamante per checkAndGlobPathIfNecessary AnalysisException
• [SPARK-47898] [SC-163146][SQL] Porta HIVE-12270: Aggiungere il supporto DBTokenStore al token di delega HS2
• [SPARK-47578] [SC-167497][R] Eseguire la migrazione di RPackageUtils con variabili al framework di registrazione strutturata
• [SPARK-47875] [SC-162935][CORE] Rimuovere spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][CORE] Impostare spark.hadoop.fs.s3a.connection.establish.timeout a 30 secondi se mancante
• [SPARK-47972] [SC-167692][SQL] Limitare l'espressione CAST per le regole di confronto
• [SPARK-48430] [SC-167489][SQL] Correzione dell'estrazione dei valori della mappa quando la mappa contiene stringhe con regole di confronto
• [SPARK-47318] [SC-162712][CORE][3.5] Aggiunge il round HKDF alla derivazione della chiave AuthEngine per seguire le procedure KEX standard
• [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Correzione di sottoquery scalari non valide con group-by su colonne non equivalenti che erano erroneamente consentite
• [SPARK-48508] [SC-167695][CONNECT][PYTHON] Schema specificato dall'utente nella cache in DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS] Correzione del bug in Windows in cui l'avvio di più istanze di Spark nello stesso secondo causa un errore
• [SPARK-45891] [SC-167608]Revert " Describe shredding scheme for Variant"
• [SPARK-48391] [SC-167554][CORE]Uso di addAll invece di aggiungere una funzione daAccumulatorInfos metodo della classe TaskMetrics
• [SPARK-48496] [SC-167600][CORE] Usare istanze del modello regex statico in JavaUtils.timeStringAs e JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][SQL] Correzione del messaggio di errore NPE per csv null delmiter
• [SPARK-48489] [SC-167598][SQL] Generare un errore migliore rivolto all'utente durante la lettura di uno schema non valido dalla sorgente di dati testuale
• [SPARK-48471] [SC-167324][CORE] Migliorare la documentazione e la guida all'utilizzo per il server di cronologia
• [SPARK-45891] [SC-167597] Descrivere lo schema di shredding per Variant
• [SPARK-47333] [SC-159043][SQL] Usare checkInputDataTypes per controllare i tipi di parametro della funzione to_xml
• [SPARK-47387] [SC-159310][SQL] Rimuovere alcune classi di errore inutilizzate
• [SPARK-48265] [ES-1131440][SQL] Inferire il limite del gruppo di finestre batch dovrebbe eseguire un folding costante
• [SPARK-47716] [SC-167444][SQL] Evitare conflitti di nome visualizzazione nel test case di ordinamento semantico sqlQueryTestSuite
• [SPARK-48159] [SC-167141][SQL] Estensione del supporto per le stringhe con regole di confronto nelle espressioni datetime
• [SPARK-48462] [SC-167271][SQL][Test] Usare conSQLConf nei test: Eseguire il refactoring di HiveQuerySuite e HiveTableScanSuite
• [SPARK-48392] [SC-167195][CORE] spark-defaults.conf Caricare anche quando specificato --properties-file
• [SPARK-48468] [SC-167417] Aggiungere l'interfaccia LogicalQueryStage in catalyst
• [SPARK-47578] [SC-164988][CORE] Backport manuale per Spark PR #46309: Eseguire la migrazione del logWarning con variabili al framework di registrazione strutturata
• [SPARK-48415] [SC-167321]Ripristinare "[PYTHON] Refactoring TypeName per supportare i tipi di dati con parametri"
• [SPARK-46544] [SC-151361][SQL] Supporto v2 DESCRIBE TABLE EXTENDED con statistiche di tabella
• [SPARK-48325] [SC-166963][CORE] Specificare sempre i messaggi in ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][SQL] Aggiungere il supporto delle regole di confronto per le impostazioni locali e gli identificatori delle regole di confronto di ICU
• [SPARK-47221] [SC-157870][SQL] Usa firme da CsvParser a AbstractParser
• [SPARK-47246] [SC-158138][SQL] Sostituire InternalRow.fromSeq con new GenericInternalRow per salvare una conversione della raccolta
• [SPARK-47597] [SC-163932][STREAMING] Backport manuale per Spark PR #46192: Streaming: Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata
• [SPARK-48415] [SC-167130][PYTHON] Effettuare il refactoring TypeName per supportare tipi di dati con parametri
• [SPARK-48434] [SC-167132][PYTHON][CONNECT] Rendere printSchema utilizzare lo schema memorizzato nella cache
• [SPARK-48432] [ES-1097114][SQL] Evitare numeri interi unboxing in UnivocityParser
• [SPARK-47463] [SC-162840][SQL] Usare V2Predicate per eseguire il wrapping dell'espressione con tipo restituito booleano
• [SPARK-47781] [SC-162293][SQL] Gestire i decimali di scala negativi per le origini dati JDBC
• [SPARK-48394] [SC-166966][CORE] Cleanup mapIdToMapIndex on mapoutput unregister
• [SPARK-47072] [SC-156933][SQL] Correzione dei formati di intervallo supportati nei messaggi di errore
• [SPARK-47001] [SC-162487][SQL] Verifica pushdown in Optimizer
• [SPARK-48335] [SC-166387][PYTHON][CONNECT] Rendere _parse_datatype_string compatibile con Spark Connect
• [SPARK-48329] [SC-166518][SQL] Abilita spark.sql.sources.v2.bucketing.pushPartValues.enabled per impostazione predefinita
• [SPARK-48412] [SC-166898][PYTHON] Eseguire il refactoring dell'analisi json del tipo di dati
• [SPARK-48215] [SC-166781][SQL] Estensione del supporto per le stringhe collate nell'espressione date_format
• [SPARK-45009] [SC-166873][SQL][FOLLOW UP] Aggiungere classe di errore e test per la decorrelazione delle sottoquery del predicato nella condizione di join che fanno riferimento a entrambi i figli del join
• [SPARK-47960] [SC-165295][SS][15.x] Consenti il concatenamento di altri operatori con stato dopo l'operatore transformWithState.
• [SPARK-48340] [SC-166468][PYTHON] Supporto per inferire lo schema di TimestampNTZ mancante prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][SQL] Aggiungere il supporto delle regole di confronto per le espressioni CSV
• [SPARK-48158] [SC-165652][SQL] Aggiungere il supporto delle regole di confronto per le espressioni XML
• [SPARK-48160] [SC-166064][SQL] Aggiungere il supporto delle regole di confronto per le espressioni XPATH
• [SPARK-48229] [SC-165901][SQL] Aggiungere il supporto delle regole di confronto per le espressioni inputFile
• [SPARK-48367] [SC-166487][CONNECT] Correggere lint-scala per scalafmt per rilevare i file in modo che vengano formattati correttamente
• [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Refactoring della struttura per il contesto di errore del dataframe
• [SPARK-48370] [SC-166787][CONNECT] Checkpoint e localCheckpoint nel client Scala Spark Connect
• [SPARK-48247] [SC-166028][PYTHON] Usare tutti i valori in un dict durante l'inferenza dello schema MapType
• [SPARK-48395] [SC-166794][PYTHON] Correzione StructType.treeString per i tipi con parametri
• [SPARK-48393] [SC-166784][PYTHON] Spostare un gruppo di costanti in pyspark.util
• [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Implementare StructType.treeString
• [SPARK-48258] [SC-166467][PYTHON][CONNECT] Checkpoint e localCheckpoint in Spark Connect

Vedere Aggiornamenti della manutenzione di Databricks Runtime 15.4 LTS.

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot posit Gestione pacchetti CRAN.

Librerie Java e Scala installate (versione del cluster Scala 2.12)