Databricks Runtime 14.3 LTS

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 14.3 LTS, con tecnologia Apache Spark 3.5.0.

Databricks ha rilasciato questa versione a febbraio 2024.

Miglioramenti e nuove funzionalità

• Supporto del file system dell'area di lavoro in Funzioni definite dall'utente pySpark nei cluster condivisi
• Supporto per le ottimizzazioni dei vettori MERGE di eliminazione senza Photon
• API del catalogo Spark ora completamente supportate in modalità di accesso condiviso
• Delta UniForm è ora disponibile a livello generale
• nuova funzione SQL EXECUTE IMMEDIATE
• Ricalcolare le statistiche di salto dati per le tabelle Delta
• Informazioni sullo stato delle query sullo stato per le query di streaming con stato
• Usare l'ID Microsoft Entra per l'autenticazione Kafka nei cluster condivisi
• Supporto aggiunto per l'eliminazione di file e partizioni per migliorare le prestazioni delle query
• Dichiarare variabili temporanee in una sessione SQL
• Gli aggiornamenti Thriftserver per rimuovere le funzionalità inutilizzate
• Usare i file dell'archivio dei certificati di fiducia e dell'archivio chiavi nei volumi del Catalogo Unity
• Supporto del formato di file XML nativo (anteprima pubblica)
• Supporto per l'archiviazione Cloudflare R2 (anteprima pubblica)
• l'accesso a Spark e dbutils ai file dell'area di lavoro supporta i cluster del catalogo Unity con accesso condiviso
• Script di inizializzazione e supporto delle librerie del cluster nei cluster del Catalogo Unity con accesso condiviso

Supporto del file system dell'area di lavoro in Funzioni definite dall'utente pySpark nei cluster condivisi

Le funzioni definite dall'utente PySpark nei cluster condivisi possono ora importare moduli Python da cartelle Git ,file dell'area di lavoro ,o volumi UC ,.

Per altre informazioni sull'uso dei moduli nelle cartelle Git o nei file dell'area di lavoro, vedere Usare i moduli Python e R.

Supporto per le ottimizzazioni dei vettori MERGE di eliminazione senza Photon

Photon non è più necessario per le operazioni per MERGE sfruttare le ottimizzazioni dei vettori di eliminazione. Si veda Che cosa sono i vettori di eliminazione?.

Api del catalogo Spark ora completamente supportate in modalità di accesso condiviso

È ora possibile usare tutte le funzioni nell'API spark.catalog sia in Python che in Scala nel calcolo configurato con la modalità di accesso condiviso.

Delta UniForm è ora disponibile a livello generale

UniForm è ora disponibile a livello generale e usa la funzionalità tabella IcebergCompatV2. È ora possibile abilitare o aggiornare UniForm nelle tabelle esistenti. Consulta le tabelle Delta con i client Iceberg.

Nuova funzione SQL EXECUTE IMMEDIATE

È ora possibile usare la sintassi EXECUTE IMMEDIATE per supportare query con parametri in SQL. Vedere EXECUTE IMMEDIATE.

Ricalcolare le statistiche di esclusione dei dati per le tabelle Delta

È ora possibile ricompilare le statistiche archiviate nel log Delta dopo aver modificato le colonne usate per il data skipping. Vedi Specifica le colonne delle statistiche Delta.

Informazioni sullo stato delle query sullo stato per le query di streaming con stato

È ora possibile eseguire query sui dati e sui metadati dello stato structured streaming. Vedere Leggere le informazioni sullo stato di Structured Streaming.

Usare l'ID Microsoft Entra per l'autenticazione Kafka nei cluster condivisi

È ora possibile autenticare i servizi di Hub eventi tramite OAuth con Microsoft Entra ID nel calcolo configurato con la modalità di accesso condiviso. Vedere Autenticazione entità servizio con Microsoft Entra ID e Azure Event Hub.

Aggiunta del supporto per l'eliminazione di partizioni e file per ottimizzare le prestazioni delle query

Per velocizzare alcune query che si basano sull'uguaglianza tollerante ai valori Nulli nelle condizioni di JOIN, sono ora supportati DynamicFilePruning e DynamicPartitionPruning per l'operatore EqualNullSafe nei JOINs.

Dichiarare variabili temporanee in una sessione SQL

Questa versione introduce la possibilità di dichiarare variabili temporanee in una sessione che è possibile impostare e quindi fare riferimento all'interno delle query. Vedere Variabili.

Aggiornamenti thriftserver per rimuovere le funzionalità inutilizzate

Il codice Thriftserver è stato aggiornato per rimuovere il codice per le funzionalità obsolete. A causa di queste modifiche, le configurazioni seguenti non sono più supportate:

• Le jar ausiliarie hive, configurate usando la proprietà hive.aux.jars.path, non sono più supportate per le connessioni hive-thriftserver.
• Il file init globale Hive (.hiverc), il cui percorso è configurato usando la proprietà hive.server2.global.init.file.location o la variabile di ambiente HIVE_CONF_DIR, non è più supportata per le connessioni hive-thriftserver.

Utilizzare i file di truststore e keystore nei volumi di Unity Catalog

È ora possibile usare i file truststore e keystore nei volumi di Unity Catalog per eseguire l'autenticazione con un Registro schemi Confluent per i dati avro o protocol buffer. Vedere la documentazione per buffer avro o protocol.

Supporto del formato di file XML nativo (anteprima pubblica)

Supporto del formato di file XML nativo adesso disponibile in anteprima pubblica. Il supporto del formato di file XML consente l'inserimento, l'esecuzione di query e l'analisi dei dati XML per l'elaborazione batch o lo streaming. Può dedurre ed evolvere automaticamente schemi e tipi di dati, supporta espressioni SQL come from_xmle può generare documenti XML. Non richiede file JAR esterni e funziona perfettamente con il caricatore automatico, read_files, COPY INTOe le tabelle live Delta. Vedere Leggere e scrivere file XML.

Supporto per l'archiviazione Cloudflare R2 (anteprima pubblica)

È ora possibile usare Cloudflare R2 come archiviazione cloud per i dati registrati nel catalogo unity. Cloudflare R2 è destinato principalmente ai casi d'uso di condivisione delta in cui si vogliono evitare le tariffe di uscita dei dati addebitate dai provider di servizi cloud quando i dati attraversano aree. L’archiviazione R2 supporta tutti gli asset di dati e intelligenza artificiale di Databricks supportati in AWS S3, Azure Data Lake Storage Gen2 e Google Cloud Storage. Consultare Usare repliche Cloudflare R2 o eseguire la migrazione dell’archiviazione a R2 e Creare credenziali di archiviazione per la connessione a Cloudflare R2.

Il supporto all'accesso di Spark e dbutils ai file dell'area di lavoro è disponibile sui cluster condivisi del catalogo Unity.

Spark e dbutils ora supportano l'accesso in lettura e scrittura ai file dell'area di lavoro nei cluster Unity Catalog in modalità di accesso condiviso . Vedere Usare i file dell'area di lavoro.

Gli script di init e il supporto delle librerie dei cluster nei cluster del catalogo Unity ad accesso condiviso

L'installazione di script init con ambito cluster e librerie Python e JAR nei cluster del catalogo Unity in modalità di accesso condiviso, inclusa l'installazione con criteri cluster , è ora disponibile a livello generale. Databricks consiglia di installare script di inizializzazione e librerie dai volumi di Unity Catalog .

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • fastjsonschema da 2.19.0 a 2.19.1
  • filelock da 3.12.4 a 3.13.1
  • googleapis-common-protos da 1.61.0 a 1.62.0
  • imballaggio da 22.0 a 23.2
• Librerie R aggiornate:
  • estero da 0,8-82 a 0,8-85
  • nlme da 3.1-162 a 3.1-163
  • rpart dalla versione 4.1.19 alla versione 4.1.21
• Librerie Java aggiornate:
  • com.databricks.databricks-sdk-java da 0.7.0 a 0.13.0
  • org.apache.orc.orc-core da 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce da 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims da 1.9.1 a 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 da 2.9.0 a 2.11.0

Apache Spark

Databricks Runtime 14.3 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 14.2 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-46541] [SC-153546][SQL][CONNECT] Correggere il riferimento ambiguo alla colonna nel self join
• [SPARK-45433] Ripristinare "[SC-145163][SQL] Correzione dello schema CSV/JSON...
• [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Rendere addArtifact riprovabile
• [SPARK-46660] [SC-153391][CONNECT] ReattachExecute richiede aggiornamenti dell'integrità del sessionholder
• [SPARK-46670] [SC-153273][PYTHON][SQL] Rendere DataSourceManager auto clone-able separando origini dati Python statiche e di runtime
• [SPARK-46720] [SC-153410][SQL][PYTHON] Effettuare il refactoring dell'origine dati Python per allinearsi ad altre origini dati predefinite DSv2
• [SPARK-46684] [SC-153275][PYTHON][CONNECT] Correzione di CoGroup.applyInPandas/Arrow per passare correttamente gli argomenti
• [SPARK-46667] [SC-153271][SC-153263][SQL] XML: genera un errore in più origini dati XML
• [SPARK-46382] [SC-151881][SQL]XML: valore predefinito ignoreSurroundingSpaces su true
• [SPARK-46382] [SC-153178][SQL] XML: Aggiorna doc per ignoreSurroundingSpaces
• [SPARK-45292] Ripristinare "[SC-151609][SQL][HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader"
• [SPARK-45292] [SC-151609][SQL][HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader
• [SPARK-46311] [SC-150137][CORE] Registrare lo stato finale dei driver durante Master.removeDriver
• [SPARK-46413] [SC-151052][PYTHON] Convalidare returnType della funzione definita dall'utente python arrow
• [SPARK-46633] [WARMFIX][SC-153092][SQL] Correzione del lettore Avro per gestire blocchi di lunghezza zero
• [SPARK-46537] [SC-151286][SQL] Convertire NPE e asserzioni da comandi a errori interni
• [SPARK-46179] [SC-151678][SQL] Aggiungere CrossDbmsQueryTestSuites, che esegue altri DBMS su file golden con altri DBMS, a partire da Postgres
• [SPARK-44001] [SC-151413][PROTOBUF] Aggiungere l'opzione per consentire il wrapping di tipi wrapper noti protobuf
• [SPARK-40876] [SC-151786][SQL] Innalzamento di livello dei tipi per i decimali con scalabilità maggiore nei lettori Parquet
• [SPARK-46605] [SC-151769][CONNECT] Supporto della lit/typedLit funzione in connect module s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][SQL] La convalida dei valori letterali non deve eseguire il drill-down in campi Null
• [SPARK-37039] [SC-153094][PS] Correzione Series.astype per il corretto funzionamento con il valore mancante
• [SPARK-46312] [SC-150163][CORE] Usare lower_camel_case in store_types.proto
• [SPARK-46630] [SC-153084][SQL] XML: Convalidare il nome dell'elemento XML in scrittura
• [SPARK-46627] [SC-152981][SS][interfaccia utente] Correzione del contenuto della descrizione comando della sequenza temporale nell'interfaccia utente di streaming
• [SPARK-46248] [SC-151774][SQL] XML: supporto per le opzioni ignoreCorruptFiles e ignoreMissingFiles
• [SPARK-46386] [SC-150766][PYTHON] Migliorare le asserzioni di osservazione (pyspark.sql.osservazione)
• [SPARK-46581] [SC-151789][CORE] Aggiorna il commento su isZero in AccumulatorV2
• [SPARK-46601] [SC-151785] [CORE] Correzione dell'errore di log in handleStatusMessage
• [SPARK-46568] [SC-151685][PYTHON] Rendere le opzioni dell'origine dati Python un dizionario senza distinzione tra maiuscole e minuscole
• [SPARK-46611] [SC-151783][CORE] Rimuovere ThreadLocal sostituendo SimpleDateFormat con DateTimeFormatter
• [SPARK-46604] [SC-151768][SQL] Supporto Literal.applys.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][SQL][PYTHON] Correggere il nome di output di pyspark.sql.functions.user e session_user
• [SPARK-46621] [SC-151794][PYTHON] Indirizzo Null da Exception.getMessage nell'eccezione acquisita py4J
• [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader deve rispettare la modalità di memoria durante la creazione di vettori di colonna per la colonna mancante
• [SPARK-46613] [SC-151778][SQL][PYTHON] Eccezione completa del log quando non è stato possibile cercare origini dati Python
• [SPARK-46559] [SC-151364][MLLIB] Eseguire il wrapping di export nel nome del pacchetto con i backtick
• [SPARK-46522] [SC-151784][PYTHON] Bloccare la registrazione dell'origine dati Python con conflitti di nomi
• [SPARK-45580] [SC-149956][SQL] Gestire il caso in cui una sottoquery nidificata diventa un join di esistenza
• [SPARK-46609] [SC-151714][SQL] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][SQL] Correggere npe quando si descrive una colonna estesa senza statistiche di confronto
• [SPARK-46599] [SC-147661][SC-151770][SQL] XML: usare TypeCoercion.findTightestCommonType per il controllo della compatibilità
• [SPARK-40876] [SC-151129][SQL] Promozioni di tipi più ampliate nei lettori Parquet
• [SPARK-46179] [SC-151069][SQL] Estrarre il codice in funzioni riutilizzabili in SQLQueryTestSuite
• [SPARK-46586] [SC-151679][SQL] Supporto s.c.immutable.ArraySeq come customCollectionCls in MapObjects
• [SPARK-46585] [SC-151622][CORE] Costruito metricPeaks direttamente come invece immutable.ArraySeq di usare mutable.ArraySeq.toSeq in Executor
• [SPARK-46488] [SC-151173][SQL] Ignorare trimAll call durante l'analisi del timestamp
• [SPARK-46231] [SC-149724][PYTHON] Eseguire la migrazione di tutti gli altri NotImplementedError e TypeError nel framework di errore pySpark
• [SPARK-46348] [SC-150281][CORE] Appoggiare spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][CORE] Durata del ripristino del log Spark HA
• [SPARK-46358] [SC-150307][CONNECT] Semplificare il controllo della condizione in ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][SQL]Sostituisci ora/data corrente prima di valutare espressioni di tabella inline.
• [SPARK-46563] [SC-151441][SQL] Visualizzare simpleString non seguire conf spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Ridurre la profondità dello stack sostituendo (string|array).size con (string|array).length
• [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(tutti i campi di una struttura) genera un fallimento di asserzione
• [SPARK-46565] [SC-151414][PYTHON] Perfezionare le classi di errore e i messaggi di errore per le origini dati Python
• [SPARK-46576] [SC-151614][SQL] Migliorare i messaggi di errore per la modalità di salvataggio dell'origine dati non supportata
• [SPARK-46540] [SC-151355][PYTHON] Rispettare i nomi delle colonne quando l'origine dati Python legge gli output delle funzioni denominati Oggetti Row
• [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite perde SessionState di Hive
• [SPARK-44556] [SC-151562][SQL] Riutilizzare OrcTail quando si abilita vectorizedReader
• [SPARK-46587] [SC-151618][SQL] XML: Correzione della conversione di numeri interi grandi XSD
• [SPARK-46382] [SC-151297][SQL] XML: Acquisire valori distribuiti tra gli elementi
• [SPARK-46567] [SC-151447][CORE] Rimuovere ThreadLocal per ReadAheadInputStream
• [SPARK-45917] [SC-151269][PYTHON][SQL] Registrazione automatica dell'origine dati Python all'avvio
• [SPARK-28386] [SC-151014][SQL] Impossibile risolvere ORDER BY colonne con GROUP BY e HAVING
• [SPARK-46524] [SC-151446][SQL] Migliorare i messaggi di errore per la modalità di salvataggio non valida
• [SPARK-46294] [SC-150672][SQL] Pulire la semantica di init rispetto al valore zero
• [SPARK-46301] [SC-150100][CORE] Appoggiare spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][SQL] Rimuovere il controllo della c>=0 da ExternalCatalogUtils#needsEscaping perché è sempre vero
• [SPARK-46553] [SC-151360][PS] FutureWarning per interpolate con dtype oggetto
• [SPARK-45914] [SC-151312][PYTHON] Supporto del commit e dell'API di interruzione per la scrittura dell'origine dati Python
• [SPARK-46543] [SC-151350][PYTHON][CONNECT] Creare json_tuple un'eccezione PySparkValueError per i campi vuoti
• [SPARK-46520] [SC-151227][PYTHON] Supporto della modalità di sovrascrittura per la scrittura dell'origine dati Python
• [SPARK-46502] [SC-151235][SQL] Supportare i tipi di timestamp in UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][CONNECT] Passare i parametri dei messaggi nei metadati di ErrorInfo
• [SPARK-46397] Ripristinare "[SC-151311][PYTHON][CONNECT] La funzione sha2 deve generare PySparkValueError per " non valido numBits
• [SPARK-46170] [SC-149472][SQL] Supporto dell'inserimento delle regole di strategia post planner query adattive in SparkSessionExtensions
• [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable non deve caricare la tabella
• [SPARK-46397] [SC-151311][PYTHON][CONNECT] La funzione sha2 deve generare PySparkValueError per un errore non valido numBits
• [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata
• [SPARK-46272] [SC-151012][SQL] Supportare CTAS usando origini DSv2
• [SPARK-46480] [SC-151127][CORE][SQL] Risolvi NPE quando si tenta la cache della tabella
• [SPARK-46100] [SC-149051][CORE][PYTHON] Ridurre la profondità dello stack sostituendo (string|array).size con (string|array).length
• [SPARK-45795] [SC-150764][SQL] DS V2 supporta la modalità push down
• [SPARK-46485] [SC-151133][SQL] V1Write non deve aggiungere l'ordinamento quando non è necessario
• [SPARK-46468] [SC-151121] [SQL] Gestire il bug COUNT per le sottoquery EXISTS con Aggregazione senza raggruppare le chiavi
• [SPARK-46246] [SC-150927][SQL] EXECUTE IMMEDIATE supporto SQL
• [SPARK-46498] [SC-151199][CORE] Rimuovere shuffleServiceEnabled da o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][SQL] Impostare le configurazioni di rebase sulla modalità CORRECTED per impostazione predefinita
• [SPARK-45525] [SC-151120][SQL][PYTHON] Supporto per la scrittura dell'origine dati Python con DSv2
• [SPARK-46505] [SC-151187][CONNECT] Rendere configurabile la soglia byte in ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][SQL] Rimuovere le configurazioni di ricalibrazione data/ora legacy
• [SPARK-46443] [SC-151123][SQL] La precisione decimale e la scala devono essere decise dal dialetto H2.
• [SPARK-46384] [SC-150694][SPARK-46404][SS][interfaccia utente] Correzione del grafico dello stack di durata dell'operazione nella pagina Structured Streaming
• [SPARK-46207] [SC-151068][SQL] Supporto di MergeInto in DataFrameWriterV2
• [SPARK-46452] [SC-151018][SQL] Aggiungere una nuova API in DataWriter per scrivere un iteratore di record
• [SPARK-46273] [SC-150313][SQL] Supporto INSERT INTO/OVERWRITE tramite sorgenti DSv2
• [SPARK-46344] [SC-150267][CORE] Avvisa correttamente quando un driver esiste correttamente, ma il master è disconnesso
• [SPARK-46284] [SC-149944][PYTHON][CONNECT] Aggiungere session_user una funzione a Python
• [SPARK-46043] [SC-149786][SQL] Supporto per la creazione di una tabella con origini DSv2
• [SPARK-46323] [SC-150191][PYTHON] Correggere il nome di output di pyspark.sql.functions.now
• [SPARK-46465] [SC-151059][PYTHON][CONNECT] Aggiungere Column.isNaN in PySpark
• [SPARK-46456] [SC-151050][CORE] Aggiungere spark.ui.jettyStopTimeout per impostare il timeout di arresto del server Jetty per sbloccare l'arresto di SparkContext
• [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: allow upcasting unsigned integer types
• [SPARK-46399] [SC-151013][14.x][Core] Aggiungere lo stato di uscita all'evento Application End per l'uso del listener Spark
• [SPARK-46423] [SC-150752][PYTHON][SQL] Impostare l'istanza dell'origine dati Python in DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][PYTHON][SQL] Supportare le metriche Python nell'origine dati Python
• [SPARK-46330] [SC-151015] Caricamento dei blocchi dell'interfaccia utente spark per molto tempo quando è abilitato HybridStore
• [SPARK-46378] [SC-150397][SQL] Rimuovere comunque l'ordinamento dopo la conversione dell'aggregazione in progetto
• [SPARK-45506] [SC-146959][CONNECT] Aggiungere il supporto dell'URI ivy a SparkConnect addArtifact
• [SPARK-45814] [SC-147871][CONNECT][SQL]Impostare ArrowConverters.createEmptyArrowBatch call close() per evitare perdite di memoria
• [SPARK-46427] [SC-150759][PYTHON][SQL] Modificare la descrizione dell'origine dati Python in modo che sia più leggibile nella spiegazione
• [SPARK-45597] [SC-150730][PYTHON][SQL] Supportare la creazione di una tabella usando un'origine dati Python in SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][PYTHON] Aggiungere getMessageParameters e il supporto getQueryContext
• [SPARK-46453] [SC-150897][CONNECT] Generare un'eccezione da internalError() in SessionHolder
• [SPARK-45758] [SC-147454][SQL] Introdurre un mapper per i codec di compressione hadoop
• [SPARK-46213] [PYTHON] Introduzione PySparkImportError al framework degli errori
• [SPARK-46230] [SC-149960][PYTHON] Eseguire la migrazione RetriesExceeded in PySpark - errore
• [SPARK-45035] [SC-145887][SQL] Correzione ignoreCorruptFiles/ignoreMissingFiles con CSV/JSON su più righe segnala un errore
• [SPARK-46289] [SC-150846][SQL] Supporto dell'ordinamento dei tipi definiti dall'utente in modalità interpretata
• [SPARK-46229] [SC-150798][PYTHON][CONNECT] Aggiungere applyInArrow a groupBy e cogroup in Spark Connect
• [SPARK-46420] [SC-150847][SQL] Rimuovere il trasporto inutilizzato in SparkSQLCLIDriver
• [SPARK-46226] [PYTHON] Eseguire la migrazione di tutti i file rimanenti RuntimeError nel framework degli errori pySpark
• [SPARK-45796] [SC-150613][SQL] Supporto della funzione MODE() WITHIN GROUP (ORDER BY col)
• [SPARK-40559] [SC-149686][PYTHON][14.X] Aggiungere applyInArrow a groupBy e cogroup
• [SPARK-46069] [SC-149672][SQL] Supporto del tipo di timestamp di annullamento del wrapping nel tipo date
• [SPARK-46406] [SC-150770][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][SS] Converti IllegalStateException in internalError negli iteratori di sessione
• [SPARK-45807] [SC-150751][SQL] Migliorare l'API ViewCatalog
• [SPARK-46009] [SC-149771][SQL][CONNECT] Unire la regola di analisi di PercentileCont e PercentileDisc in functionCall
• [SPARK-46403] [SC-150756][SQL] Decodificare il file binario parquet con il metodo getBytesUnsafe
• [SPARK-46389] [SC-150779][CORE] Chiudere manualmente l'istanza quando RocksDB/LevelDB si genera un'eccezione checkVersion
• [SPARK-46360] [SC-150376][PYTHON] Migliorare il debug dei messaggi di errore con la nuova getMessage API
• [SPARK-46233] [SC-149766][PYTHON] Eseguire la migrazione di tutti i file rimanenti AttributeError nel framework degli errori pySpark
• [SPARK-46394] [SC-150599][SQL] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando spark.sql.legacy.keepCommandOutputSchema impostato su true
• [SPARK-45964] [SC-148484][SQL] Rimuovere il metodo di accesso sql privato nei pacchetti XML e JSON nel pacchetto catalyst
• [SPARK-45856] [SC-148691] Spostare ArtifactManager da Spark Connect in SparkSession (sql/core)
• [SPARK-46409] [SC-150714][CONNECT] Correggere lo script di avvio spark-connect-scala-client
• [SPARK-46416] [SC-150699][CORE] Aggiungi @tailrec a HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][SQL] Limitare i set di caratteri in encode()
• [SPARK-46253] [SC-150416][PYTHON] Pianificare la lettura dell'origine dati Python con MapInArrow
• [SPARK-46339] [SC-150266][SS] La directory con nome numero batch non deve essere considerata come log dei metadati
• [SPARK-46353] [SC-150396][CORE] Effettuare il refactoring per migliorare la RegisterWorker copertura degli unit test
• [SPARK-45826] [SC-149061][SQL] Aggiungere una configurazione SQL per le tracce dello stack nel contesto di query del dataframe
• [SPARK-45649] [SC-150300][SQL] Unificare il framework di preparazione per OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][CORE] Correzione Master per aggiornare un worker da UNKNOWN a ALIVE su messaggio RegisterWorker msg
• [SPARK-46388] [SC-150496][SQL] HiveAnalysis manca la protezione del modello di query.resolved
• [SPARK-46401] [SC-150609][CORE] Usare !isEmpty() invece RoaringBitmap di getCardinality() > 0 in RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][SQL] Classificare le eccezioni nel catalogo tabelle JDBC
• [SPARK-45798] [SC-150513][CONNECT] Completamento: aggiungere serverSessionId a SessionHolderInfo
• [SPARK-46153] [SC-146564][SC-150508][SQL] XML: Aggiunta del supporto timestampNTZType
• [SPARK-46075] [SC-150393][CONNECT] Miglioramenti a SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Sostituire l'uso non corretto della documentazione di setConf con conf.set
• [SPARK-46202] [SC-150420][CONNECT] Esporre nuove API ArtifactManager per supportare directory di destinazione personalizzate
• [SPARK-45824] [SC-147648][SQL] Applicare la classe di errore in ParseException
• [SPARK-45845] [SC-148163][SS][interfaccia utente] Aggiungere il numero di righe di stato rimosse all'interfaccia utente di streaming
• [SPARK-46316] [SC-150181][CORE] Abilitare buf-lint-action il core modulo
• [SPARK-45816] [SC-147656][SQL] Restituisce NULL durante l'overflow durante il cast dal timestamp ai numeri interi
• [SPARK-46333] [SC-150263][SQL] Sostituire IllegalStateException con SparkException.internalError in catalizzatore
• [SPARK-45762] [SC-148486][CORE] Supportare i gestori casuali definiti nei file JAR utente modificando l'ordine di avvio
• [SPARK-46239] [SC-149752][CORE] Nascondi Jetty informazioni
• [SPARK-45886] [SC-148089][SQL] Traccia dello stack completo di output nel callSite contesto del dataframe
• [SPARK-46290] [SC-150059][PYTHON] Modificare saveMode in un flag booleano per DataSourceWriter
• [SPARK-45899] [SC-148097][CONNECT] Impostare errorClass in errorInfoToThrowable
• [SPARK-45841] [SC-147657][SQL] Esporre l'analisi dello stack tramite DataFrameQueryContext
• [SPARK-45843] [SC-147721][CORE] Supporto killall nell'API di invio REST
• [SPARK-46234] [SC-149711][PYTHON] Introduzione PySparkKeyError al framework degli errori PySpark
• [SPARK-45606] [SC-147655][SQL] Restrizioni di rilascio per il filtro di runtime multi-layer
• [SPARK-45725] [SC-147006][SQL] Eliminare il filtro di runtime della sottoquery IN che non è predefinito
• [SPARK-45694] [SC-147314][SPARK-45695][SQL] Pulire l'utilizzo dell'API View.force deprecato e ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][SQL] Rendere withOrigin più generico
• [SPARK-46292] [SC-150086][CORE][interfaccia utente] Visualizzare un riepilogo dei ruoli di lavoro in MasterPage
• [SPARK-45685] [SC-146881][CORE][SQL] Usare LazyList invece di Stream
• [SPARK-45888] [SC-149945][SS] Applicare il framework della classe di errore all'origine dati State (Metadata)
• [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed deve mantenere l'ordine dict/map
• [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][interfaccia utente] Eseguire la pulizia SeqOps.view e ArrayOps.view le conversioni
• [SPARK-46029] [SC-149255][SQL] Escape della virgoletta _ singola e % per il pushdown di DS V2
• [SPARK-46275] [SC-150189] Protobuf: restituisce Null in modalità permissiva quando la deserializzazione non riesce.
• [SPARK-46320] [SC-150187][CORE] Appoggiare spark.master.rest.host
• [SPARK-46092] [SC-149658][SQL] Non eseguire il push dei filtri dei gruppi di righe Parquet che superano l'overflow
• [SPARK-46300] [SC-150097][PYTHON][CONNECT] Rendere coerenti i comportamenti marginali nella colonna con una copertura completa dei test
• [SPARK-46298] [SC-150092][PYTHON][CONNECT] Corrispondere l'avviso di deprecazione, il caso di test e l'errore di Catalog.createExternalTable.
• [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Pulire l'utilizzo deprecato dell'API correlato all'uso e del StringContext/StringOps/RightProjection/LeftProjection/Either tipo di BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][SQL] Supporto SHOW TABLE EXTENDED nella versione 2
• [SPARK-45737] [SC-147011][SQL] Rimuovere i .toArray[InternalRow] non necessari in SparkPlan#executeTake
• [SPARK-46249] [SC-149797][SS] Richiedere il blocco dell'istanza per l'acquisizione delle metriche rocksDB per impedire la corsa con le operazioni in background
• [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed deve rispettare l'ordine dict
• [SPARK-46274] [SC-150043] [SQL] Correzione dell'operatore Range computeStats() per verificare la validità prolungata prima della conversione
• [SPARK-46040] [SC-149767][SQL][Python] Aggiornare l'API UDTF per le colonne di partizionamento/ordinamento 'analyze' per supportare le espressioni generali
• [SPARK-46287] [SC-149949][PYTHON][CONNECT] DataFrame.isEmpty deve funzionare con tutti i tipi di dati
• [SPARK-45678] [SC-146825][CORE] Coprire BufferReleasingInputStream.available/reset in tryOrFetchFailedException
• [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Pulire l'utilizzo deprecato dell'API correlato a IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][SQL] Introduzione della select * except sintassi
• [SPARK-46269] [SC-149816][PS] Abilitare altri test delle funzioni di compatibilità NumPy
• [SPARK-45807] [SC-149851][SQL] Aggiungere createOrReplaceView(..) / replaceView(..) a ViewCatalog
• [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Introdurre una funzione implicita per Scala Array per eseguire il wrapping in immutable.ArraySeq.
• [SPARK-46205] [SC-149655][CORE] Migliorare le PersistenceEngine prestazioni con KryoSerializer
• [SPARK-45746] [SC-149359][Python] Restituisce messaggi di errore specifici se il metodo UDTF 'analyze' o 'eval' accetta o restituisce valori errati
• [SPARK-46186] [SC-149707][CONNECT] Correzione della transizione di stato non valida quando ExecuteThreadRunner è stato interrotto prima dell'avvio
• [SPARK-46262] [SC-149803][PS] Abilitare il test per l'oggetto np.left_shift Pandas-on-Spark.
• [SPARK-45093] [SC-149679][CONNECT][PYTHON] Supporta correttamente la gestione e la conversione degli errori per AddArtifactHandler
• [SPARK-46188] [SC-149571][Doc][3.5] Correggere il CSS delle tabelle generate dalla documentazione Spark
• [SPARK-45940] [SC-149549][PYTHON] Aggiungere InputPartition all'interfaccia DataSourceReader
• [SPARK-43393] [SC-148301][SQL] Bug di overflow dell'espressione della sequenza di indirizzi.
• [SPARK-46144] [SC-149466][SQL] Fail INSERT INTO ... Istruzione REPLACE se la condizione contiene sottoquery
• [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Usare SparkSession.sessionState.conf anziché SQLContext.conf e contrassegnare SQLContext.conf come deprecato
• [SPARK-45760] [SC-147550][SQL] Aggiungi con espressione per evitare la duplicazione di espressioni
• [SPARK-43228] [SC-149670][SQL] Le chiavi di join corrispondono anche a PartitioningCollection in CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][PS] Testare SparkPandasNotImplementedError con la pulizia del codice inutilizzato
• [SPARK-46119] [SC-149205][SQL] Eseguire l'override toString del metodo per UnresolvedAlias
• [SPARK-46206] [SC-149674][PS] Usare un'eccezione di ambito più ristretto per il processore SQL
• [SPARK-46191] [SC-149565][CORE] Migliorare il FileSystemPersistenceEngine.persist messaggio di errore nel caso del file esistente
• [SPARK-46036] [SC-149356][SQL] Rimozione della classe di errore dalla funzione raise_error
• [SPARK-46055] [SC-149254][SQL] Riscrivere l'implementazione delle API del database del catalogo
• [SPARK-46152] [SC-149454][SQL] XML: Aggiungere il supporto per DecimalType nell'inferenza dello schema XML
• [SPARK-45943] [SC-149452][SQL] Spostare DetermineTableStats in regole di risoluzione
• [SPARK-45887] [SC-148994][SQL] Allineare l'implementazione codegen e non codegen di Encode
• [SPARK-45022] [SC-147158][SQL] Fornire il contesto per gli errori dell'API del set di dati
• [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Sostituire toIterator con iterator per IterableOnce
• [SPARK-46141] [SC-149357][SQL] Modificare il valore predefinito per spark.sql.legacy.ctePrecedencePolicy su CORRETTO
• [SPARK-45663] [SC-146617][CORE][MLLIB] Sostituire IterableOnceOps#aggregate con IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][SQL] Riutilizzare gli oggetti Literal nella regola ComputeCurrentTime
• [SPARK-45803] [SC-147489][CORE] Rimuovere il RpcAbortException non più usato
• [SPARK-46148] [SC-149350][PS] Correzione pyspark.pandas.mlflow.load_model test (Python 3.12)
• [SPARK-46110] [SC-149090][PYTHON] Usare classi di errore nei moduli di catalog, conf, connect, osservazione, pandas
• [SPARK-45827] [SC-149203][SQL] Correzioni varianti con codicegeno e lettore vettorializzato disabilitato
• [SPARK-46080] Ripristinare "[SC-149012][PYTHON] Aggiornare Cloudpickle a 3.0.0"
• [SPARK-45460] [SC-144852][SQL] Sostituisci scala.collection.convert.ImplicitConversions in scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][SQL] Rimuovere la risoluzione speciale di UnresolvedNamespace per determinati comandi
• [SPARK-45600] [SC-148976][PYTHON] Rendere il livello di sessione di registrazione dell'origine dati Python
• [SPARK-46074] [SC-149063][CONNECT][SCALA] Dettagli insufficienti nel messaggio di errore in caso di errore della funzione definita dall'utente
• [SPARK-46114] [SC-149076][PYTHON] Aggiungere PySparkIndexError per il framework degli errori
• [SPARK-46120] [SC-149083][CONNECT][PYTHON] Rimuovere la funzione helper DataFrame.withPlan
• [SPARK-45927] [SC-148660][PYTHON] Aggiornamento della gestione dei percorsi per l'origine dati Python
• [SPARK-46062] [14.x][SC-148991][SQL] Sincronizzare il flag isStreaming tra la definizione CTE e il riferimento
• [SPARK-45698] [SC-146736][CORE][SQL][SS] Pulire l'utilizzo deprecato dell'API correlato a Buffer
• [SPARK-46064] [SC-148984][SQL][SS] Spostare EliminaEventTimeWatermark nell'analizzatore e modificare in modo da rendere effettivo solo l'elemento figlio risolto
• [SPARK-45922] [SC-149038][CONNECT][CLIENT] Tentativi secondari di refactoring (completamento di più criteri)
• [SPARK-45851] [SC-148419][CONNECT][SCALA] Supportare più criteri nel client scala
• [SPARK-45974] [SC-149062][SQL] Aggiungere un giudizio non vuoto scan.filterAttributes per RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets nel client Scala Spark Connect
• [SPARK-45136] [SC-146607][CONNECT] Migliorare ClosingCleaner con il supporto di Ammonite
• [SPARK-46084] [SC-149020][PS] Eseguire il refactoring dell'operazione di cast dei tipi di dati per il tipo categorico.
• [SPARK-46083] [SC-149018][PYTHON] Impostare SparkNoSuchElementException come API di errore canonica
• [SPARK-46048] [SC-148982][PYTHON][CONNECT] Supporto di DataFrame.groupingSets in Python Spark Connect
• [SPARK-46080] [SC-149012][PYTHON] Aggiornare Cloudpickle alla versione 3.0.0
• [SPARK-46082] [SC-149015][PYTHON][CONNECT] Correzione della rappresentazione di stringa protobuf per l'API funzioni Pandas con Spark Connect
• [SPARK-46065] [SC-148985][PS] Effettuare il refactoring (DataFrame|Series).factorize() per usare create_map.
• [SPARK-46070] [SC-148993][SQL] Compilare il modello regex in SparkDateTimeUtils.getZoneId all'esterno del ciclo critico
• [SPARK-46063] [SC-148981][PYTHON][CONNECT] Migliorare i messaggi di errore correlati ai tipi di argomento in cute, rollup, groupby e pivot
• [SPARK-44442] [SC-144120][MESOS] Rimuovere il supporto Mesos
• [SPARK-45555] [SC-147620][PYTHON] Include un oggetto di cui è possibile eseguire il debug per un'asserzione non riuscita
• [SPARK-46048] [SC-148871][PYTHON][SQL] Supporto di DataFrame.groupingSets in PySpark
• [SPARK-45768] [SC-147304][SQL][PYTHON] Rendere faulthandler una configurazione di runtime per l'esecuzione di Python in SQL
• [SPARK-45996] [SC-148586][PYTHON][CONNECT] Visualizzare i messaggi appropriati dei requisiti di dipendenza per Spark Connect
• [SPARK-45681] [SC-146893][interfaccia utente] Clonare una versione js di UIUtils.errorMessageCell per il rendering coerente degli errori nell'interfaccia utente
• [SPARK-45767] [SC-147225][CORE] Eliminare TimeStampedHashMap e il relativo UT
• [SPARK-45696] [SC-148864][CORE] Correzione del metodo tryCompleteWith nel tratto Promise è deprecato
• [SPARK-45503] [SC-146338][SS] Aggiungere la configurazione per impostare la compressione di RocksDB
• [SPARK-45338] [SC-143934][CORE][SQL] Sostituisci scala.collection.JavaConverters in scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][SQL] Correzione ArrayIndexOutOfBoundsException in conv()
• [SPARK-45912] [SC-144982][SC-148467][SQL] Miglioramento dell'API XSDToSchema: passare all'API HDFS per l'accessibilità dell'archiviazione cloud
• [SPARK-45819] [SC-147570][CORE] Supporto clear nell'API di invio REST
• [SPARK-45552] [14.x][SC-146874][PS] Introdurre parametri flessibili per assertDataFrameEqual
• [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Fornire un'interfaccia per altre origini di streaming per aggiungere colonne _metadata
• [SPARK-45929] [SC-148692][SQL] Supporto dell'operazione groupingSets nell'API del dataframe
• [SPARK-46012] [SC-148693][CORE] EventLogFileReader non deve leggere i log in sequenza se manca il file di stato dell'app
• [SPARK-45965] [SC-148575][SQL] Spostare espressioni di partizionamento DSv2 in functions.partitioning
• [SPARK-45971] [SC-148541][CORE][SQL] Correggere il nome del pacchetto da SparkCollectionUtils a org.apache.spark.util
• [SPARK-45688] [SC-147356][SPARK-45693][CORE] Pulire l'utilizzo deprecato dell'API correlato a MapOps & Correzione method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][SC-148497][SQL] Rimuovere treatEmptyValuesAsNulls e usare l'opzione nullValue invece in XML
• [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Correzione dei typehints per gestire list GenericAlias in Python 3.11+
• [SPARK-45999] [SC-148595][PS] Usare dedicato PandasProduct in cumprod
• [SPARK-45986] [SC-148583][ML][PYTHON] Correzione pyspark.ml.torch.tests.test_distributor in Python 3.11
• [SPARK-45994] [SC-148581][PYTHON] Cambia description-file in description_file
• [SPARK-45575] [SC-146713][SQL] Opzioni di spostamento del tempo di supporto per l'API di lettura di df
• [SPARK-45747] [SC-148404][SS] Utilizzare le informazioni sulla chiave del prefisso nei metadati dello stato per gestire la lettura dello stato nell'aggregazione della finestra di sessione
• [SPARK-45898] [SC-148213][SQL] Riscrivere le API della tabella del catalogo per usare un piano logico non risolto
• [SPARK-45828] [SC-147663][SQL] Rimuovere il metodo deprecato in dsl
• [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Eseguire l'aggiornamento protobuf alla versione 4.25.1 per supportare Python 3.11
• [SPARK-45911] [SC-148226][CORE] Impostare TLS1.3 come predefinito per RPC SSL
• [SPARK-45955] [SC-148429][interfaccia utente] Comprimere il supporto per i dettagli di flamegraph e thread dump
• [SPARK-45936] [SC-148392][PS] Ottimizzare Index.symmetric_difference
• [SPARK-45389] [SC-144834][SQL][3.5] Correggere la regola di corrispondenza MetaException per ottenere i metadati della partizione
• [SPARK-45655] [SC-148085][SQL][SS] Consenti espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics
• [SPARK-45946] [SC-148448][SS] Correzione dell'uso di fileutils deprecati per passare il set di caratteri predefinito in RocksDBSuite
• [SPARK-45511] [SC-148285][SS] Origine dati stato - Lettore
• [SPARK-45918] [SC-148293][PS] Ottimizzare MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][CONNECT][PYTHON] Restituire le metriche osservate dai comandi
• [SPARK-45867] [SC-147916][CORE] Appoggiare spark.worker.idPattern
• [SPARK-45945] [SC-148418][CONNECT] Aggiungere una funzione helper per parser
• [SPARK-45930] [SC-148399][SQL] Supportare funzioni definite dall'utente non deterministiche in MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][Python] Creare l'API UDTF Python per interrompere il consumo delle righe dalla tabella di input
• [SPARK-45731] [SC-147929][SQL] Aggiornare anche le statistiche delle partizioni con ANALYZE TABLE comando
• [SPARK-45868] [SC-148355][CONNECT] Assicurarsi di spark.table usare lo stesso parser con spark vanilla
• [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec propaga il partizionamento deve rispettare CoalescedHashPartitioning
• [SPARK-45710] [SC-147428][SQL] Assegnare nomi agli errori _LEGACY_ERROR_TEMP_21[59,60,61,62]
• [SPARK-45915] [SC-148306][SQL] Considera decimal(x, 0) uguale a IntegralType in PromoteStrings
• [SPARK-45786] [SC-147552][SQL] Correzione di risultati di moltiplicazione decimale e divisione non accurati
• [SPARK-45871] [SC-148084][CONNECT] Conversioni di raccolte di ottimizzazioni correlate ai .toBufferconnect moduli
• [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager potrebbe cercare un sparkcontext arrestato
• [SPARK-45913] [SC-148289][PYTHON] Rendere privati gli attributi interni dagli errori PySpark.
• [SPARK-45827] [SC-148201][SQL] Aggiungere il tipo di dati Variant in Spark.
• [SPARK-44886] [SC-147876][SQL] Introduzione CLUSTER BY clause for CREATE/REPLACE TABLE
• [SPARK-45756] [SC-147959][CORE] Appoggiare spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][CONNECT] Assert server-side session ID
• [SPARK-45896] [SC-148091][SQL] Costrutto ValidateExternalType con il tipo previsto corretto
• [SPARK-45902] [SC-148123][SQL] Rimuovere resolvePartitionColumns funzione inutilizzata da DataSource
• [SPARK-45909] [SC-148137][SQL] Rimuovere NumericType cast se è possibile eseguire un cast sicuro in IsNotNull
• [SPARK-42821] [SC-147715][SQL] Rimuovere i parametri inutilizzati nei metodi splitFiles
• [SPARK-45875] [SC-148088][CORE] Rimuovere MissingStageTableRowData dal modulo core
• [SPARK-45783] [SC-148120][PYTHON][CONNECT] Migliorare i messaggi di errore quando la modalità Spark Connect è abilitata ma l'URL remoto non è impostato
• [SPARK-45804] [SC-147529][interfaccia utente] Aggiungere spark.ui.threadDump.flamegraphEnabled config per attivare/disattivare il grafico di fiamma
• [SPARK-45664] [SC-146878][SQL] Introdurre un mapper per i codec di compressione orc
• [SPARK-45481] [SC-146715][SQL] Introdurre un mapper per i codec di compressione Parquet
• [SPARK-45752] [SC-148005][SQL] Semplificare il codice per controllare le relazioni CTE senza riferimenti
• [SPARK-44752] [SC-146262][SQL] XML: Aggiorna la Documentazione di Spark
• [SPARK-45752] [SC-147869][SQL] Il CTE senza riferimenti deve essere controllato da CheckAnalysis0
• [SPARK-45842] [SC-147853][SQL] Refactoring delle API della funzione del catalogo per l'uso dell'analizzatore
• [SPARK-45639] [SC-147676][SQL][PYTHON] Supporto del caricamento di origini dati Python in DataFrameReader
• [SPARK-45592] [SC-146977][SQL] Problema di correttezza in AQE con InMemoryTableScanExec
• [SPARK-45794] [SC-147646][SS] Introdurre l'origine dei metadati di stato per eseguire query sulle informazioni sui metadati dello stato di streaming
• [SPARK-45739] [SC-147059][PYTHON] Catch IOException invece di EOFException da solo per faulthandler
• [SPARK-45677] [SC-146700] Migliore registrazione degli errori per l'API Di osservazione
• [SPARK-45544] [SC-146873][CORE] Integrare il supporto SSL in TransportContext
• [SPARK-45654] [SC-147152][PYTHON] Aggiungere l'API di scrittura dell'origine dati Python
• [SPARK-45771] [SC-147270][CORE] Abilita spark.eventLog.rolling.enabled per impostazione predefinita
• [SPARK-45713] [SC-146986][PYTHON] Supporto per la registrazione di origini dati Python
• [SPARK-45656] [SC-146488][SQL] Correggere l'osservazione quando le osservazioni denominate con lo stesso nome in set di dati diversi
• [SPARK-45808] [SC-147571][CONNECT][PYTHON] Migliore gestione degli errori per le eccezioni SQL
• [SPARK-45774] [SC-147353][CORE][interfaccia utente] Supporto spark.master.ui.historyServerUrl in ApplicationPage
• [SPARK-45776] [SC-147327][CORE] Rimuovere il controllo difensivo dei valori null per MapOutputTrackerMaster#unregisterShuffle aggiunto in SPARK-39553
• [SPARK-45780] [SC-147410][CONNECT] Propagare tutti i thread del client Spark Connect in InheritableThread
• [SPARK-45785] [SC-147419][CORE] Supporto spark.deploy.appNumberModulo per ruotare il numero dell'app
• [SPARK-45793] [SC-147456][CORE] Migliorare i codec di compressione predefiniti
• [SPARK-45757] [SC-147282][ML] Evitare il nuovo calcolo di NNZ in Binarizer
• [SPARK-45209] [SC-146490][CORE][interfaccia utente] Supporto di Flame Graph per la pagina di dump del thread executor
• [SPARK-45777] [SC-147319][CORE] Supporto spark.test.appId in LocalSchedulerBackend
• [SPARK-45523] [SC-146331][PYTHON] Effettuare il refactoring del controllo null per avere collegamenti
• [SPARK-45711] [SC-146854][SQL] Introdurre un mapper per i codec di compressione avro
• [SPARK-45523] [SC-146077][Python] Restituisce un messaggio di errore utile se UDTF restituisce None per qualsiasi colonna non annullabile
• [SPARK-45614] [SC-146729][SQL] Assegnare nomi all'errore _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][SQL] Migliorare Dataset.isEmpty() applicando un limite globale a 1
• [SPARK-45569] [SC-145915][SQL] Assegnare il nome al _LEGACY_ERROR_TEMP_2153 di errore
• [SPARK-45749] [SC-147153][CORE][WEBUI] Correzione Spark History Server per ordinare correttamente la colonna Duration
• [SPARK-45754] [SC-147169][CORE] Appoggiare spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][SQL] Semplificare DataFrameStatFunctions.countMinSketch con CountMinSketchAgg
• [SPARK-45753] [SC-147167][CORE] Appoggiare spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][CORE][UI] Migliorare MasterPage per visualizzare Resource colonna solo quando esiste
• [SPARK-45112] [SC-143259][SQL] Usare la risoluzione basata su UnresolvedFunction nelle funzioni del set di dati SQL

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 14.3.

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.3 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.1.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot Gestione pacchetti CRAN nel 2023-02-10.

Librerie Java e Scala installate (versione cluster Scala 2.12)