Databricks Runtime 11.2 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 11.2, basate su Apache Spark 3.3.0. Databricks ha rilasciato questa versione a settembre 2022.

Miglioramenti e nuove funzionalità

• Modificare le autorizzazioni di ALTER TABLE nei controlli di accesso alle tabelle (ACL delle tabelle)
• eliminazione dinamica per MERGE INTO
• Miglioramento del rilevamento dei conflitti in Delta con eliminazione dinamica dei file
• Nuova scheda Integrazioni open source nelle home page di DSE/SQL
• CONVERT TO DELTA miglioramenti al rilevamento delle partizioni
• Gli schemi di tabella supportano ora i valori predefiniti per le colonne
• Nuove funzioni geospaziali H3
• Nuova dipendenza di Databricks Runtime
• Bring Your Own Key: Crittografia delle credenziali Git
• SQL: nuova funzione di aggregazione any_value
• Comandi del file system di Databricks Utilities consentiti in più tipi di cluster
• È ora possibile concedere privilegi CREATE sui metastore per il Catalogo Unity
• Scritture ottimizzate per le tabelle non partizionate nei cluster con supporto Photon
• Supporto Photon per più origini dati
• SQL: ALTER SHARE ora supporta START VERSION

Modifiche alle autorizzazioni di ALTER TABLE nei controlli di accesso alle tabelle (ACL delle tabelle)

Ora, gli utenti devono disporre solo delle MODIFY autorizzazioni per modificare lo schema o le proprietà di una tabella con ALTER TABLE. La proprietà è comunque necessaria per concedere le autorizzazioni per una tabella, modificarne il proprietario e la posizione o rinominarla. Questa modifica rende il modello di autorizzazione per gli ACL di tabella coerenti con il catalogo unity. Vedere ALTER TABLE.

Eliminazione dinamica per MERGE INTO

Quando si usa il calcolo abilitato per Photon, MERGE INTO ora usa l'eliminazione dinamica di file e partizioni quando appropriato per migliorare le prestazioni, ad esempio quando una piccola tabella di origine viene unita in una tabella di destinazione più grande.

Miglioramento del rilevamento dei conflitti in Delta con eliminazione dinamica dei file

Durante la verifica di potenziali conflitti nei commit, il rilevamento dei conflitti ora considera i file rimossi dalla potatura dinamica dei file, ma che non sarebbero stati rimossi da filtri statici. Ciò comporta una diminuzione del numero di transazioni non riuscite.

Nuova scheda Integrazioni open source nelle home page di DSE/SQL

Introduzione alla nuova scheda "Integrazioni open source" nelle home page di DSE/SQL che visualizza opzioni di integrazione open source, ad esempio DLT e dbt core.

CONVERT TO DELTA miglioramenti al rilevamento delle partizioni

CONVERT TO DELTA deduce automaticamente lo schema di partizione per le tabelle Parquet registrate nel metastore Hive o nel catalogo Unity, eliminando la necessità di fornire la PARTITIONED BY clausola .

CONVERT TO DELTA sfrutta le informazioni sulle partizioni dal metastore per individuare i file per una tabella Parquet anziché elencare l'intero percorso di base, assicurando che le partizioni eliminate non vengano aggiunte alla tabella Delta.

Vedere Converti in Delta Lake.

Gli schemi di tabella supportano ora i valori predefiniti per le colonne

Gli schemi di tabella supportano ora l'impostazione dei valori predefiniti per le colonne. INSERTI comandi , UPDATEe DELETE per queste colonne possono fare riferimento a questi valori con la DEFAULT parola chiave . Ad esempio, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET seguito da INSERT INTO t VALUES (1, DEFAULT) aggiungerà la riga (1, 42). Questo comportamento è supportato per le origini dati CSV, JSON, Orc e Parquet.

Nuove funzioni geospaziali H3

È ora possibile usare 28 nuove espressioni H3 predefinite per l'elaborazione geospaziale nei cluster abilitati per Photon, disponibili in SQL, Scala e Python. Si veda Funzioni geospaziali H3.

Nuova dipendenza di Databricks Runtime

Databricks Runtime dipende ora dalla libreria Java H3 versione 3.7.0.

Porta la tua chiave: Crittografia delle credenziali Git

È possibile usare Azure Key Vault per crittografare un token di accesso personale (PAT) Git o altre credenziali Git.

Si veda Configurare le cartelle Git di Databricks (Repository).

SQL: nuova funzione di aggregazione any_value

La nuova any_value funzione di aggregazione restituisce qualsiasi valore casuale di expr per un gruppo di righe. Vedere la funzione di aggregazione any_value.

Comandi del file system di Databricks Utilities consentiti in più tipi di cluster

dbutils.fs I comandi (ad eccezione dei comandi correlati al montaggio) sono ora consentiti nei cluster di isolamento dell'utente con Unity Catalog, nonché nei cluster ACL di tabella legacy quando l'utente dispone di ANY FILE autorizzazioni.

È ora possibile concedere privilegi CREATE sui metastore per Unity Catalog

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENTe i privilegi CREATE PROVIDER possono ora essere concessi sui metastore di Unity Catalog.

Scritture ottimizzate per le tabelle non partizionate nei cluster abilitati per Photon

Le tabelle gestite di Unity Catalog ora consentono di rendere persistenti automaticamente i file di dimensioni ottimizzate da tabelle non partizionate per migliorare la velocità delle query e ottimizzare le prestazioni.

Supporto Photon per più origini dati

Photon supporta ora più origini dati, tra cui CSV e Avro, ed è compatibile anche con i frame di dati memorizzati nella cache. In passato, la scansione di queste fonti di dati comportava che l'intera query non potesse essere fotonizzata, indipendentemente dagli operatori o dalle espressioni utilizzate nella query. Ora, le query che analizzano queste origini dati possono essere fotonizzate, sbloccando significativi miglioramenti della latenza e del TCO.

Questa funzionalità è abilitata per impostazione predefinita nella spark.databricks.photon.photonRowToColumnar.enabled configurazione.

Limitazioni:

• Gli schemi con tipi annidati non sono supportati (ad esempio matrici, mappe e struct) in questa versione.
• Le sorgenti ORC, RDD, Kinesis, Kafka ed EventHub non sono supportate in questa versione.

SQL: ALTER SHARE ora supporta START VERSION

Il comando ALTER SHARE ora supporta START VERSION, il che consente ai provider di condividere i dati a partire da una versione specifica della tabella. Vedi ALTER SHARE.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • distlib da 0.3.4 a 0.3.5
  • filelock dalla versione 3.7.1 alla versione 3.8.0
  • tracciato da 5.8.2 a 5.9.0
  • protobuf da 4.21.2 a 4.21.5
• Librerie R aggiornate:
  • scopa da 0.8.0 a 1.0.0
  • bslib da 0.3.1 a 0.4.0
  • callr dalla 3.7.0 alla 3.7.1
  • cursore da 6.0-92 a 6.0-93
  • dbplyr da 2.2.0 a 2.2.1
  • devtools dalla versione 2.4.3 alla versione 2.4.4
  • valutare da 0,15 a 0,16
  • lontano da 2.1.0 a 2.1.1
  • Aggiornamento di fontawesome dalla versione 0.2.2 alla versione 0.3.0
  • futuro da 1.26.1 a 1.27.0
  • generics da 0.1.2 a 0.1.3
  • gert da 1.6.0 a 1.7.0
  • globals da 0.15.1 a 0.16.0
  • Googlesheets4 da 1.0.0 a 1.0.1
  • hardhat da 1.1.0 a 1.2.0
  • htmltools da 0.5.2 a 0.5.3
  • parallelamente da 1.32.0 a 1.32.1
  • pilastro da 1.7.0 a 1.8.0
  • pkgload da 1.2.4 a 1.3.0
  • processx dalla versione 3.6.1 alla versione 3.7.0
  • Rcpp da 1.0.8.3 a 1.0.9
  • ricette da 0.2.0 a 1.0.1
  • rlang da 1.0.2 a 1.0.4
  • roxygen2 da 7.2.0 a 7.2.1
  • RSQLite da 2.2.14 a 2.2.15
  • sass da 0.4.1 a 0.4.2
  • brillante da 1.7.1 a 1.7.2
  • stringi da 1.7.6 a 1.7.8
  • tibble da 3.1.7 a 3.1.8
  • tidyverse da 1.3.1 a 1.3.2
  • timeDate da 3043.102 a 4021.104
  • xfun da 0.31 a 0.32
• Librerie Java aggiornate:
  • org.apache.orc.orc-core da 1.7.4 a 1.7.5
  • org.apache.orc.orc-mapreduce da 1.7.4 a 1.7.5
  • org.apache.orc.orc-shims da 1.7.4 a 1.7.5

Apache Spark

Databricks Runtime 11.2 include Apache Spark 3.3.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 11.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Restituire tipi di intervallo ANSI più ampi dalle funzioni percentili
• [SPARK-40054] [SQL] Ripristinare la sintassi di gestione degli errori di try_cast()
• [SPARK-39489] [CORE] Migliorare le prestazioni jsonProtocol di registrazione degli eventi usando Jackson invece di Json4s
• [SPARK-39319] [CORE][sql] Rendere i contesti di query parte di SparkThrowable
• [SPARK-40085] [SQL] Usare INTERNAL_ERROR classe di errore anziché IllegalStateException per indicare bug
• [SPARK-40001] [SQL] Fare in modo che le scritture NULL nelle colonne JSON DEFAULT scrivano 'null' nell'archiviazione.
• [SPARK-39635] [SQL] Supporto delle metriche dei driver nell'API metrica personalizzata DS v2
• [SPARK-39184] [SQL] Gestire una matrice di risultati sottodimensionata nelle sequenze di data e timestamp
• [SPARK-40019] [SQL] Rifacimento del commento di ArrayType su containsNull e revisione delle logiche errate nell'espressione di collectionOperator su containsNull
• [SPARK-39989] [SQL] Supporto delle statistiche stimate delle colonne se è un'espressione piegabile
• [SPARK-39926] [SQL] Correggere il bug nel supporto DEFAULT delle colonne per le scansioni Parquet non vettorializzate
• [SPARK-40052] [SQL] Gestire buffer di byte diretti in VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Correggere il tipo di intervallo di destinazione negli errori di overflow di cast
• [SPARK-39835] [SQL] Correggere EliminaSorts che rimuove l'ordinamento globale al di sotto dell'ordinamento locale
• [SPARK-40002] [SQL] Non spingere il limite verso il basso attraverso la finestra usando ntile
• [SPARK-39976] [SQL] ArrayIntersect deve gestire correttamente null nell'espressione a sinistra
• [SPARK-39985] [SQL] Abilitare i valori di colonna DEFAULT impliciti negli inserimenti da dataframe
• [SPARK-39776] [SQL] JOIN la stringa dettagliata dovrebbe aggiungere il tipo di join
• [SPARK-38901] [SQL] DS V2 supporta le funzioni di push verso il basso
• [SPARK-40028] [SQL][followup] Migliorare gli esempi delle funzioni stringa
• [SPARK-39983] [CORE][sql] Non memorizzare nella cache le relazioni di trasmissione non serializzate sul driver
• [SPARK-39812] [SQL] Semplificare il codice con cui creare AggregateExpressiontoAggregateExpression
• [SPARK-40028] [SQL] Aggiungere esempi binari per le espressioni stringa
• [SPARK-39981] [SQL] Generare l'eccezione QueryExecutionErrors.castingCauseOverflowErrorInTableInsert in Cast
• [SPARK-40007] [PYTHON][sql] Aggiungere 'mode' alle funzioni
• [SPARK-40008] [SQL] Supporto del cast di integrali a intervalli ANSI
• [SPARK-40003] [PYTHON][sql] Aggiungere 'median' alle funzioni
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve recachere la relazione di risultato
• [SPARK-39951] [SQL] Aggiornamento del controllo colonnare di Parquet V2 per i campi annidati
• [SPARK-33236] [shuffle] Backport in DBR 11.x: abilitare il servizio shuffle basato su push per memorizzare lo stato nel database a livello NM per il riavvio con conservazione del lavoro
• [SPARK-39836] [SQL] Semplificare V2ExpressionBuilder tramite l'estrazione di un metodo comune.
• [SPARK-39873] [SQL] Rimuovi OptimizeLimitZero e unisci in EliminateLimits
• [SPARK-39961] [SQL] Esegui il push-down del Cast DS V2 se il cast è sicuro
• [SPARK-39872] [SQL] Modificare l'uso con l'API BytePackerForLong#unpack8Values di input della matrice in VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Rimuovere le regole non necessarie AliasHelper o PredicateHelper per alcune regole
• [SPARK-39900] [SQL] Gestire una condizione parziale o negata nel pushdown di predicati del formato binario
• [SPARK-39904] [SQL] Rinominare inferDate in prefersDate e chiarire la semantica dell'opzione nell'origine dati CSV
• [SPARK-39958] [SQL] Aggiungere il log degli avvisi quando non è possibile caricare l'oggetto metrica personalizzato
• [SPARK-39932] [SQL] WindowExec deve cancellare il buffer di partizione finale
• [SPARK-37194] [SQL] Evitare l'ordinamento non necessario nella scrittura v1 se non è una partizione dinamica
• [SPARK-39902] [SQL] Aggiungere i dettagli di scansione al nodo di scansione del piano Spark in SparkUI
• [SPARK-39865] [SQL] Mostrare messaggi di errore appropriati per gli errori di overflow nell'inserimento delle tabelle
• [SPARK-39940] [SS] Aggiorna la tabella del catalogo nella query di streaming con sink DSv1
• [SPARK-39827] [SQL] Usare la classe ARITHMETIC_OVERFLOW di errore in int overflow in add_months()
• [SPARK-39914] [SQL] Aggiungere il filtro DS V2 alla conversione del filtro V1
• [SPARK-39857] [SQL] Backport manuale DBR 11.x; V2ExpressionBuilder utilizza il tipo di dato LiteralValue errato per il predicato 'In' #43454
• [SPARK-39840] [SQL][python] Factor PythonArrowInput come simmetria di PythonArrowOutput
• [SPARK-39651] [SQL] La condizione di filtro prune se confrontata con rand è deterministica
• [SPARK-39877] [PYTHON] Aggiungere unpivot all'API del dataframe PySpark
• [SPARK-39909] [SQL] Organizzare la verifica delle informazioni di pushdown per JDBCV2Suite
• [SPARK-39834] [SQL][ss] Includere le statistiche di origine e i vincoli per LogicalRDD se proviene dal dataframe
• [SPARK-39849] [SQL] Dataset.as(StructType) riempie le nuove colonne mancanti con valore Null
• [SPARK-39860] [SQL] Più espressioni devono estendere predicato
• [SPARK-39823] [SQL][python] Rinominare Dataset.as come Dataset.to e aggiungere DataFrame.to in PySpark
• [SPARK-39918] [SQL][minor] Sostituire la parola "non confrontabile" con "incomparabile" nel messaggio di errore
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa il tipo di dati LiteralValue errato per Il predicato In
• [SPARK-39862] [SQL] Backport manuale per PR 43654 destinato a DBR 11.x: Aggiornamento di SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS per consentire/negare ALTER TABLE ... Aggiungi i comandi COLUMN separatamente.
• [SPARK-39844] [SQL] Backport manuale per PR 43652 destinato a DBR 11.x
• [SPARK-39899] [SQL] Correzione del passaggio di parametri del messaggio a InvalidUDFClassException
• [SPARK-39890] [SQL] Far ereditare a TakeOrderedAndProjectExec AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Il supporto di CharType in PySpark
• [SPARK-38864] [SQL] Aggiungere unpivot/melt al set di dati
• [SPARK-39864] [SQL] Registrare in modo differito ExecutionListenerBus
• [SPARK-39808] [SQL] Supporto della funzione di aggregazione 'MODA'
• [SPARK-39875] [SQL] Modificare il protected metodo nella classe finale in private o package-visible
• [SPARK-39731] [SQL] Correzione del problema nei sorgenti dati CSV e JSON nel parsing delle date nel formato "aaaaMMdd" con la politica del parser di ora CORRETTA.
• [SPARK-39805] [SS] Deprecare Trigger.Once e promuovere Trigger.AvailableNow
• [SPARK-39784] [SQL] Inserire i valori letterali sul lato destro del filtro dell'origine dati dopo la conversione dell'espressione Catalyst nel filtro dell'origine dati
• [SPARK-39672] [SQL][3.1] Correzione della rimozione del progetto prima del filtro con sottoquery correlata
• [SPARK-39552] [SQL] Unificare v1 e v2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists deve gestire lo spazio dei nomi annidato
• [SPARK-37287] [SQL] Estrarre la partizione dinamica e l'ordinamento dei bucket da FileFormatWriter
• [SPARK-39469] [SQL] Inferenza del tipo di data per l'inferenza dello schema CSV
• [SPARK-39148] [SQL] L'aggregate push down di DS V2 può funzionare con OFFSET o LIMIT
• [SPARK-39818] [SQL] Correzione di bug in ARRAY, STRUCT, tipi MAP con valori DEFAULT con campi NULL
• [SPARK-39792] [SQL] Aggiungere DecimalDivideWithOverflowCheck per calcolare la media di decimali
• [SPARK-39798] [SQL] Replcace toSeq.toArray con .toArray[Any] nel costruttore di GenericArrayData
• [SPARK-39759] [SQL] Implementare listIndexes in JDBC (dialetto H2)
• [SPARK-39385] [SQL] Supporta il push verso il basso REGR_AVGX e REGR_AVGY
• [SPARK-39787] [SQL] Usare la classe di errore nell'errore di analisi della funzione to_timestamp
• [SPARK-39760] [PYTHON] Supporto di Varchar in PySpark
• [SPARK-39557] [SQL] Backport manuale in DBR 11.x: supporta i tipi ARRAY, STRUCT, MAP come valori DEFAULT
• [SPARK-39758] [SQL][3.3] Correggere NPE dalle funzioni regexp su schemi non validi
• [SPARK-39749] [SQL] Modalità SQL ANSI: utilizzare la normale rappresentazione di stringa per convertire il decimale in stringa
• [SPARK-39704] [SQL] Implementare createIndex & dropIndex & indexExists in JDBC (dialetto H2)
• [SPARK-39803] [SQL] Usare LevenshteinDistance invece di StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Supportare il tipo TimestampNTZ nell'origine dati JDBC
• [SPARK-39781] [SS] Aggiunta del supporto per fornire max_open_files al fornitore di memorizzazione dello stato rocksdb
• [SPARK-39719] [R] Implementare databaseExists/getDatabase nello spazio dei nomi SparkR supportato da 3L
• [SPARK-39751] [SQL] Rinominare la metrica dei tentativi delle chiavi di aggregazione hash
• [SPARK-39772] Lo spazio dei nomi [SQL] deve essere nullo quando il database è nullo nei vecchi costruttori
• [SPARK-39625] [SPARK-38904][sql] Aggiungere Dataset.as(StructType)
• [SPARK-39384] [SQL] Compilare funzioni di aggregazione di regressione lineare predefinite per il dialetto JDBC
• [SPARK-39720] [R] Implementare tableExists/getTable in SparkR per lo spazio dei nomi 3L
• [SPARK-39744] [SQL] Aggiungere la REGEXP_INSTR funzione
• [SPARK-39716] [R] Rendere currentDatabase/setCurrentDatabase/listCatalogs in SparkR compatibile con lo spazio dei nomi 3L.
• [SPARK-39788] [SQL] Rinominare catalogName in dialectName per JdbcUtils
• [SPARK-39647] [CORE] Registrare l'executor con ESS prima di registrare BlockManager
• [SPARK-39754] [CORE][sql] Rimuovere import inutilizzati o {} non necessari
• [SPARK-39706] [SQL] Impostare la colonna mancante con defaultValue come costante in ParquetColumnVector
• [SPARK-39699] [SQL] Rendere CollapseProject più intelligente sulle espressioni di creazione della raccolta
• [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devono supportare il filtro aggregato
• [SPARK-39579] [SQL][python][R] Rendere ListFunctions/getFunction/functionExists compatibili con lo spazio dei nomi a 3 livelli
• [SPARK-39627] [SQL] Il pushdown di JDBC V2 deve unificare l'API di compilazione
• [SPARK-39748] [SQL][ss] Includere il piano logico di origine per LogicalRDD se proviene dal DataFrame
• [SPARK-39385] [SQL] Tradurre le funzioni aggregate di regressione lineare per l'applicazione di pushdown
• [SPARK-39695] [SQL] Aggiungere la REGEXP_SUBSTR funzione
• [SPARK-39667] [SQL] Aggiungere un'altra soluzione alternativa quando la memoria non è sufficiente per compilare e trasmettere la tabella
• [SPARK-39666] [ES-337834][sql] Usare UnsafeProjection.create per rispettare spark.sql.codegen.factoryMode in ExpressionEncoder
• [SPARK-39643] [SQL] Non consentire espressioni di sottoquery nei valori DEFAULT
• [SPARK-38647] [SQL] Aggiungere la combinazione SupportsReportOrdering nell'interfaccia per l'analisi (DataSourceV2)
• [SPARK-39497] [SQL] Migliorare l'eccezione di analisi della colonna chiave della mappa mancante
• [SPARK-39661] [SQL] Evitare di creare logger SLF4J non necessari
• [SPARK-39713] [SQL] Modalità ANSI: aggiungere un suggerimento per l'uso di try_element_at per errore INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL]DS V2 supporta il pushdown delle funzioni datetime
• [SPARK-39638] [SQL] Modificare l'uso ConstantColumnVector per archiviare le colonne di partizione in OrcColumnarBatchReader
• [SPARK-39653] [SQL] Eseguire la pulizia ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) da ColumnVectorUtils
• [SPARK-39231] [SQL] Usare ConstantColumnVector anziché On/OffHeapColumnVector per archiviare le colonne di partizione in VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog non deve generare NoSuchDatabaseException in loadNamspaceMetadata
• [SPARK-39447] [SQL] Evitare AssertionError in AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Rielaborazione di MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve rispettare l'ordinamento dell'output dei figli
• [SPARK-39606] [SQL] Usare le statistiche dei figli per stimare l'operatore di ordinamento
• [SPARK-39611] [PYTHON][ps] Correggere gli alias errati in array_ufunc
• [SPARK-39656] [SQL][3.3] Correggere lo spazio dei nomi errato in DescribeNamespaceExec
• [SPARK-39675] [SQL] Passare alla configurazione di 'spark.sql.codegen.factoryMode' dallo scopo di test allo scopo interno
• [SPARK-39139] [SQL] DS V2 supporta il trasferimento della funzione definita dall'utente DS V2
• [SPARK-39434] [SQL] Fornire il contesto della query per errori di runtime quando l'indice dell'array è fuori dai limiti.
• [SPARK-39479] [SQL] DS V2 supporta l'ottimizzazione delle funzioni matematiche (non ANSI)
• [SPARK-39618] [SQL] Aggiungere la REGEXP_COUNT funzione
• [SPARK-39553] [CORE] L'annullamento della registrazione a più thread non deve generare npe quando si usa Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Aggiungere un file per risolvere le funzioni generali pandas mancanti
• [SPARK-39444] [SQL] Aggiungere OptimizeSubqueries nell'elenco nonExcludableRules
• [SPARK-39316] [SQL] Merge PromotePrecision e CheckOverflow nell'aritmetica decimale binaria
• [SPARK-39505] [interfaccia utente] Rendering del contenuto del log di escape nell'interfaccia utente
• [SPARK-39448] [SQL] Aggiungi ReplaceCTERefWithRepartition nell'elenco nonExcludableRules
• [SPARK-37961] [SQL] Eseguire l'override di maxRows/maxRowsPerPartition per alcuni operatori logici
• [SPARK-35223] Annullare l'aggiunta di IssueNavigationLink
• [SPARK-39633] [SQL] Supporto del timestamp in secondi per TimeTravel utilizzando le opzioni del DataFrame
• [SPARK-38796] [SQL] Aggiornare la documentazione per le stringhe di formato numerico con le funzioni {try_}to_number
• [SPARK-39650] [SS] Correzione dello schema di valore non corretto nella deduplicazione di streaming con compatibilità con le versioni precedenti
• [SPARK-39636] [CORE][ui] Correzione di più bug in JsonProtocol, che influiscono su heap StorageLevels e Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Restituire ELEMENT_AT_BY_INDEX_ZERO da element_at(*, 0)
• [SPARK-39349] Aggiungere un metodo CheckError centralizzato per QA del flusso di gestione degli errori
• [SPARK-39453] [SQL] DS V2 supporta il trasferimento di varie funzioni non aggregate (non ANSI)
• [SPARK-38978] [SQL] DS V2 supporta l'operatore push down OFFSET
• [SPARK-39567] [SQL] Supportare gli intervalli ANSI nelle funzioni percentili
• [SPARK-39383] [SQL] Supportare le colonne DEFAULT in ALTER TABLE ALTER COLUMNS per le origini dati V2
• [SPARK-39396] [SQL] Correzione dell'eccezione di accesso LDAP "codice di errore 49 - credenziali non valide"
• [SPARK-39548] [SQL] Comando CreateView con una query della clausola window ha riscontrato un problema di definizione di finestra non trovata
• [SPARK-39575] [AVRO] aggiungi ByteBuffer#rewind dopo ByteBuffer#get in Avr…
• [SPARK-39543] L'opzione di `DataFrameWriterV2` dovrebbe essere passata alle proprietà di archiviazione se avviene il fallback a v1.
• [SPARK-39564] [SS] Rendere accessibili le informazioni della tabella del catalogo nel piano logico nelle query di streaming
• [SPARK-39582] [SQL] Correzione del marcatore "Since" per array_agg
• [SPARK-39388] [SQL] Riutilizzare orcSchema quando si esegue l'ottimizzazione del push-down dei predicati ORC.
• [SPARK-39511] [SQL] Migliorare il push verso il basso limite locale 1 per il lato destro del semi/anti join sinistro se la condizione di join è vuota
• [SPARK-38614] [SQL] Non spingere il limite verso il basso attraverso la finestra che usa percent_rank
• [SPARK-39551] [SQL] Aggiungere un controllo per un piano AQE non valido
• [SPARK-39383] [SQL] Supporto per le colonne DEFAULT in ALTER TABLE AGGIUNGI COLUMNS alle origini dati V2
• [SPARK-39538] [SQL] Evitare di creare logger SLF4J non necessari
• [SPARK-39383] [SQL] Backport manuale in DBR 11.x: eseguire il refactoring del supporto della colonna DEFAULT per evitare il passaggio dell'Analyzer primario
• [SPARK-39397] [SQL] Rilassa AliasAwareOutputExpression per supportare alias con espressione
• [SPARK-39496] [SQL] Gestire un struct Null in Inline.eval
• [SPARK-39545] [SQL] Eseguire l'override concat del metodo per ExpressionSet in Scala 2.13 per migliorare le prestazioni
• [SPARK-39340] [SQL] Il push agg di DS v2 deve consentire punti nel nome delle colonne di primo livello
• [SPARK-39488] [SQL] Semplificare la gestione degli errori di TempResolvedColumn
• [SPARK-38846] [SQL] Aggiungere il mapping esplicito dei dati tra tipo numerico Teradata e Spark DecimalType
• [SPARK-39520] [SQL] Eseguire l'override -- del metodo per ExpressionSet in Scala 2.13
• [SPARK-39470] [SQL] Supporto per il casting di intervalli ANSI a decimali
• [SPARK-39477] [SQL] Rimuovere le informazioni sul numero di query dai file golden di SQLQueryTestSuite
• [SPARK-39419] [SQL] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null
• [SPARK-39061] [SQL] Impostare nullable correttamente per gli attributi di output Inline
• [SPARK-39320] [SQL] Supporto della funzione di aggregazione MEDIAN
• [SPARK-39261] [CORE] Migliorare la formattazione delle nuove righe per i messaggi di errore
• [SPARK-39355] [SQL] La colonna singola usa virgolette per costruire UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE dovrebbe nascondere le proprietà
• [SPARK-37623] [SQL] Supporto della funzione di aggregazione ANSI: regr_intercept
• [SPARK-39374] [SQL] Migliorare il messaggio di errore per l'elenco di colonne specificato dall'utente
• [SPARK-39255] [SQL][3.3] Migliorare i messaggi di errore
• [SPARK-39321] [SQL] Effettuare il refactoring di TryCast per usare RuntimeReplaceable
• [SPARK-39406] [PYTHON] Accettare una matrice NumPy in createDataFrame
• [SPARK-39267] [SQL] Pulire il simbolo dsl non necessario
• [SPARK-39171] [SQL] Unificare l'espressione Cast
• [SPARK-28330] [SQL] Supporto di ANSI SQL: clausola offset dei risultati nell'espressione di query
• [SPARK-39203] [SQL] Riscrivere la posizione della tabella nell'URI assoluto in base all'URI del database
• [SPARK-39313] [SQL] toCatalystOrdering deve avere esito negativo se non è possibile convertire V2Expression
• [SPARK-39301] [SQL][python] Sfruttare LocalRelation e rispettare le dimensioni del batch Arrow in createDataFrame con ottimizzazione Arrow
• [SPARK-39400] [SQL] spark-sql deve rimuovere il dir della risorsa Hive in tutti i casi

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 11.2.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-08-15.

Librerie installate di Java e Scala (versione del cluster di Scala 2.12)