Databricks Runtime 11.1 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 11.1, basate su Apache Spark 3.3.0. Databricks ha rilasciato questa versione a luglio 2022.

Miglioramenti e nuove funzionalità

• Photon è disponibile a livello generale
• Photon: tipi di istanza supportati
• Il feed di dati delle modifiche può ora gestire automaticamente i timestamp non compresi nell'intervallo
• Ora le funzioni SQL descritte e visualizzate mostrano i nomi Catalog di Unity nel loro output (anteprima pubblica)
• Schema inferenza ed evoluzione per i file Parquet nel caricatore automatico (anteprima pubblica)
• Auto Loader ora supporta l'evoluzione schema per Avro (GA)
• supporto Delta Lake per sovrascritture partition dinamiche
• Supporto schema informativo per gli oggetti creati in Unity Catalog
• Vincoli informativi su Delta Lake tables con Unity Catalog (anteprima pubblica)
• Catalog Unity è disponibile pubblicamente
• Delta Sharing è disponibile a livello generale

Photon è disponibile a livello generale

Photon è ora disponibile a livello generale, a partire da Databricks Runtime 11.1. Photon è il motore di query vettorizzato nativo di Azure Databricks, scritto per essere direttamente compatibile con le API Apache Spark in modo da funzionare con il codice esistente. È sviluppato in C++ per sfruttare l'hardware moderno e usa le tecniche più recenti nell'elaborazione di query vettorizzate per capitalizzare il parallelismo a livello di dati e di istruzione nelle CPU, migliorando le prestazioni su dati e applicazioni reali, tutto in modo nativo nel data lake.

Photon fa parte di un runtime ad alte prestazioni che esegue più velocemente le chiamate API SQL e DataFrame esistenti e riduce il costo totale per carico di lavoro. Photon viene usato per impostazione predefinita nei warehouse SQL Databricks.

Le nuove funzionalità e i miglioramenti includono:

• Nuovo operatore di ordinamento vettorializzato
• Nuove funzioni di window vettorializzate
• Nuovi tipi di istanza e dimensioni in tutti i cloud

Limitazioni:

• Le funzioni definite dall'utente scala/Python non sono supportate da Photon
• RDD non è supportato da Photon
• Structured Streaming non è supportato da Photon

Per altre informazioni, vedere gli annunci Photon seguenti.

Photon: Nuovo operatore di ordinamento vettorializzato

Photon supporta ora un ordinamento vettorializzato quando una query contiene SORT_BY, CLUSTER_BYo una funzione window con un ORDER BY.

Limitazioni: Photon non supporta una clausola globale ORDER BY . Gli ordinamenti per la valutazione di window verranno fotonizzati, ma l'ordinamento globale continuerà in esecuzione su Spark.

Photon: Nuove funzioni di window vettorializzate

Photon supporta ora la valutazione della funzione window vettorializzata per molti tipi di fotogrammi e funzioni. Le nuove funzioni di window includono: row_number, rank, dense_rank, lag, lead, percent_rank, ntilee nth_value. Tipi di frame supportati window: in esecuzione (UNBOUNDED PRECEDING AND CURRENT ROW), senza limiti (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), in crescita (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) e in riduzione (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitazioni:

• Photon supporta solo ROWS le versioni di tutti i tipi di frame.
• Photon non supporta ancora il tipo di fotogramma scorrevole (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: tipi di istanza supportati

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

Il feed di dati delle modifiche può ora gestire automaticamente i timestamp non compresi nell'intervallo

Il feed di dati delle modifiche (CDF) ha ora una nuova modalità per fornire timestamp o versioni successive alla versione di un commit più recente senza generare errori. Questa modalità è disabilitata per impostazione predefinita. È possibile abilitarla impostando la configurazione spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled su true.

Descrivere e mostrare le funzioni SQL che ora visualizzano i nomi di Unity Catalog nella loro output (anteprima pubblica)

I comandi DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAINe SHOW CREATE TABLE ora mostrano sempre il nome catalog nel relativo output.

Schema inferenza ed evoluzione per i file Parquet nel caricatore automatico (anteprima pubblica)

Auto Loader supporta ora l'inferenza e l'evoluzione schema per i file Parquet. Proprio come i formati JSON, CSV e Avro, è ora possibile usare i dati recuperati column per recuperare dati imprevisti che potrebbero apparire nei file Parquet. Sono inclusi i dati che non possono essere interpretati nel previsto tipo di dati, columns con un diverso utilizzo di maiuscole e minuscole, o columns aggiuntivi che non fanno parte del schemaprevisto. È possibile configurare Auto Loader per evolvere il schema automaticamente quando si rileva l'aggiunta di nuovi columns nei dati in ingresso. Consulta Configura schema inferenza ed evoluzione in Caricatore Automatico.

Auto Loader ora supporta schema evoluzione per Avro (GA)

Consulta Configura schema l'inferenza e l'evoluzione in Auto Loader.

Supporto di Delta Lake per sovrascrizioni di partition dinamiche

Delta Lake consente ora la modalità di sovrascrittura dinamica partition per sovrascrivere tutti i dati esistenti in ogni partition logico in cui la scrittura eseguirà il commit di nuovi dati. Vedere Sovrascrivere i dati in modo selettivo con Delta Lake.

Supporto di informazioni schema per gli oggetti creati in Unity Catalog

Le informazioni schema fornisce un'API basata su SQL, autodescrittiva ai metadati di vari oggetti di database, tra cui tables e views, vincoli e routines. All'interno delle informazioni schema trovi un set di views che descrive gli oggetti noti al catalog del schemache hai il privilegio di vedere. Le informazioni schema del SYSTEMcatalog forniscono dettagli sugli oggetti presenti in tutti i catalogs all'interno del metastore. Vedere Informazioni schema.

Vincoli informativi su Delta Lake tables con Unity Catalog (anteprima pubblica)

È ora possibile definire vincoli di chiave primaria e di chiave esterna informativi in Delta Lake tables con Unity Catalog. I vincoli informativi non vengono applicati. Vedere CONSTRAINT clausola.

Unity Catalog è in disponibilità generale

Unity Catalog è ora disponibile a livello generale a partire da Databricks Runtime 11.1. Vedere Che cos'è Unity Catalog?.

Delta Sharing è disponibile a livello generale

La condivisione differenziale è ora disponibile a livello generale a partire da Databricks Runtime 11.1.

Databricks a Databricks Delta Sharing è completamente gestito senza la necessità di scambiare token. È possibile creare e gestire providers, recipientse shares nell'interfaccia utente o con LE API SQL e REST.

Alcune funzionalità includono la limitazione dell'accesso dei destinatari, l'esecuzione di query sui dati con gli elenchi di accesso IP e le restrizioni dell'area e la delega della gestione della condivisione delta a utenti non amministratori. È anche possibile eseguire query su modifiche ai dati o condividere versioni incrementali con feed di dati delle modifiche. Si veda Che cos'è Delta Sharing?.

Modifiche del comportamento

Redazione delle proprietà sensibili per DESCRIBE TABLE e MOSTRA TABLE PROPRIETÀ

Le proprietà sensibili vengono elaborate nei dataframe e nell'output dei DESCRIBE TABLE comandi e SHOW TABLE PROPERTIES .

Per impostazione predefinita, i cluster di processi hanno la modalità di accesso utente singolo con Databricks Runtime 11.1 e versioni successive

Per essere in grado di supportare Unity Catalog, i cluster di processi che utilizzano Databricks Runtime 11.1 e versioni successive, creati tramite l'interfaccia utente o l'API dei processi, avranno per impostazione predefinita la modalità di accesso utente singolo. La modalità accesso utente singolo supporta la maggior parte dei linguaggi di programmazione, delle funzionalità del cluster e delle funzionalità di governance dei dati. È comunque possibile configurare la modalità di accesso condiviso tramite l'interfaccia utente o l'API, ma le lingue o le funzionalità potrebbero essere limitate.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • filelock dalla versione 3.6.0 alla versione 3.7.1
  • tracciato da 5.6.0 a 5.8.2
  • protobuf da 3.20.1 a 4.21.2
• Librerie R aggiornate:
  • chron da 2.3-56 a 2.3-57
  • DBI da 1.1.2 a 1.1.3
  • dbplyr da 2.1.1 a 2.2.0
  • e1071 da 1.7-9 a 1.7-11
  • futuro da 1.25.0 a 1.26.1
  • globals da 0.14.0 a 0.15.1
  • hardhat da 0.2.0 a 1.1.0
  • ipred da 0.9-12 a 0.9-13
  • openssl dalla versione 2.0.0 alla versione 2.0.2
  • parallelamente da 1.31.1 a 1.32.0
  • processx da 3.5.3 a 3.6.1
  • progressr da 0.10.0 a 0.10.1
  • proxy da 0.4-26 a 0.4-27
  • ps da 1.7.0 a 1.7.1
  • randomForest da 4.7-1 a 4.7-1.1
  • roxygen2 da 7.1.2 a 7.2.0
  • Rserve da 1.8-10 a 1.8-11
  • RSQLite da 2.2.13 a 2.2.14
  • sparklyr da 1.7.5 a 1.7.7
  • tinytex da 0,38 a 0,40
  • usethis from 2.1.5 to 2.1.6
  • xfun da 0.30 a 0.31
• Librerie Java aggiornate:
  • io.delta.delta-sharing-spark_2.12 da 0.4.0 a 0.5.0

Apache Spark

Databricks Runtime 11.2 include Apache Spark 3.3.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 11.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-40054] [SQL] Restore la sintassi di gestione degli errori di try_cast()
• [SPARK-39489] [CORE] Migliorare le prestazioni jsonProtocol di registrazione degli eventi usando Jackson invece di Json4s
• [SPARK-39319] [CORE][SQL] Creare contesti di query come parte di SparkThrowable
• [SPARK-40085] [SQL] Usare INTERNAL_ERROR classe di errore anziché IllegalStateException per indicare bug
• [SPARK-40001] [SQL] Eseguire scritture di valori NULL nel campo predefinito JSON columns scrivere 'null' nella memoria di archiviazione
• [SPARK-39635] [SQL] Supporto delle metriche dei driver nell'API metrica personalizzata DS v2
• [SPARK-39184] [SQL] Gestire una matrice di risultati sottodimensionata nelle sequenze di data e timestamp
• [SPARK-40019] [SQL] Refactoring del commento di ArrayType contieneNull e refactoring delle logiche di errore nell'espressione collectionOperator su containsNull
• [SPARK-39989] [SQL] Supportare la stima delle statistiche column se è un'espressione semplificabile
• [SPARK-39926] [SQL] Correzione del bug nel supporto column DEFAULT per le scansioni Parquet non vettorializzate
• [SPARK-40052] [SQL] Gestire buffer di byte diretti in VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Correggere il tipo di intervallo di destinazione negli errori di overflow di cast
• [SPARK-39835] [SQL] Correggere EliminateSorts remove ordinamento globale sotto l'ordinamento locale
• [SPARK-40002] [SQL] Non eseguire il push di limit tramite window usando ntile
• [SPARK-39976] [SQL] ArrayIntersect deve gestire correttamente null nell'espressione a sinistra
• [SPARK-39985] [SQL] Abilitare columnvalues DEFAULT implicito negli inserimenti da DataFrame
• [SPARK-39776] [SQL] JOIN stringa esplicativa dovrebbe aggiungere Join tipo
• [SPARK-38901] [SQL] DS V2 supporta le funzioni di push verso il basso
• [SPARK-40028] [SQL][FollowUp] Migliorare esempi di funzioni stringa
• [SPARK-39983] [CORE][SQL] Non memorizzare nella cache le relazioni di trasmissione nonrializzate sul driver
• [SPARK-39812] [SQL] Semplificare il codice con cui creare AggregateExpressiontoAggregateExpression
• [SPARK-40028] [SQL] Aggiungere esempi binari per le espressioni stringa
• [SPARK-39981] [SQL] Generare l'eccezione QueryExecutionErrors.castingCauseOverflowErrorInTableInsert in Cast
• [SPARK-40007] [PYTHON][SQL] Aggiungere 'mode' alle funzioni
• [SPARK-40008] [SQL] Supporto del cast di integrali a intervalli ANSI
• [SPARK-40003] [PYTHON][SQL] Aggiungere 'median' alle funzioni
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve recachere la relazione di risultato
• [SPARK-39951] [SQL] Update controllo delle colonne Parquet V2 per i campi annidati
• [SPARK-39775] [CORE][AVRO] Disabilitare convalidare i values predefiniti durante l'analisi degli schemi Avro
• [SPARK-33236] [shuffle] Backport in DBR 11.x: abilitare il servizio shuffle basato su push per archiviare lo stato nel database a livello di NM per il riavvio mantenendo il riavvio
• [SPARK-39836] [SQL] Semplificare V2ExpressionBuilder tramite l'estrazione di un metodo comune.
• [SPARK-39867] [SQL] Il limit globale non deve ereditare OrderPreservingUnaryNode
• [SPARK-39873] [SQL] RemoveOptimizeLimitZero e fonderla in EliminateLimits
• [SPARK-39961] [SQL] Conversione push-down di DS V2 Cast se il cast è sicuro
• [SPARK-39872] [SQL] Modificare l'uso con l'API BytePackerForLong#unpack8Values di input della matrice in VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] RemoveAliasHelper o PredicateHelper non necessari per alcune regole
• [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Applicare la proiezione quando gli attributi del gruppo sono vuoti
• [SPARK-39900] [SQL] Indirizzare una condizione parziale o negata nel pushdown del predicato del formato binario
• [SPARK-39904] [SQL] Rinominare inferDate per preferireDate e chiarire la semantica dell'opzione nell'origine dati CSV
• [SPARK-39958] [SQL] Aggiungere il log degli avvisi quando non è possibile caricare l'oggetto metrica personalizzato
• [SPARK-39936] [SQL] Archiviare schema nelle proprietà per Spark Views
• [SPARK-39932] [SQL] WindowExec deve cancellare il buffer partition finale
• [SPARK-37194] [SQL] Evitare l'ordinamento non necessario nella versione 1 se non è partition dinamico
• [SPARK-39902] [SQL] Aggiungere i dettagli dell'analisi al nodo di analisi del piano Spark in SparkUI
• [SPARK-39865] [SQL] Mostra messaggi di errore appropriati sugli errori di overflow di tableinsert
• [SPARK-39940] [SS] Refreshcatalogtable nella query di streaming con sink DSv1
• [SPARK-39827] [SQL] Usare la classe ARITHMETIC_OVERFLOW di errore in int overflow in add_months()
• [SPARK-39914] [SQL] Aggiungere il filtro DS V2 alla conversione del filtro V1
• [SPARK-39857] [SQL] Backport manuale DBR 11.x; V2ExpressionBuilder usa il tipo di dati LiteralValue errato per In predicato #43454
• [SPARK-39840] [SQL][PYTHON] Factor PythonArrowInput come simmetria per PythonArrowOutput
• [SPARK-39651] [SQL] La condizione di filtro prune se confrontata con rand è deterministica
• [SPARK-39877] [PYTHON] Aggiungere unpivot all'API DataFrame di PySpark
• [SPARK-39847] [WARMFIX][SS] Correzione della race condition in RocksDBLoader.loadLibrary() se il thread del chiamante viene interrotto
• [SPARK-39909] [SQL] Organizzare il controllo delle informazioni di push per JDBCV2Suite
• [SPARK-39834] [SQL][SS] Includere le statistiche di origine e i vincoli per LogicalRDD se proviene dal dataframe
• [SPARK-39849] [SQL] Dataset.as(StructType) riempie i nuovi columns mancanti con valore Null
• [SPARK-39860] [SQL] Più espressioni devono estendere predicato
• [SPARK-39823] [SQL][PYTHON] Rinominare Dataset.as come Dataset.to e aggiungere DataFrame.to in PySpark
• [SPARK-39918] [SQL][MINOR] Sostituire la parola "non confrontabile" con "incomparabile" nel messaggio di errore
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa il tipo di dati LiteralValue errato per Il predicato In
• [SPARK-39862] [SQL] Backport manuale per PR 43654 destinate a DBR 11.x: Update SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS per consentire/denyALTER TABLE ... Aggiungi i comandi COLUMN separatamente.
• [SPARK-39844] [SQL] Backport manuale per pr 43652 destinato a DBR 11.x
• [SPARK-39899] [SQL] Correggere il passaggio del messaggio parameters a InvalidUDFClassException
• [SPARK-39890] [SQL] Make TakeOrderedAndProjectExec inherit AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Supporto di CharType in PySpark
• [SPARK-38864] [SQL] Aggiungere unpivot/melt al set di dati
• [SPARK-39864] [SQL] Registrare in modo differire ExecutionListenerBus
• [SPARK-39808] [SQL] Supporto della modalità funzione di aggregazione
• [SPARK-39839] [SQL] Gestire casi speciali di decimale a lunghezza variabile Null con offset non zeroAndSize nel controllo dell'integrità strutturale UnsafeRow
• [SPARK-39875] [SQL] Modificare il protected metodo nella classe finale in private o package-visible
• [SPARK-39731] [SQL] Correzione del problema nelle origini dati CSV e JSON durante l'analisi delle date nel formato "aaaaMMdd" con i criteri del parser di ora FIX
• [SPARK-39805] [SS] Deprecate Trigger.Once e Promote Trigger.AvailableNow
• [SPARK-39784] [SQL] Inserire values letterale a destra del filtro dell'origine dati dopo aver tradotto Catalyst Expression in filtro origine dati
• [SPARK-39672] [SQL][3.1] Correzione della rimozione del progetto prima del filtro con sottoquery correlata
• [SPARK-39552] [SQL] Unificare v1 e v2 DESCRIBE TABLE
• [SPARK-39806] [SQL] L'accesso a _metadata su table partizionato può causare l'arresto anomalo di una query
• [SPARK-39810] [SQL] Catalog.tableExists deve gestire lo spazio dei nomi annidato
• [SPARK-37287] [SQL] Estrarre partition dinamici e ordinare bucket da FileFormatWriter
• [SPARK-39469] [SQL] Inferire il tipo di data per i file CSV schema
• [SPARK-39148] [SQL] Il downpush dell'aggregazione DS V2 può funzionare con OFFSET o LIMIT
• [SPARK-39818] [SQL] Correzione di bug in ARRAY, STRUCT, tipi MAP con values DEFAULT con campi NULL
• [SPARK-39792] [SQL] Aggiungere DecimalDivideWithOverflowCheck per la media decimale
• [SPARK-39798] [SQL] Replcace toSeq.toArray con .toArray[Any] nel costruttore di GenericArrayData
• [SPARK-39759] [SQL] Implementare listIndexes in JDBC (dialetto H2)
• [SPARK-39385] [SQL] Supporta il push verso il basso REGR_AVGX e REGR_AVGY
• [SPARK-39787] [SQL] Usare la classe di errore nell'errore di analisi della funzione to_timestamp
• [SPARK-39760] [PYTHON] Supporto di Varchar in PySpark
• [SPARK-39557] [SQL] Backport manuale su DBR 11.x: Supporto dei tipi ARRAY, STRUCT, MAP come DEFAULT values
• [SPARK-39758] [SQL][3.3] Correzione del server dei criteri di rete dalle funzioni regexp in modelli non validi
• [SPARK-39749] [SQL] Modalità SQL ANSI: usare la rappresentazione di stringa normale per eseguire il cast di decimali in stringhe
• [SPARK-39704] [SQL] Implementare createIndex & dropIndex & indexExists in JDBC (dialetto H2)
• [SPARK-39803] [SQL] Usare LevenshteinDistance invece di StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Supporto del tipo TimestampNTZ nell'origine dati JDBC
• [SPARK-39781] [SS] Aggiunta del supporto per fornire max_open_files al provider dell'archivio stati rocksdb
• [SPARK-39719] [R] Implementare databaseExists/getDatabase nello spazio dei nomi SparkR supportato da 3L
• [SPARK-39751] [SQL] Rinominare la metrica dei probe delle chiavi di aggregazione hash
• [SPARK-39772] Lo spazio dei nomi [SQL] deve essere Null quando il database è Null nei costruttori precedenti
• [SPARK-39625] [SPARK-38904][SQL] Aggiungere Dataset.as(StructType)
• [SPARK-39384] [SQL] Compilare funzioni di aggregazione di regressione lineare predefinite per il dialetto JDBC
• [SPARK-39720] [R] Implementare tableExists/getTable in SparkR per lo spazio dei nomi 3L
• [SPARK-39744] [SQL] Aggiungere la REGEXP_INSTR funzione
• [SPARK-39716] [R] Make currentDatabase/setCurrentDatabase/listCatalogs in SparkR support 3L namespace
• [SPARK-39788] [SQL] Rinomina catalogName in dialectName per JdbcUtils
• [SPARK-39647] [CORE] Registrare l'executor con ESS prima di registrare BlockManager
• [SPARK-39754] [CORE][SQL] Removeimport inutilizzati o {} non necessari
• [SPARK-39706] [SQL] Set mancante column con defaultValue impostato come costante in ParquetColumnVector
• [SPARK-39699] [SQL] Rendere CollapseProject più intelligente sulle espressioni di creazione della raccolta
• [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devono supportare il filtro aggregato
• [SPARK-39579] [SQL] [PYTHON] [R] Rendere ListFunctions/getFunction/functionExists compatibile con lo spazio dei nomi a 3 livelli
• [SPARK-39627] [SQL] Il pushdown di JDBC V2 deve unificare l'API di compilazione
• [SPARK-39748] [SQL][SS] Includere il piano logico di origine per LogicalRDD se proviene dal dataframe
• [SPARK-39385] [SQL] Tradurre funzioni di aggregazione di regressione lineare per il pushdown
• [SPARK-39695] [SQL] Aggiungere la REGEXP_SUBSTR funzione
• [SPARK-39667] [SQL] Aggiungere un'altra soluzione alternativa quando non è disponibile memoria sufficiente per compilare e trasmettere il table
• [SPARK-39666] [ES-337834][SQL] Usare UnsafeProjection.create per rispettare spark.sql.codegen.factoryMode expressionEncoder
• [SPARK-39643] [SQL] Impedire espressioni di sottoquery in DEFAULT values
• [SPARK-38647] [SQL] Aggiungere la combinazione SupportsReportOrdering nell'interfaccia per l'analisi (DataSourceV2)
• [SPARK-39497] [SQL] Migliorare l'eccezione di analisi per la chiave mancante nella mappa column
• [SPARK-39661] [SQL] Evitare di creare logger SLF4J non necessari
• [SPARK-39713] [SQL] Modalità ANSI: aggiungere un suggerimento per l'uso di try_element_at per INVALID_ARRAY_INDEX errore
• [SPARK-38899] [SQL]DS V2 supporta le funzioni datetime di push
• [SPARK-39638] [SQL] Modificare l'uso di ConstantColumnVector per archiviare partitioncolumns in OrcColumnarBatchReader
• [SPARK-39653] [SQL] Eseguire la pulizia ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) da ColumnVectorUtils
• [SPARK-39231] [SQL] Usare ConstantColumnVector anziché On/OffHeapColumnVector per archiviare partitioncolumns in VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog non deve generare NoSuchDatabaseException in loadNamspaceMetadata
• [SPARK-39447] [SQL] Evitare AssertionError in AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] MISSING_COLUMN di rielaborazione
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve rispettare l'ordinamento dell'output figlio
• [SPARK-39606] [SQL] Usare le statistiche figlio per stimare l'operatore order
• [SPARK-39611] [PYTHON][PS] Correggere gli alias non corretti in array_ufunc
• [SPARK-39656] [SQL][3.3] Correggere lo spazio dei nomi errato in DescribeNamespaceExec
• [SPARK-39675] [SQL] Passare alla configurazione di 'spark.sql.codegen.factoryMode' dallo scopo di test allo scopo interno
• [SPARK-39139] [SQL] DS V2 supporta il push della funzione definita dall'utente DS V2
• [SPARK-39434] [SQL] Specificare il contesto della query di errore di runtime quando l'indice della matrice non è delimitato
• [SPARK-39479] [SQL] DS V2 supporta il push delle funzioni matematiche (non ANSI)
• [SPARK-39618] [SQL] Aggiungere la REGEXP_COUNT funzione
• [SPARK-39553] [CORE] L'annullamento della registrazione a più thread non deve generare npe quando si usa Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Aggiungere un file per risolvere le funzioni generali pandas mancanti
• [SPARK-39444] [SQL] Aggiungere OptimizeSubqueries in list nonExcludableRules
• [SPARK-39316] [SQL] Merge PromotePrecision e CheckOverflow in aritmetica binaria decimale
• [SPARK-39505] [interfaccia utente] Rendering del contenuto del log di escape nell'interfaccia utente
• [SPARK-39448] [SQL] Aggiungere ReplaceCTERefWithRepartition in nonExcludableRuleslist
• [SPARK-37961] [SQL] Eseguire l'override di maxRows/maxRowsPerPartition per alcuni operatori logici
• [SPARK-35223] Ripristinare l'aggiunta di IssueNavigationLink
• [SPARK-39633] [SQL] Supporto del timestamp in secondi per TimeFrame con le opzioni del dataframe
• [SPARK-38796] [SQL] Update documentazione per le stringhe di formato numerico con le funzioni {try_}to_number
• [SPARK-39650] [SS] Correzione del valore errato schema nella deduplicazione dello streaming mantenendo la compatibilità con le versioni precedenti
• [SPARK-39636] [CORE][interfaccia utente] Correzione di più bug in JsonProtocol, che influiscono su heap StorageLevels e Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Restituire ELEMENT_AT_BY_INDEX_ZERO da element_at(*, 0)
• [SPARK-39349] Aggiungere un metodo CheckError centralizzato per qa del percorso di errore
• [SPARK-39453] [SQL] DS V2 supporta il push delle funzioni non aggregate (non ANSI)
• [SPARK-38978] [SQL] DS V2 supporta l'operatore di push down OFFSET
• [SPARK-39567] [SQL] Supportare gli intervalli ANSI nelle funzioni percentili
• [SPARK-39383] [SQL] Supportare columns DEFAULT in ALTER TABLE ALTER COLUMNS alle origini dati V2
• [SPARK-39396] [SQL] Correzione dell'eccezione di login LDAP 'codice di errore 49 - credentialsnon valido'
• [SPARK-39548] [SQL] Comando CreateView con una query con clausola window ha incontrato un problema di 'definizione window non trovata'
• [SPARK-39575] [AVRO] aggiungere ByteBuffer#rewind dopo ByteBuffer#get in Avr...
• [SPARK-39543] L'opzione DataFrameWriterV2 deve essere passata alle proprietà di archiviazione se il fallback a v1
• [SPARK-39564] [SS] Esporre le informazioni di catalogtable nel piano logico di una query di streaming
• [SPARK-39582] [SQL] Correzione del marcatore "Since" per array_agg
• [SPARK-39388] [SQL] Riutilizzare orcSchema quando si esegue il push dei predicati orc
• [SPARK-39511] [SQL] Migliorare il push verso il basso limit 1 per il lato destro del semi/anti join sinistro se join condizione è vuota
• [SPARK-38614] [SQL] Non eseguire il push di limit tramite window che usa percent_rank
• [SPARK-39551] [SQL] Aggiungere un controllo del piano non valido di AQE
• [SPARK-39383] [SQL] Supportare columns DEFAULT in ALTER TABLE AGGIUNGERE COLUMNS alle origini dati V2
• [SPARK-39538] [SQL] Evitare di creare logger SLF4J non necessari
• [SPARK-39383] [SQL] Backport manuale su DBR 11.x: Refactoring del supporto DEFAULT column per evitare il passaggio dell'Analyzer primario
• [SPARK-39397] [SQL] Relax AliasAwareOutputExpression per supportare alias con expression
• [SPARK-39496] [SQL] Gestire lo struct Null in Inline.eval
• [SPARK-39545] [SQL] Eseguire l'override concat del metodo per ExpressionSet in Scala 2.13 per migliorare le prestazioni
• [SPARK-39340] [SQL] DS v2 agg pushdown deve consentire punti nel nome di columns di primo livello
• [SPARK-39488] [SQL] Semplificare la gestione degli errori di TempResolvedColumn
• [SPARK-38846] [SQL] Aggiungere il mapping esplicito dei dati tra tipo numerico Teradata e Spark DecimalType
• [SPARK-39520] [SQL] Eseguire l'override -- del metodo per ExpressionSet in Scala 2.13
• [SPARK-39470] [SQL] Supporto del cast di intervalli ANSI a decimali
• [SPARK-39477] [SQL] Remove "Numero di query" dai file golden di SQLQueryTestSuite
• [SPARK-39419] [SQL] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null
• [SPARK-39061] [SQL] Set nullable correttamente per gli attributi di output Inline
• [SPARK-39320] [SQL] Supporto della funzione di aggregazione MEDIAN
• [SPARK-39261] [CORE] Migliorare la formattazione di nuova riga per i messaggi di errore
• [SPARK-39355] [SQL] Utilizza column singolo con citazioni per costruire UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE dovrebbero oscurare le proprietà
• [SPARK-37623] [SQL] Supporto della funzione di aggregazione ANSI: regr_intercept
• [SPARK-39374] [SQL] Migliorare il messaggio di errore per l'utente specificato columnlist
• [SPARK-39255] [SQL][3.3] Migliorare i messaggi di errore
• [SPARK-39321] [SQL] Effettuare il refactoring di TryCast per usare RuntimeReplaceable
• [SPARK-39406] [PYTHON] Accettare una matrice NumPy in createDataFrame
• [SPARK-39267] [SQL] Pulire il simbolo dsl non necessario
• [SPARK-39171] [SQL] Unificare l'espressione Cast
• [SPARK-28330] [SQL] Supportare ANSI SQL: clausola offset risultato nell'espressione di query
• [SPARK-39203] [SQL] Riscrivere table ubicazione come URI assoluto basato sull'URI del database
• [SPARK-39313] [SQL] toCatalystOrdering deve avere esito negativo se non è possibile convertire V2Expression
• [SPARK-39301] [SQL][PYTHON] Sfruttare LocalRelation e rispettare le dimensioni del batch Arrow in createDataFrame con l'ottimizzazione freccia
• [SPARK-39400] [SQL] spark-sql deve remove dir delle risorse hive in tutti i casi

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 11.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-08-15.

Librerie Java e Scala installate (versione del cluster Scala 2.12)