Databricks Runtime 12.1 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 12.1, basate su Apache Spark 3.3.1.

Databricks ha rilasciato questa versione a gennaio 2023.

Miglioramenti e nuove funzionalità

• Funzionalità delle tabelle Delta Lake supportate per la gestione dei protocolli
• L'I/O predittivo per gli aggiornamenti è disponibile in anteprima pubblica
• Esplora cataloghi è ora disponibile per tutti gli utenti
• Supporto per più operatori con stato in una singola query di streaming
• Il supporto per i buffer del protocollo è disponibile in anteprima pubblica
• Supporto per l'autenticazione del Confluent Schema Registry
• Supporto per la condivisione della cronologia delle tabelle con Delta Sharing
• Supporto per lo streaming con Delta Sharing
• Versione delle tabelle con timestamp ora supportata per le tabelle Delta Sharing nei cataloghi
• supporto per "WHEN NOT MATCHED BY SOURCE" per MERGE INTO
• raccolta di statistiche ottimizzate per CONVERT TO DELTA
• Supporto per il ripristino delle tabelle nel Unity Catalog

Funzionalità delle tabelle Delta Lake supportate per la gestione dei protocolli

Azure Databricks ha introdotto il supporto per le funzionalità di tabella Delta Lake, che introducono flag granulari che specificano quali funzionalità sono supportate da una determinata tabella. Si veda In che modo Azure Databricks gestisce la compatibilità delle funzionalità di Delta Lake?.

L'I/O predittivo per gli aggiornamenti è attualmente in anteprima pubblica

L'I/O predittivo accelera ora le operazioni DELETE, MERGE e UPDATE per le tabelle Delta con vettori di eliminazione attivati nell'elaborazione abilitata per Photon. Si veda Che cos'è l'I/O predittivo?.

Esplora cataloghi è ora disponibile per tutti gli utenti

Esplora cataloghi è ora disponibile per tutti gli utenti di Azure Databricks quando si usa Databricks Runtime 7.3 LTS e versioni successive.

Supporto per più operatori con stato in una singola query di streaming

Gli utenti possono ora concatenare gli operatori con stato in modalità di aggiunta nella query di streaming. Non tutti gli operatori sono completamente supportati. Join basato sull'intervallo di tempo del flusso-flusso e flatMapGroupsWithState non consente il collegamento di altri operatori con stato.

Il supporto per i buffer del protocollo è disponibile in anteprima pubblica

È possibile usare le from_protobuf funzioni e to_protobuf per scambiare dati tra tipi binari e struct. Vedere Buffer del protocollo di lettura e scrittura.

Supporto per l'autenticazione del Confluent Schema Registry

L'integrazione di Azure Databricks con il Confluent Schema Registry ora supporta gli indirizzi esterni del registro degli schemi con autenticazione. Questa funzionalità è disponibile per from_avro, to_avro, from_protobuf, e to_protobuf. Vedi Protobuf o Avro.

Supporto per la condivisione della cronologia delle tabelle con le condivisioni di Delta Sharing.

È ora possibile condividere una tabella con cronologia completa usando la condivisione delta, consentendo ai destinatari di eseguire query di spostamento del tempo ed eseguire query sulla tabella usando Spark Structured Streaming. WITH HISTORY è consigliato invece di CHANGE DATA FEED, anche se quest'ultimo continua a essere supportato. Vedere ALTER SHARE e Aggiungere tabelle a una condivisione.

Supporto per lo streaming con le condivisioni Delta Sharing

Spark Structured Streaming ora funziona con il formato deltasharing in una tabella di condivisione delta di origine condivisa con WITH HISTORY.

Versione delle tabelle che usa il timestamp ora supportato per le tabelle di Condivisione Delta nei cataloghi

È ora possibile usare la sintassi TIMESTAMP AS OF SQL nelle SELECT istruzioni per specificare la versione di una tabella Delta Sharing montata in un catalogo. Le tabelle devono essere condivise tramite WITH HISTORY.

Supporto per WHEN NOT MATCHED BY SOURCE per MERGE INTO

È ora possibile aggiungere WHEN NOT MATCHED BY SOURCE clausole a MERGE INTO per aggiornare o eliminare righe nella tabella scelta che non hanno corrispondenze nella tabella di origine in base alla condizione di merge. La nuova clausola è disponibile in SQL, Python, Scala e Java. Vedere MERGE INTO.

Raccolta di statistiche ottimizzate per CONVERT TO DELTA

La raccolta di statistiche per l'operazione CONVERT TO DELTA è ora molto più veloce. In questo modo si riduce il numero di carichi che potrebbero utilizzare NO STATISTICS per l'efficienza.

Supporto del catalogo Unity per l'annullamento del drop delle tabelle

Questa funzionalità è stata inizialmente rilasciata in anteprima pubblica. È disponibile a partire dal 25 ottobre 2023.

È ora possibile eliminare una tabella gestita o esterna eliminata in uno schema esistente entro sette giorni dall'eliminazione. Vedere UNDROP e SHOW TABLES DROPPED.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • filelock da 3.8.0 a 3.8.2
  • platformdirs dalla versione 2.5.4 alla versione 2.6.0
  • setuptools da 58.0.4 a 61.2.0
• Librerie R aggiornate:
• Librerie Java aggiornate:
  • io.delta.delta-sharing-spark_2.12 da 0.5.2 a 0.6.2
  • org.apache.hive.hive-storage-api dalla versione 2.7.2 alla versione 2.8.1
  • org.apache.parquet-column da 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.common da 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding da 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures da 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop da 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet-jackson da 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.tukaani.xz da 1.8 a 1.9

Apache Spark

Databricks Runtime 12.1 include Apache Spark 3.3.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 12.0 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-41405] [SC-119769][12.1.0] Ripristinare "[SC-119411][sql] Centralizzare la logica di risoluzione delle colonne" e "[SC-117170][spark-41338][SQL] Risolvere riferimenti esterni e colonne normali nello stesso batch di analizzatori"
• [SPARK-41405] [SC-119411][sql] Centralizzare la logica di risoluzione delle colonne
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand deve impostare correttamente il flag di sovrascrittura
• [SPARK-41659] [SC-119526][connect][12.X] Abilitare doctest in pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][sql] Risolvere la regressione delle prestazioni del lettore ORC a causa della funzionalità del valore predefinito
• [SPARK-41807] [SC-119399][core] Rimuovere la classe di errore inesistente: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Assegnare il nome a _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] Assegnare il nome a _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] Dedurre i nomi da un elenco di dizionari in SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Spostare la documentazione e lo script di Spark Connect in dev/ e nella documentazione di Python
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Configurare il modulo client iniziale per Spark Connect
• [SPARK-41365] [SC-118498][ui][3.3] La pagina UI delle fasi non viene caricata per il proxy in un ambiente yarn specifico
• [SPARK-41481] [SC-118150][core][SQL] Riutilizzare INVALID_TYPED_LITERAL anziché _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Rivedere la gestione delle espressioni con stato
• [SPARK-41726] [SC-119248][sql] Rimuovere OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] Supportare query SQL con parametri per sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Implementare DataFrame.sampleBy e DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][tutti i test] Eseguire il pull di scrittura v1 in WriteFiles
• [SPARK-41565] [SC-118868][sql] Aggiungere la classe di errore UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] La funzione DECODE restituisce risultati errati quando viene passato NULL
• [SPARK-41554] [SC-119274] correzione della modifica della scala decimale quando la scala è diminuita di m...
• [SPARK-41065] [SC-119324][connect][PYTHON] Implementare DataFrame.freqItems e DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Riabilitare i test della documentazione e aggiungere l'alias di colonna mancante al conteggio()
• [SPARK-41069] [SC-119310][connect][PYTHON] Implementare DataFrame.approxQuantile e DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] Rendere la funzione from_json compatibile con lo Schema dei Tipi di Dati
• [SPARK-41804] [SC-119382][sql] Scegliere le dimensioni corrette degli elementi in InterpretedUnsafeProjection per l'array di UDT
• [SPARK-41786] [SC-119308][connect][PYTHON] Eliminare le duplicazioni delle funzioni di supporto
• [SPARK-41745] [SC-119378][spark-41789][12.X] Rendi createDataFrame supportare un elenco di righe
• [SPARK-41344] [SC-119217][sql] Rendere più chiaro l'errore quando la tabella non è stata trovata nel catalogo SupportsCatalogOptions
• [SPARK-41803] [SC-119380][connect][PYTHON] Aggiungere una funzione mancante log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] Fare in modo che le funzioni JSON supportino le opzioni
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Rendere __getitem__ in grado di supportare filtro e selezione.
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Rendi l'operazione di colonna compatibile con None
• [SPARK-41440] [SC-119279][connect][PYTHON] Evitare l'operatore cache per un campione generico.
• [SPARK-41785] [SC-119290][connect][PYTHON] Implementare GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Supporto per le estensioni del protocollo in relazione ed espressioni
• [SPARK-41417] [SC-118000][core][SQL] Rinominare _LEGACY_ERROR_TEMP_0019 in INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Gestione corretta degli errori per il server Spark Connect/Client
• [SPARK-41292] [SC-119357][connect][12.X] Finestra di supporto nello spazio dei nomi pyspark.sql.window
• [SPARK-41493] [SC-119339][connect][PYTHON] Rendi le funzioni csv compatibili con le opzioni
• [SPARK-39591] [SC-118675][ss] Monitoraggio dei progressi asincrono
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Implementare Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Implementare DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Abilitare doctest in pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][connect] Mescolare ClientId nella cache di SparkSession
• [SPARK-41354] [SC-119194][connect] Aggiungere RepartitionByExpression a proto
• [SPARK-41784] [SC-119289][connect][PYTHON] Aggiungere __rmod__ mancanti nella colonna
• [SPARK-41778] [SC-119262][sql] Aggiungere un alias "reduce" a ArrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] Implementare DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] Rendere il nome operativo interno della stringa coerente con FunctionRegistry
• [SPARK-41734] [SC-119160][connect] Aggiungi un messaggio padre per catalogo
• [SPARK-41742] [SC-119263] Supporto di df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][connect][PYTHON] Correzione di operazioni aritmetiche: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] Rinominare UNSUPPORTED_CORRELATED_REFERENCE in CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Correzione Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Implementare la funzione unwrap_udt
• [SPARK-41333] [SC-119195][spark-41737] Implementare GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Correzione Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Supportare la risoluzione implicita degli alias delle colonne laterali nell'aggregazione
• [SPARK-41529] [SC-119207][connect][12.X] Implementare SparkSession.stop
• [SPARK-41729] [SC-119205][core][SQL][12.x] Rinominare _LEGACY_ERROR_TEMP_0011 in UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Deduplicate stampa e repr_html nel LogicalPlan
• [SPARK-41740] [SC-119169][connect][PYTHON] Implementa Column.name
• [SPARK-41733] [SC-119163][sql][SS] Applicare la potatura basata su modelli ad albero per la regola ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Applicare l'eliminazione basata su criteri ad albero per la regola SessionWindowing
• [SPARK-41498] [SC-119018] Propagare i metadati tramite Union
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Implementare la funzione di accesso alla colonna
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types deve supportare ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implementare la funzione format_number
• [SPARK-41707] [SC-119141][connect][12.X] Implementare l'API Catalogo in Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Implementare Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON]Funzione di ordine superiore: implementazione di array_compact
• [SPARK-41518] [SC-118453][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] Implementare la sequence funzione
• [SPARK-41703] [SC-119060][connect][PYTHON] Combinare NullType e typed_null in Literal
• [SPARK-41722] [SC-119090][connect][PYTHON] Implementare 3 funzioni finestra temporale attualmente mancanti
• [SPARK-41503] [SC-119043][connect][PYTHON] Implementare funzioni di trasformazione delle partizioni
• [SPARK-41413] [SC-118968][sql] Evitare l'operazione di shuffling in Storage-Partitioned Join quando le chiavi di partizione non corrispondono, ma le espressioni di join sono compatibili
• [SPARK-41700] [SC-119046][connect][PYTHON] Rimuovere FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types deve supportare MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Aggiungere operazioni di colonna non valide
• [SPARK-41660] [SC-118866][sql] Propaga solo le colonne di metadati se vengono usate
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] Implementare un enumeratore per raccogliere le metriche del conteggio delle righe per mapper
• [SPARK-41647] [SC-119064][connect][12.X] Deduplicate docstrings in pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][connect][PYTHON] Aggiungere supporto per l'operazione della colonna decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Implementare rollup, cube e pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] Deduplicate docstrings in pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][connect][PYTHON] Spostare le espressioni in expressions.py
• [SPARK-41687] [SC-118949][connect] Deduplicare le stringhe di documentazione in pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Deduplicare le docstring in pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] Factor GroupedData out per group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implementare funzioni di Window
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Implementare il supporto per l'operazione Column datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] Abilitare le funzioni deprecate
• [SPARK-41673] [SC-118932][connect][PYTHON] Implementare Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] Implementare broadcast funzione
• [SPARK-41648] [SC-118914][connect][12.X] Deduplicare le docstring in pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Eliminare i duplicati dei docstrings in pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Deduplicare le docstring in pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] Implementare le altre funzioni Lambda
• [SPARK-41441] [SC-118557][sql] Consentire la generazione senza l'output figlio richiesto per gestire riferimenti esterni
• [SPARK-41669] [SC-118923][sql] Eliminazione anticipata in canCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : Remove ScalaReflectionLock from SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Implementare DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Implementazione iniziale LambdaFunction
• [SPARK-41539] [SC-118802][sql] Eseguire il remap delle statistiche e dei vincoli rispetto all'output nel piano logico per LogicalRDD
• [SPARK-41396] [SC-118786][sql][PROTOBUF] Supporto per i campi OneOf e controlli di ricorsione
• [SPARK-41528] [SC-118769][connect][12.X] Unire il namespace di Spark Connect e dell'API PySpark
• [SPARK-41568] [SC-118715][sql] Assegnare il nome a _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] Implementare DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Aggiungere Spark Connect e protobuf in setup.py con le dipendenze specificate
• [SPARK-27561] [SC-101081][12.x][SQL] Supportare la risoluzione implicita degli alias di colonna laterale in Project
• [SPARK-41535] [SC-118645][sql] Impostare null correttamente per i campi intervallo di calendario in InterpretedUnsafeProjection e InterpretedMutableProjection
• [SPARK-40687] [SC-118439][sql] Supporta la maschera dati predefinita 'mask'
• [SPARK-41520] [SC-118440][sql] Dividere il TreePattern AND_OR per separare i TreePattern AND e OR
• [SPARK-41349] [SC-118668][connect][PYTHON] Implementare DataFrame.hint
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types dovrebbe supportare il StructType.
• [SPARK-41334] [SC-118549][connect][PYTHON] Spostare SortOrder proto dalle relazioni alle espressioni
• [SPARK-41387] [SC-118450][ss] Verifica l'offset finale corrente dalla sorgente di dati Kafka per Trigger.AvailableNow
• [SPARK-41508] [SC-118445][core][SQL] Rinominare _LEGACY_ERROR_TEMP_1180 in UNEXPECTED_INPUT_TYPE e rimuovere _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Implementare la colonna. {when, otherwise} e Function when con UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Correzione della chiamata al metodo figlio errato in SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Implementare DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Aggiungere "spark.sql.json.enablePartialResults" per abilitare/disabilitare i risultati parziali JSON
• [SPARK-41437] Ripristinare "[SC-117601][sql] Non ottimizzare la query di input due volte per il fallback di scrittura v1"
• [SPARK-41472] [SC-118352][connect][PYTHON] Implementare il resto delle funzioni stringa/binarie
• [SPARK-41526] [SC-118355][connect][PYTHON] Implementare Column.isin
• [SPARK-32170] [SC-118384] [CORE] Migliorare la speculazione tramite le metriche delle attività di fase.
• [SPARK-41524] [SC-118399][ss] Differenziare SQLConf ed extraOptions in StateStoreConf per il loro utilizzo in RocksDBConf
• [SPARK-41465] [SC-118381][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] Il supporto di LongToUnsafeRowMap ignora le chiavi duplicate
• [SPARK-41409] [SC-118302][core][SQL] Rinominare _LEGACY_ERROR_TEMP_1043 in WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Implementare DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] Non ottimizzare la query di input due volte per il ritorno alla scrittura v1
• [SPARK-41314] [SC-117172][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Refactor LiteralExpression per il supporto di DataType
• [SPARK-41448] [SC-118046] Rendere coerenti gli ID dei job MR in FileBatchWriter e FileFormatWriter
• [SPARK-41456] [SC-117970][sql] Migliorare le prestazioni di try_cast
• [SPARK-41495] [SC-118125][connect][PYTHON] Implementare collection funzioni: P~Z
• [SPARK-41478] [SC-118167][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Ristrutturare il messaggio di errore per NUM_COLUMNS_MISMATCH per renderlo più generico
• [SPARK-41404] [SC-118016][sql] Rifattorizzare ColumnVectorUtils#toBatch per fare in modo che il test ColumnarBatchSuite#testRandomRows dei tipi di dati più primitivi
• [SPARK-41468] [SC-118044][sql] Correzione della gestione di PlanExpression in EquivalentExpressions
• [SPARK-40775] [SC-118045][sql] Correzione delle voci di descrizione duplicate per la scansione dei file V2
• [SPARK-41492] [SC-118042][connect][PYTHON] Implementare le funzioni MISC
• [SPARK-41459] [SC-118005][sql] correggere l'output vuoto del log delle operazioni del server Thrift
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection deve usare setDecimal per impostare valori Null per i decimali in una riga non sicura
• [SPARK-41376] [SC-117840][core][3.3] Correggere la logica di verifica Netty preferDirectBufs all'avvio dell'executor
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] Implementare funzioni collection: E~M
• [SPARK-41389] [SC-117426][core][SQL] Riutilizzare WRONG_NUM_ARGS anziché _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] I tipi Data e Timestamp possono essere convertiti in TimestampNTZ
• [SPARK-41435] [SC-117810][sql] Modificare per chiamare invalidFunctionArgumentsError per curdate() quando expressions non è vuoto
• [SPARK-41187] [SC-118030][core] Problema di memoria LiveExecutor in AppStatusListener quando si verifica la perdita di Executor
• [SPARK-41360] [SC-118083][core] Evitare la nuova registrazione di BlockManager se l'executor è stato perso
• [SPARK-41378] [SC-117686][sql] Supporto per le statistiche delle colonne in DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Eseguire l'override di prettyName di StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Implementare funzioni di data/timestamp
• [SPARK-41329] [SC-117975][connect] Risolvere le importazioni circolari in Spark Connect
• [SPARK-41477] [SC-118025][connect][PYTHON] Dedurre correttamente il tipo di dati dei numeri interi letterali
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] Rendi createDataFrame compatibile con lo schema e con più tipi di dataset di input
• [SPARK-41475] [SC-117997][connect] Correggere errore del comando lint-scala e typo
• [SPARK-38277] [SC-117799][ss] Cancellare il batch di scrittura dopo il commit dell'archivio stati di RocksDB
• [SPARK-41375] [SC-117801][ss] Evitare la versione più recente di KafkaSourceOffset vuota
• [SPARK-41412] [SC-118015][connect] Implementare Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Implementare DataFrame.melt e DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Rifattorizzare i test relativi alle colonne in test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] La colonna deve supportare l'operatore !=
• [SPARK-40697] [SC-117806][sc-112787][SQL] Aggiungere il riempimento dei caratteri sul lato di lettura per coprire i file di dati esterni
• [SPARK-41349] [SC-117594][connect][12.X] Implementazione di DataFrame.hint
• [SPARK-41338] [SC-117170][sql] Risolvere i riferimenti esterni e le colonne normali nella stessa fase di analisi
• [SPARK-41436] [SC-117805][connect][PYTHON] Implementare funzioni di collection: A~C
• [SPARK-41445] [SC-117802][connect] Implementare DataFrameReader.parquet
• [SPARK-41452] [SC-117865][sql] to_char deve restituire null quando format è null
• [SPARK-41444] [SC-117796][connect] Supporto read.json()
• [SPARK-41398] [SC-117508][sql] Rilassare i vincoli su Storage-Partitioned Join quando le chiavi di partizione dopo il filtraggio a runtime non corrispondono
• [SPARK-41228] [SC-117169][sql] Rinominare & Migliorare il messaggio di errore per COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][connect][PYTHON] Implementare funzioni di count_distinct e sum_distinct
• [SPARK-41433] [SC-117596][connect] Rendere configurabile Max Arrow BatchSize
• [SPARK-41397] [SC-117590][connect][PYTHON] Implementare parte delle funzioni di tipo stringa/binario
• [SPARK-41382] [SC-117588][connect][PYTHON] Implementare product funzione
• [SPARK-41403] [SC-117595][connect][PYTHON] Implementare DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() deve essere compatibile
• [SPARK-41369] [SC-117584][connect] Aggiungere la connessione comune al file JAR ombreggiato dei server
• [SPARK-41411] [SC-117562][ss] Correzione di bug per il supporto alla filigrana dell'operatore multi-stato
• [SPARK-41176] [SC-116630][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Implementare funzioni di aggregazione
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Implementare funzioni normali
• [SPARK-41305] [SC-117411][connect] Migliorare la documentazione per il comando Proto
• [SPARK-41372] [SC-117427][connect][PYTHON] Implement DataFrame TempView
• [SPARK-41379] [SC-117420][ss][PYTHON] Fornire una sessione Spark clonata nel DataFrame nella funzione utente per il sink foreachBatch in PySpark
• [SPARK-41373] [SC-117405][sql][ERROR] Rinominare CAST_WITH_FUN_SUGGESTION in CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Refactoring del metodo ColumnVectorUtils#populate per usare PhysicalDataType anziché DataType
• [SPARK-41355] [SC-117423][sql] Soluzione alternativa al problema di convalida del nome della tabella Hive
• [SPARK-41390] [SC-117429][sql] Aggiornare lo script usato per generare la funzione register in UDFRegistration
• [SPARK-41206] [SC-117233][sc-116381][SQL] Rinominare la classe di errore _LEGACY_ERROR_TEMP_1233 in COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Implementare funzioni matematiche
• [SPARK-40970] [SC-117308][connect][PYTHON] Supportare Lista[Colonna] per l'argomento Join su
• [SPARK-41345] [SC-117178][connect] Aggiungi suggerimento a Connect Proto
• [SPARK-41226] [SC-117194][sql][12.x] Refattorizzare i tipi di Spark introducendo tipi fisici
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Aggiungere il supporto di base per DataFrameWriter
• [SPARK-41347] [SC-117173][connect] Aggiungi Cast al proto dell'Espressione
• [SPARK-41323] [SC-117128][sql] Supporto per 'current_schema'
• [SPARK-41339] [SC-117171][sql] Chiudere e ricreare il batch di scrittura RocksDB piuttosto che cancellare semplicemente.
• [SPARK-41227] [SC-117165][connect][PYTHON] Implementare il cross join tra dataframe
• [SPARK-41346] [SC-117176][connect][PYTHON] Implementare funzioni di asc e desc
• [SPARK-41343] [SC-117166][connect] Spostare l'analisi di FunctionName sul lato server
• [SPARK-41321] [SC-117163][connect] Campo di destinazione del supporto per UnresolvedStar
• [SPARK-41237] [SC-117167][sql] Riutilizzare la classe di errore UNSUPPORTED_DATATYPE per _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] Riutilizzare INVALID_SCHEMA.NON_STRING_LITERAL anziché _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Ottimizzare l'uso del costruttore di StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] Supporto di IsNull e IsNotNull nella colonna
• [SPARK-41332] [SC-117131][connect][PYTHON] Correzione nullOrdering in SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Correzione dell'assenza della funzione avg() per GroupBy in DF
• [SPARK-41327] [SC-117137][core] Correzione SparkStatusTracker.getExecutorInfos tramite l'opzione On/OffHeapStorageMemory info
• [SPARK-41315] [SC-117129][connect][PYTHON] Implementare DataFrame.replace e DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Aggiungere API logica e stringa alla Colonna
• [SPARK-41331] [SC-117127][connect][PYTHON] Aggiungere orderBy e drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal assicurarsi che il blocco venga sbloccato normalmente
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Rifattorizzazione “Column” per compatibilità API
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Implement DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] Aggiungere la classe di errore INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] Riutilizzare INVALID_SCHEMA anziché _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] Convertire le istanze di NumPy in tipi primitivi di Python nell'aggiornamento di GroupState
• [SPARK-41174] [SC-116609][core][SQL] Propagare una classe di errore agli utenti per format non valido di to_binary()
• [SPARK-41264] [SC-116971][connect][PYTHON] Fare in modo che Literal supporti più tipi di dati
• [SPARK-41326] [SC-116972] [CONNECT] Correggere l'assenza di input nella deduplicazione
• [SPARK-41316] [SC-116900][sql] Abilitare la ricorsione di coda laddove possibile
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Supportare le espressioni stringa nel filtro.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] Implement DataFrame.withColumn(s)
• [SPARK-41182] [SC-116632][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] Eseguire la migrazione degli errori delle opzioni della mappa nelle classi di errore
• [SPARK-40940] [SC-115993][12.x] Rimuovere i controlli degli operatori con più stati per le query di streaming.
• [SPARK-41310] [SC-116885][connect][PYTHON] Implementare la funzione DataFrame.toDF
• [SPARK-41179] [SC-116631][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti non aggiorna numOutputRows quando codegen è disabilitato
• [SPARK-41148] [SC-116878][connect][PYTHON] Implementare DataFrame.dropna e DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] Aggiungere la classe di errore FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] Migliorare DataFrame.count()
• [SPARK-41301] [SC-116786] [CONNECT] Comportamento omogeneo per SparkSession.range()
• [SPARK-41306] [SC-116860][connect] Migliorare la documentazione di Connect Expression proto
• [SPARK-41280] [SC-116733][connect] Implementazione di DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] Uno schema non impostato viene interpretato come Schema
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] Rename RemoteSparkSession
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas non deve restituire il dataframe pandas facoltativo
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain devono stampare e restituire None
• [SPARK-41278] [SC-116732][connect] Eliminare il QualifiedAttribute non usato in Expression.proto
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Rimuovere la conversione delle collezioni ridondanti in base al codice Scala 2.13
• [SPARK-41261] [SC-116718][python][SS] Correzione del problema relativo a applyInPandasWithState quando le colonne delle chiavi di raggruppamento non vengono posizionate in ordine dal più presto
• [SPARK-40872] [SC-116717][3.3] Ritorno al blocco shuffle originale quando un blocco shuffle push-unito è di dimensioni pari a zero
• [SPARK-41114] [SC-116628][connect] Supportare i dati locali per LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Implementare DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Supportare più tipi di dati predefiniti
• [SPARK-41230] [SC-116674][connect][PYTHON] Rimuovere str dal tipo di espressione aggregate
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Implementazione di raccolta basata su freccia ottimizzata per lo streaming da server a client
• [SPARK-41222] [SC-116625][connect][PYTHON] Unificare le definizioni di digitazione
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Disabilitare le funzioni non supportate.
• [SPARK-41201] [SC-116526][connect][PYTHON] Implementare DataFrame.SelectExpr nel client Python
• [SPARK-41203] [SC-116258] [CONNECT] Supporto di Dataframe.tansform nel client Python.
• [SPARK-41213] [SC-116375][connect][PYTHON] Implementare DataFrame.__repr__ e DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implementare DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Eseguire la migrazione dell'errore di riferimento ambiguo a una classe di errore
• [SPARK-41122] [SC-116141][connect] Explain API può supportare diverse modalità
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] Migliorare l'inferenza del tipo PySpark nel metodo _merge_type
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Omogenizzare la versione protobuf nel server di connessione Spark per usare la stessa versione principale.
• [SPARK-35531] [SC-116409][sql] Aggiornare le statistiche della tabella hive senza conversione non necessaria
• [SPARK-41154] [SC-116289][sql] Memorizzazione nella cache delle relazioni non corretta per le query con specifiche di spostamento temporale
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implementare DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Rinominare UNSUPPORTED_EMPTY_LOCATION in INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Aggiungere un'API di estensione per pianificare la normalizzazione per la memorizzazione nella cache
• [SPARK-41054] [SC-116447][ui][CORE] Supporta RocksDB come KVStore nell'interfaccia utente live
• [SPARK-38550] [SC-115223]Ripristina "[SQL][core] Usare un archivio basato su disco per salvare altre informazioni di debug per l'interfaccia utente dinamica"
• [SPARK-41173] [SC-116185][sql] Spostare require() fuori dai costruttori di espressioni di stringa
• [SPARK-41188] [SC-116242][core][ML] Impostare executorEnv OMP_NUM_THREADS come spark.task.cpus per impostazione predefinita per i processi JVM dell'executor spark
• [SPARK-41130] [SC-116155][sql] Rinominare OUT_OF_DECIMAL_TYPE_RANGE in NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Ridurre la conversione delle raccolte quando si crea AttributeMap
• [SPARK-41139] [SC-115983][sql] Migliorare la classe di errore: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Richiedere l'ombreggiatura per il file JAR della classe Java, migliorare la gestione degli errori
• [SPARK-40999] [SC-116168] Propagazione degli hint nelle sottoquery
• [SPARK-41017] [SC-116054][sql] Supportare l'eliminazione delle colonne con più filtri non deterministici
• [SPARK-40834] [SC-114773][sql] Usare SparkListenerSQLExecutionEnd per tenere traccia dello stato SQL finale nell'interfaccia utente
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number deve restituire null quando il formato è null
• [SPARK-39799] [SC-115984][sql] DataSourceV2: Interfaccia di visualizzazione del catalogo
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Evitare di incorporare Spark Connect nella versione binaria di Apache Spark
• [SPARK-41048] [SC-116043][sql] Migliorare il partizionamento e l'ordinamento dell'output con la cache AQE
• [SPARK-41198] [SC-116256][ss] Correzione delle metriche nella query di streaming con origine di streaming CTE e DSv1
• [SPARK-41199] [SC-116244][ss] Correzione dei problemi di metriche quando l'origine di streaming DSv1 e l'origine di streaming DSv2 vengono co-usate
• [SPARK-40957] [SC-116261][sc-114706] Aggiungere nella cache della memoria in HDFSMetadataLog
• [SPARK-40940] Ripristinare "[SC-115993] Rimuovere i controlli degli operatori con più stati per le query di streaming".
• [SPARK-41090] [SC-116040][sql] Generare un'eccezione per db_name.view_name durante la creazione della visualizzazione temporanea dall'API del set di dati
• [SPARK-41133] [SC-116085][sql] Integrare UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION in NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] Commit di dump del codice 9
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Spark Connect build as Driver Plugin with Shaded Dependencies
• [SPARK-41096] [SC-115812][sql] Supporto alla lettura del tipo parquet FIXED_LEN_BYTE_ARRAY
• [SPARK-41140] [SC-115879][sql] Rinominare la classe di errore _LEGACY_ERROR_TEMP_2440 in INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] Mancata corrispondenza tra FileSourceScanExec e Orc e ParquetFileFormat per la produzione di output a colonne
• [SPARK-41155] [SC-115991][sql] Aggiungere un messaggio di errore a SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Rimuovere i verificatori degli operatori multistatali per le query di streaming.
• [SPARK-41098] [SC-115790][sql] Rinominare GROUP_BY_POS_REFERS_AGG_EXPR in GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Migrare le verifiche fallite del tipo di formattazione dei numeri nelle classi di errore
• [SPARK-41059] [SC-115658][sql] Rinominare _LEGACY_ERROR_TEMP_2420 in NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Convertire DATATYPE_MISMATCH.UNSPECIFIED_FRAME in INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] Rinominare _LEGACY_ERROR_TEMP_0055 in UNCLOSED_BRACKETED_COMMENT

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 12.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-11-11.

Librerie Java e Scala installate (versione cluster di Scala 2.12)