Novità in arrivo

Informazioni sulle funzionalità e sulle modifiche comportamentali nelle prossime versioni di Azure Databricks.

Miglioramenti all'interfaccia utente del profilo di query

L'interfaccia utente del profilo di query viene aggiornata per migliorare l'usabilità e fornire un accesso più rapido alle informazioni dettagliate chiave.

• Il pannello di riepilogo includerà le metriche chiave, un'anteprima ridotta del profilo di query e collegamenti rapidi alle sezioni principali della pagina del profilo di query.
• Un nuovo pannello Operatori più importanti elenca gli operatori a elevato utilizzo di risorse con opzioni di filtro e visualizzazione grafica con evidenziazione.
• Il layout aggiornato è progettato per migliorare la leggibilità e lo spostamento dalle metriche di riepilogo alle informazioni dettagliate.
• Altri miglioramenti includono l'evidenziazione dei nodi basata su parole chiave, un elenco di esecuzione avanzato e i perfezionamenti per il flusso di lavoro di analisi delle prestazioni delle query.

Modifica del comportamento per l'opzione di elenco incrementale delle directory dell'Auto Loader

In una futura versione di Databricks Runtime, il valore dell'opzione Auto Loader ormai obsoleta verrà impostato su cloudFiles.useIncrementalListing per impostazione predefinita. L'impostazione di questo valore su false fa sì che il caricatore automatico esegua un elenco di directory completo ogni volta che viene eseguito. Attualmente, il valore predefinito dell'opzione cloudFiles.useIncrementalListing è auto, istruendo il caricatore automatico a fare un tentativo migliore per rilevare se un elenco incrementale può essere utilizzato con una directory.

Per continuare a usare la funzionalità di elenco incrementale, impostare l'opzione cloudFiles.useIncrementalListing su auto. Quando si imposta questo valore su auto, Il caricatore automatico tenta di eseguire un elenco completo una volta ogni sette elenchi incrementali, che corrisponde al comportamento di questa opzione prima di questa modifica.

Per ulteriori informazioni sulle opzioni di elenco delle directory di Auto Loader, vedere opzioni di Auto Loader.

Gestione delle statistiche abilitata per impostazione predefinita con l'ottimizzazione predittiva

A partire dal 21 gennaio, Databricks inizierà ad abilitare la gestione delle statistiche per tutti gli account con ottimizzazione predittiva abilitata. La gestione delle statistiche espande la funzionalità di ottimizzazione predittiva esistente aggiungendo la raccolta di statistiche in scrittura ed eseguendo automaticamente i comandi ANALYZE per le tabelle gestite di Unity Catalog. Per altre informazioni sull'ottimizzazione predittiva, vedere Ottimizzazione predittiva per le tabelle gestite di Unity Catalog.

Calcolo serverless per ottenere il supporto di Scala SDK per le credenziali del servizio

Un aggiornamento del calcolo serverless supporterà l'autenticazione governata dal Catalogo Unity per i servizi cloud esterni, utilizzando le credenziali del servizio con il SDK di Scala. Il supporto Scala per l'autenticazione dell'entità servizio, già disponibile in Databricks Runtime 16.2 e versioni successive, si aggiunge al supporto per l'autenticazione con le credenziali del servizio utilizzando il Python SDK. Vedere Gestire l'accesso ai servizi cloud esterni usando le credenziali del servizio.

Modifica del comportamento quando le definizioni dei set di dati vengono rimosse da una pipeline DLT

Una versione futura di DLT modificherà il comportamento quando una vista materializzata o una tabella di streaming viene rimossa da una pipeline. Con questa modifica, la vista materializzata rimossa o la tabella di streaming non verranno eliminate automaticamente quando viene eseguito l'aggiornamento della pipeline successivo. Sarà invece possibile usare il comando DROP MATERIALIZED VIEW per eliminare una vista materializzata o il comando DROP TABLE per eliminare una tabella di streaming. Dopo l'eliminazione di un oggetto, l'esecuzione di un aggiornamento della pipeline non recupererà automaticamente l'oggetto. Viene creato un nuovo oggetto se una vista materializzata o una tabella di streaming con la stessa definizione viene nuovamente aggiunta alla pipeline. È tuttavia possibile recuperare un oggetto usando il comando UNDROP.

I file dell'area di lavoro saranno attivati per tutte le aree di lavoro di Azure Databricks il 1° febbraio 2025

Databricks attiverà i file dell'area di lavoro per tutte le aree di lavoro di Azure Databricks il 1° febbraio 2025. Questa modifica sblocca gli utenti dell'area di lavoro dall'uso di nuove funzionalità dei file dell'area di lavoro. Dopo il 1° febbraio 2025 non sarà possibile disabilitare i file dell'area di lavoro usando la proprietà enableWorkspaceFilesystem con l'API REST di Azure Databricks per abilitare e disabilitare le funzionalità dell'area di lavoro. Per altri dettagli sui file dell'area di lavoro, vedere Che cosa sono i file dell'area di lavoro?.

Le tabelle vengono condivise con la cronologia per impostazione predefinita in Delta Sharing

Databricks prevede di modificare l'impostazione predefinita delle tabelle condivise tramite Delta Sharing per includere la cronologia. In precedenza, la condivisione della cronologia era disabilitata per impostazione predefinita. La condivisione della cronologia delle tabelle migliora le prestazioni di lettura e offre supporto automatico per le ottimizzazioni Delta avanzate.

Riduzione dei costi e maggiore controllo sulle prestazioni rispetto ai costi per l'elaborazione senza server per i carichi di lavoro con flussi di lavoro

Oltre alle ottimizzazioni delle prestazioni automatiche attualmente supportate, i miglioramenti al calcolo serverless per le funzionalità di ottimizzazione dei flussi di lavoro consentiranno di controllare se i carichi di lavoro sono ottimizzati per prestazioni o costi. Per ulteriori informazioni, vedere Risparmi sui costi per le risorse di calcolo serverless per notebook, processi e pipeline.

Modifiche al supporto per le versioni del dashboard legacy

Databricks consiglia di usare i dashboard di IA/BI (in precedenza dashboard Lakeview). Le versioni precedenti dei dashboard, definite in precedenza dashboard SQL di Databricks, sono ora denominate dashboard legacy. Databricks non consiglia di creare nuovi dashboard legacy. I dashboard di intelligenza artificiale/BI offrono funzionalità migliorate rispetto alla versione legacy, tra cui la creazione assistita dall'IA, le modalità bozza e pubblicata, e il filtraggio incrociato.

Fine della sequenza temporale del supporto per i dashboard legacy

• 7 aprile 2025: terminerà il supporto ufficiale per la versione legacy dei dashboard. Verranno risolti solo i problemi di sicurezza critici e le interruzioni del servizio.
• 3 novembre 2025: Databricks inizierà ad archiviare i dashboard legacy a cui non è stato eseguito l'accesso negli ultimi sei mesi. I dashboard archiviati non saranno più accessibili e il processo di archiviazione verrà eseguito in sequenza. L'accesso ai dashboard utilizzati attivamente rimarrà invariato.

Databricks collaborerà con i clienti per sviluppare piani di migrazione per dashboard legacy attivi dopo il 3 novembre 2025.

Per facilitare la transizione ai dashboard di intelligenza artificiale/BI, gli strumenti di aggiornamento sono disponibili sia nell'interfaccia utente che nell'API. Per istruzioni su come usare lo strumento di migrazione predefinito nell'interfaccia utente, vedere Clonare un dashboard legacy in un dashboard di intelligenza artificiale/BI. Per esercitazioni sulla creazione e la gestione dei dashboard tramite l'API REST in Usare le API di Azure Databricks per gestire i dashboard.

Modifiche all'attribuzione dei carichi di lavoro serverless di calcolo

Attualmente, la tabella del tuo sistema di utilizzo fatturabile potrebbe includere record di fatturazione SKU serverless con valori nulli per run_as, job_id, job_run_id e notebook_id. Questi record rappresentano i costi associati alle risorse condivise non direttamente attribuibili a un particolare carico di lavoro.

Per semplificare la creazione di report sui costi, presto Databricks attribuirà questi costi condivisi ai carichi di lavoro specifici che li hanno sostenuti. Non verranno più visualizzati i record di fatturazione con valori Null nei campi dell'identificatore del carico di lavoro. Man mano che si aumenta l'utilizzo di risorse di calcolo serverless e si aggiungono altri carichi di lavoro, la percentuale in fattura di questi costi condivisi diminuirà, in quanto condivisi tra più carichi di lavoro.

Per altre informazioni sul monitoraggio dei costi delle risorse di calcolo serverless, vedere Monitorare il costo delle risorse di calcolo serverless.

Il campo sourceIpAddress nei log di controllo non includerà più un numero di porta

A causa di un bug, alcuni log di controllo di autorizzazione e autenticazione includono un numero di porta oltre all'Indirizzo IP nel campo sourceIPAddress (ad esempio, "sourceIPAddress":"10.2.91.100:0"). Il numero di porta, registrato come 0, non fornisce alcun valore reale ed è incoerente con il resto dei log di controllo di Databricks. Per migliorare la coerenza dei log di controllo, Databricks ha in programma di modificare il formato dell'indirizzo IP per questi eventi del log di controllo. Questa modifica verrà implementata gradualmente a partire da inizio agosto 2024.

Se il log di controllo contiene un sourceIpAddress di 0.0.0.0, Databricks potrebbe interrompere il log.

JDK8 e JDK11 non saranno supportati

Azure Databricks prevede di rimuovere il supporto di JDK 8 con la prossima versione principale di Databricks Runtime, quando Spark 4.0 viene rilasciato. Azure Databricks prevede di rimuovere il supporto di JDK 11 con la prossima versione LTS di Databricks Runtime 14.x.

Abilitazione automatica del catalogo Unity per le nuove aree di lavoro

Databricks ha iniziato ad abilitare automaticamente Unity Catalog per le nuove aree di lavoro. Questo rimuove la necessità per gli amministratori dell'account di configurare Unity Catalog dopo la creazione di un'area di lavoro. L'implementazione procede gradualmente tra gli account.

aggiornamento di sqlite-jdbc

Databricks Runtime ha in programma di aggiornare la versione di sqlite-jdbc da 3.8.11.2 a 3.42.0.0 in tutte le versioni di manutenzione di Databricks Runtime. Le API della versione 3.42.0.0 non sono completamente compatibili con la versione 3.8.11.2. Conferma che i tuoi metodi e il tipo di ritorno utilizzano la versione 3.42.0.0.

Se si usa sqlite-jdbc nel codice, controllare il report di compatibilità sqlite-jdbc.