Hur hanterar Azure Databricks Delta Lake-funktionskompatibilitet?

Delta Lake är ett oberoende projekt med öppen källkod under styrning av Linux Foundation. Databricks introducerar stöd för nya Delta Lake-funktioner och optimeringar som bygger på Delta Lake i Databricks Runtime-versioner.

Azure Databricks-optimeringar som utnyttjar Delta Lake-funktioner respekterar de protokoll som används i OSS Delta Lake för kompatibilitet.

Många Azure Databricks-optimeringar kräver aktivering av Delta Lake-funktioner i en tabell. Delta Lake-funktioner är alltid bakåtkompatibla, så tabeller som skrivits av en lägre Databricks Runtime-version kan alltid läsas och skrivas av en högre Databricks Runtime-version. Om du aktiverar vissa funktioner bryts framåtkompatibiliteten med arbetsbelastningar som körs i en lägre version av Databricks Runtime. För funktioner som bryter kompatibiliteten framåt måste du uppdatera alla arbetsbelastningar som refererar till de uppgraderade tabellerna så att de använder en kompatibel Databricks Runtime-version.

Vilka Delta Lake-funktioner kräver Databricks Runtime-uppgraderingar?

Följande funktioner i Delta Lake påverkar framtida kompatibilitet. Funktioner aktiveras tabell för tabell. Den här tabellen visar den lägsta Databricks Runtime-versionen som fortfarande stöds av Azure Databricks.

Se Viktig information om versioner och kompatibilitet för Databricks Runtime.

Vad är en tabellprotokollspecifikation?

Varje Delta-tabell har en protokollspecifikation som anger den uppsättning funktioner som tabellen stöder. Protokollspecifikationen används av program som läser eller skriver tabellen för att avgöra om de kan hantera alla funktioner som tabellen stöder. Om ett program inte vet hur man hanterar en funktion som visas som stöds i protokollet i en tabell kan programmet inte läsa eller skriva tabellen.

Protokollspecifikationen är uppdelad i två komponenter: läsprotokollet och skrivprotokollet.

Läs protokoll

Läsprotokollet visar alla funktioner som en tabell stöder och som ett program måste förstå för att kunna läsa tabellen korrekt. Om du uppgraderar läsprotokollet i en tabell måste alla läsarprogram ha stöd för de tillagda funktionerna.

Skriv protokoll

Skrivprotokollet visar alla funktioner som en tabell stöder och som ett program måste förstå för att kunna skriva till tabellen korrekt. Om du uppgraderar skrivprotokollet för en tabell måste alla skrivarprogram ha stöd för de tillagda funktionerna. Det påverkar inte skrivskyddade applikationer, såvida inte läsprotokollet också uppgraderas.

Vilka protokoll måste uppgraderas?

Vissa funktioner kräver uppgradering av både läsprotokollet och skrivprotokollet. Andra funktioner kräver endast uppgradering av skrivprotokollet.

Till exempel är stöd för CHECK-begränsningar en skrivprotokollfunktion: endast skrivapplikationer behöver känna till CHECK-begränsningar och framtvinga dem.

Kolumnmappning kräver däremot att både läs- och skrivprotokollen uppgraderas. Eftersom data lagras på olika sätt i tabellen måste läsarprogram förstå kolumnmappning så att de kan läsa data korrekt.

Lägsta läsare och skrivarversioner

När du aktiverar Delta-funktioner i en tabell uppgraderas tabellprotokollet automatiskt. Databricks rekommenderar att du inte ändrar minReaderVersion och minWriterVersion tabellegenskaper. Att ändra dessa tabellegenskaper förhindrar inte protokolluppgradering. Om du anger dessa värden till ett lägre värde nedgraderas inte tabellen. Se funktioner för att ta bort Delta-tabellen.

Vad är tabellfunktioner?

I Databricks Runtime 12.2 LTS och senare introducerar Delta Lake-tabellfunktioner detaljerade flaggor som anger vilka funktioner som stöds av en viss tabell. I Databricks Runtime 11.3 LTS och nedan aktiverades Delta Lake-funktioner i paket som kallas protokollversioner. Tabellfunktioner är efterföljaren till protokollversioner och är utformade med målet att förbättra flexibiliteten för klienter som läser och skriver Delta Lake. Se Vad är en protokollversion?.

En Delta-tabellfunktion är en markör som anger att tabellen stöder en viss funktion. Varje funktion är antingen en funktion för skrivprotokoll (vilket innebär att den endast uppgraderar skrivprotokollet) eller en läs-/skrivprotokollfunktion (vilket innebär att både läs- och skrivprotokoll uppgraderas för att aktivera funktionen).

Mer information om tabellfunktioner som stöds i Delta Lake finns i Delta Lake-protokollet.

Ändrar tabellfunktionerna hur Delta Lake-funktioner aktiveras?

Om du bara interagerar med Delta-tabeller via Azure Databricks kan du fortsätta att spåra stöd för Delta Lake-funktioner med hjälp av minimikraven för Databricks Runtime. Azure Databricks stöder läsning av Delta-tabeller som har uppgraderats till tabellfunktioner i alla Databricks Runtime LTS-versioner, så länge alla funktioner som används av tabellen stöds av den versionen.

Om du läser och skriver från Delta-tabeller med andra system kan du behöva överväga hur tabellfunktioner påverkar kompatibiliteten, eftersom det finns en risk att systemet inte kan förstå de uppgraderade protokollversionerna.

Vad är en protokollversion?

En protokollversion är ett protokollnummer som anger en viss gruppering av tabellfunktioner. I Databricks Runtime 11.3 LTS och nedan kan du inte aktivera tabellfunktioner individuellt. Protokollversioner samlar en grupp funktioner.

Deltatabeller anger en separat protokollversion för läsprotokoll och skrivprotokoll. Transaktionsloggen för en Delta-tabell innehåller information om protokollversioner som stöder Delta Lake-utveckling. Se Se över detaljinformation för Delta Lake-tabell med beskrivning av detaljer.

Protokollversionerna paketar alla funktioner från tidigare protokoll. Se Funktioner efter protokollversion.

Funktioner efter protokollversion

I följande tabell visas lägsta protokollversioner som krävs för Delta Lake-funktioner.