DLT-pijplijntaak voor jobs
Banen bieden een procedurele benadering voor het definiëren van relaties tussen taken. DLT-pijplijnen bieden een declaratieve benadering voor het definiëren van relaties tussen gegevenssets en transformaties. Op deze pagina wordt beschreven hoe u geactiveerde DLT-pijplijnen kunt plannen om te worden uitgevoerd als een taak binnen een Databricks-job, met behulp van de Jobs UI, de DLT-pijplijn UI of SQL.
Notitie
Een getriggerde DLT-pijplijn is een pijplijn die niet continu wordt uitgevoerd, maar moet worden getriggerd om te starten. Een pijplijntaak kan het triggermechanisme zijn voor een geactiveerde DLT-pijplijn. Doorlopende pijplijnen hoeven niet te worden geactiveerd, dus het activeren ervan via een taak zou redundant zijn. Zie Geactiveerde versus continue pijplijnmodus voor meer informatie over geactiveerde en continue pijplijnen.
Configureer een DLT-pijplijntaak met de gebruikersinterface voor taken
DLT-pijplijnen beheren alle configuraties voor broncode en berekening in de pijplijndefinitie.
Voer de volgende stappen uit om een pijplijn toe te voegen aan een taak:
- Maak een nieuwe taak en geef deze een naam en selecteer de DLT-pijplijn voor het Type.
- Selecteer in de vervolgkeuzelijst Pijplijn een bestaande DLT-pijplijn.
- U kunt eventueel een volledige vernieuwing activeren in de DLT-pijplijn.
Belangrijk
U kunt alleen geactiveerde pijplijnen gebruiken met de pijplijntaak . Doorlopende pijplijnen worden niet ondersteund als taaktaak.
Een DLT-pijplijn plannen met de pijplijninterface
Door een planning toe te voegen aan een pijplijn wordt er een taak aangemaakt met één pijplijnopdracht. Met deze gebruikersinterface kunt u alleen tijdgebaseerde schematriggers configureren. Zie Een DLT-pijplijntaak configureren met de takeninterfacevoor meer geavanceerde triggeropties.
Configureer een pijplijntaak in een geplande taak met behulp van de pijplijngebruikersinterface door de volgende stappen uit te voeren:
- Klik op DLT- in de zijbalk.
- Klik op de naam van de pijplijn. De pijplijngebruikersinterface wordt weergegeven.
- Klik op Schema.
- Als er geen planning voor de pijplijn bestaat, wordt het dialoogvenster Nieuwe planning weergegeven.
- Als er al een of meer planningen bestaan, klikt u op Schema toevoegen.
- Voer een unieke naam in voor de taak in het taaknaam veld.
- (Optioneel) Werk de planningsfrequentie bij.
- Selecteer Geavanceerde voor uitgebreidere opties, waaronder cron-syntaxis.
- (Optioneel) Configureer onder Meer optieseen of meer e-mailadressen voor het ontvangen van waarschuwingen bij het starten, slagen of mislukken van de pijplijn.
- Klik op Maken.
Notitie
Als de pijplijn is opgenomen in een of meer geplande taken, toont de knop Planning het aantal bestaande planningen, bijvoorbeeld Planning (5).
Een schema toevoegen aan een gerealiseerde weergave of streamingtabel in Databricks SQL
Gerealiseerde weergaven en streamingtabellen die zijn gedefinieerd in Databricks SQL ondersteunen tijdgebaseerde planning die is opgegeven in CREATE of ALTER opdrachten.
Zie de volgende artikelen voor meer informatie: