Data engineering met Databricks
Databricks biedt een uitgebreide set functies voor data engineering die een robuuste omgeving bevatten voor samenwerking tussen gegevenswetenschappers, technici en analisten. Door het midden ervan lopen de pijplijnen die de gegevens opnemen en transformeren. Databricks biedt Structured Streaming en DLT om eenvoudige engineering van de meest efficiënte pijplijnen mogelijk te maken. Zie Streaming op Azure Databricks en Wat is DLT?.
Zie voor een overzicht van waarom incrementele stroomverwerking van gegevens die worden geleverd door Structured Streaming en DLT de beste optie is voor gegevenspijplijnen. Zie Het bouwen van eenvoudige, efficiënte en lage latentiegegevenspijplijnen.
Aanvullende data engineering-middelen
Databricks biedt functies voor data engineering-taken voor veel extra scenario's:
- Databricks-notebooks zijn een populair hulpmiddel voor samenwerking.
- Uw werkstromen plannen en orkestreren met Databricks Jobs.
- Zie Databricks Mosaic AI- als u machine learning-oplossingen ontwerpt.
Notitie
Als u voornamelijk met SQL-query's en BI-hulpprogramma's werkt, raadpleegt u Databricks SQL.
Zie Introductiemateriaal en aan de slag met Azure Databricks en Wat is Azure Databricks?.
| Naam | Gebruik dit als u wilt... |
|---|---|
| DLT | Meer informatie over het bouwen van gegevenspijplijnen voor opname en transformatie met Databricks DLT. |
| Structured Streaming | Meer informatie over streaming-, incrementele en realtime workloads die worden mogelijk gemaakt door Structured Streaming op Databricks. |