Direktuppspelning i Azure Databricks
Du kan använda Azure Databricks för datainmatning i nära realtid, bearbetning, maskininlärning och AI för strömmande data.
Azure Databricks erbjuder många optimeringar för strömning och inkrementell bearbetning, inklusive följande:
- DLT tillhandahåller deklarativ syntax för inkrementell bearbetning. Se Vad är DLT?.
- Automatisk inläsning förenklar inkrementell inmatning från molnobjektlagring. Se Vad är automatisk inläsare?.
- Unity Catalog lägger till datastyrning för strömmande arbetsbelastningar. Se Använda Unity Catalog med Structured Streaming.
Delta Lake tillhandahåller lagringsskiktet för dessa integreringar. Se Delta-tabellströmning av läsningar och skrivningar.
Information om realtidsmodellservering finns i Distribuera modeller med hjälp av Mosaic AI Model Serving.
- Guide
- Begrepp
- Tillståndskänslig direktuppspelning
- Anpassade tillståndskänsliga program
- Produktionsöverväganden
- Övervaka strömmar
- Integration för Unity Catalog
- Direktuppspelning med Delta
- Exempel
Azure Databricks har specifika funktioner för att arbeta med halvstrukturerade datafält som finns i Avro, protokollbuffertar och JSON-datanyttolaster. Mer information finns i:
- Läsa och skriva Avro-direktuppspelningsdata
- Läs- och skrivprotokollbuffertar
- Fråga efter JSON-strängar
Ytterligare resurser
Apache Spark tillhandahåller en programmeringsguide för strukturerad direktuppspelning som innehåller mer information om strukturerad direktuppspelning.
För referensinformation om strukturerad direktuppspelning rekommenderar Databricks följande Apache Spark API-referenser: