Przesyłanie strumieniowe w usłudze Azure Databricks
Usługi Azure Databricks można używać do pozyskiwania, przetwarzania, uczenia maszynowego i sztucznej inteligencji niemal w czasie rzeczywistym na potrzeby przesyłania strumieniowego danych.
Usługa Azure Databricks oferuje wiele optymalizacji przesyłania strumieniowego i przetwarzania przyrostowego, w tym:
- Biblioteka DLT udostępnia składnię deklaratywną do przetwarzania przyrostowego. Zobacz Co to jest DLT?.
- Auto Loader upraszcza przyrostowe pobieranie danych z obiektowej pamięci masowej w chmurze. Zobacz Co to jest moduł automatycznego ładowania?.
- Katalog Unity dodaje zarządzanie danymi do obciążeń związanych z przesyłaniem strumieniowym. Zobacz Korzystanie z katalogu Unity z uporządkowanym strumieniowaniem.
Usługa Delta Lake udostępnia warstwę magazynu dla tych integracji. Zobacz odczyty i zapisy strumieniowe tabeli Delta
Aby dowiedzieć się o serwowaniu modeli w czasie rzeczywistym, zobacz Deploy models using Mosaic AI Model Serving.
- Samouczek
- Pojęcia
- Przesyłanie strumieniowe stanowe
- niestandardowe aplikacje stanowe
- Zagadnienia dotyczące środowiska produkcyjnego
- Monitoruj strumienie
- Integracja z katalogiem Unity
- Przesyłanie strumieniowe za pomocą funkcji delta
- Przykłady
Usługa Azure Databricks ma określone funkcje do pracy z częściowo ustrukturyzowanymi polami danych zawartymi w Avro, buforach protokołów i ładunkach danych JSON. Aby dowiedzieć się więcej, zobacz:
- Odczytywanie i zapisywanie przesyłanych strumieniowo danych systemu Avro
- Odczyt i zapis bufory protokołów
- Wykonywanie zapytań względem ciągów JSON
Dodatkowe zasoby
Platforma Apache Spark udostępnia przewodnik programowania przesyłania strumieniowego ze strukturą, który zawiera więcej informacji na temat przesyłania strumieniowego ze strukturą.
Dla informacji referencyjnych dotyczących Structured Streaming, Databricks zaleca następujące odniesienia do interfejsu API Apache Spark: