Inżynieria danych w usłudze Databricks
Usługa Databricks udostępnia bogaty zestaw funkcji inżynierii danych, które obejmują niezawodne środowisko współpracy między analitykami danych, inżynierami i analitykami. W środku znajdują się potoki, które pozyskiwać i przekształcać danych. Aby umożliwić łatwą inżynierię najbardziej wydajnych potoków, usługa Databricks oferuje przesyłania strumieniowego ze strukturą i bibliotekę DLT. Zobacz Streaming w usłudze Azure Databricks i Co to jest DLT?.
Aby zapoznać się z omówieniem, dlaczego przyrostowe przetwarzanie strumieniowe danych dostarczane przez strumieniowanie strukturalne i DLT jest najlepszą opcją dla potoków danych, zobacz How to build simple, efficient, and low-latency data pipelines (Jak budować proste, wydajne i niskoopóźnieniowe potoki danych).
Dodatkowe zasoby inżynieryjne danych
Usługa Databricks udostępnia funkcje zadań inżynierii danych w wielu dodatkowych scenariuszach:
- notesy z usługi Databricks to popularne narzędzie do współpracy.
- Planowanie i organizowanie przepływów pracy przy użyciu zadań usługi Databricks.
- Zobacz Databricks Mosaic AI, jeśli tworzysz rozwiązania do uczenia maszynowego.
Notatka
Jeśli pracujesz głównie z zapytaniami SQL i narzędziami analizy biznesowej, zobacz Databricks SQL.
Aby uzyskać samouczki wprowadzające i informacje wprowadzające, zobacz Rozpoczynanie pracy z usługą Azure Databricks i Co to jest usługa Azure Databricks?.
| Nazwa | Użyj tej opcji, gdy chcesz... |
|---|---|
| DLT | Dowiedz się, jak budować potoki danych na potrzeby pozyskiwania i przekształcania za pomocą Databricks DLT. |
| strukturalne przesyłanie strumieniowe | Dowiedz się więcej na temat przesyłania strumieniowego, przyrostowych i obciążeń w czasie rzeczywistym obsługiwanych przez przesyłanie strumieniowe ze strukturą w usłudze Databricks. |