Adatfeldolgozás a Databricks használatával
A Databricks számos olyan adatmérnöki funkciót kínál, amelyek robusztus környezetet biztosítanak az adattudósok, mérnökök és elemzők közötti együttműködéshez. Ennek középpontjában azok a csővezetékek találhatók, amelyek betöltik és átalakítják az adatokat. A leghatékonyabb folyamatok egyszerű tervezésének lehetővé tétele érdekében a Databricks strukturált streamelést és DLT-t kínál. Lásd: Streamelés az Azure Databricks és Mi az a DLT?.
A strukturált adatfolyam és a DLT által biztosított adatok növekményes adatfolyam-feldolgozásának legjobb lehetőségéről az adatfolyamatok számára részletes áttekintést talál Hogyan építsünk egyszerű, hatékony és alacsony késésű adatfolyamatokatcímű részben.
További adatmérnöki erőforrások
A Databricks számos további forgatókönyvhöz nyújt szolgáltatásokat az adatmérnöki feladatokhoz:
- Databricks-jegyzetfüzetek az együttműködés népszerű eszközei.
- Munkafolyamatok ütemezése és vezénylése Databricks-feladatokhasználatával.
- Ha gépi tanulási megoldásokat szeretne létrehozni, tekintse meg Databricks Mozaik AI-.
Jegyzet
Ha elsősorban SQL-lekérdezésekkel és BI-eszközökkel dolgozik, tekintse meg Databricks SQL.
Az első lépésekről és a bevezető tájékoztatásról az Ismerkedés az Azure Databricks-szel és Mi az Azure Databricks? található.
| Név | Ezt akkor használja, ha... |
|---|---|
| DLT | Megtudhatja, hogyan hozhat létre adatfolyamatokat a Databricks DLT használatával való betöltéshez és átalakításhoz. |
| Strukturált streaming | Ismerje meg a Databricks Structured Streaming által támogatott streamelési, inkrementális és valós idejű számítási feladatokat. |