Streamelés az Azure Databricksben
Az Azure Databricks használatával közel valós idejű adatbetöltést, feldolgozást, gépi tanulást és AI-t használhat streamelési adatokhoz.
Az Azure Databricks számos optimalizálást kínál a streameléshez és a növekményes feldolgozáshoz, beleértve a következőket:
- A DLT deklaratív szintaxist biztosít a növekményes feldolgozáshoz. Lásd Mi az a DLT?.
- Az Automatikus betöltő leegyszerűsíti a növekményes betöltést a felhőobjektum-tárolóból. Lásd : Mi az automatikus betöltő?.
- A Unity Catalog adatszabályozást ad a streamelési számítási feladatokhoz. Lásd : Unity Catalog használata strukturált streameléssel.
A Delta Lake biztosítja ezeknek az integrációknak a tárolási rétegét. Lásd: Delta táblák adatfolyam-olvasása és -írása.
A modellek valós idejű kiszolgálását a Modellek üzembe helyezése a Mozaik AI-modellkiszolgálóhasználatával című témakörben talál.
- Oktatóanyag
- Fogalmak
- Állapotfüggő streamelés
- egyéni állapotalapú alkalmazások
- Éles szempontok
- Streamek figyelése
- Unity Catalog integráció
- Streamelés a Delta használatával
- Példák
Az Azure Databricks speciális funkciókkal rendelkezik az Avro részben strukturált adatmezőinek, a protokollpuffereknek és a JSON-adatok hasznos adatainak kezeléséhez. További információ:
- Avro-adatok streamelésének olvasási és írási műveletei
- Olvasási és írási protokollpufferek
- JSON-sztringek lekérdezése
További erőforrások
Az Apache Spark egy strukturált streamelési programozási útmutatót biztosít, amely további információkat tartalmaz a strukturált streamelésről.
A strukturált streamelésre vonatkozó referenciainformációkért a Databricks a következő Apache Spark API-referenciákat javasolja: