Azure Databricks'te akış
Akış verileri için neredeyse gerçek zamanlı veri alımı, işleme, makine öğrenmesi ve yapay zeka için Azure Databricks'i kullanabilirsiniz.
Azure Databricks, akış ve artımlı işleme için aşağıdakiler de dahil olmak üzere çok sayıda iyileştirme sunar:
- DLT, artımlı işleme için bildirim temelli söz dizimi sağlar. Bkz. DLT nedir?.
- Otomatik Yükleyici, bulut nesne depolama alanından artımlı alımı basitleştirir. Bkz. Otomatik Yükleyici nedir?.
- Unity Kataloğu, akış iş yüklerine veri idaresi ekler. Bkz. Yapılandırılmış Akış ile Unity Kataloğu'nu Kullanma.
Delta Lake bu tümleştirmeler için depolama katmanı sağlar. Delta tablosu veri akışları üzerindenokuma ve yazma işlemlerini inceleyin.
Gerçek zamanlı model sunma için bkz. Mozaik Yapay Zeka Modeli Sunmakullanarak modelleri dağıtma.
- Eğitim
- Kavramlar
- Durum bilgili akış
- Özel durumlu uygulamalar
- Üretimle ilgili dikkat edilmesi gerekenler
- Akışları izleme
- Unity Kataloğu entegrasyonu
- Delta ile yayın
- Örnekler
Azure Databricks, Avro, protokol arabellekleri ve JSON veri yüklerinde yer alan yarı yapılandırılmış veri alanlarıyla çalışmaya yönelik belirli özelliklere sahiptir. Daha fazla bilgi edinmek için şu makalelere bakın:
- Akışla aktarılan Avro verilerini okuma ve yazma
- Okuma ve yazma protokolü arabellekleri
- JSON dizelerini sorgulama
Ek kaynaklar
Apache Spark, Yapılandırılmış Akış hakkında daha fazla bilgi içeren bir Yapılandırılmış Akış Programlama Kılavuzu sağlar.
Yapılandırılmış Akış hakkında başvuru bilgileri için Databricks aşağıdaki Apache Spark API başvurularını önerir: