Lakeflow Connect

Bu makalede, Salesforce gibi SaaS uygulamalarından ve SQL Server gibi veritabanlarından Azure Databricks lakehouse'a veri almak için tam olarak yönetilen bağlayıcılar sunan Databricks Lakeflow Connect'e genel bir bakış sağlanmaktadır. Sonuçta elde edilen veri alma işlem hattı, Unity Kataloğu tarafından yönetilir ve sunucusuz bilişim ve DLT (Dağıtık Defter Teknolojisi) ile desteklenir. Lakeflow Connect, veri alımını daha hızlı, ölçeklenebilir ve daha uygun maliyetli hale getirmek için verimli artımlı okuma ve yazma işlemlerinden yararlanırken, verileriniz aşağı akış tüketimi için güncel kalır.

SaaS bağlayıcı bileşenleri

SaaS bağlayıcısı aşağıdaki bileşenler tarafından modellenmiştir:

• Bağlantı: veritabanı için kimlik doğrulama ayrıntılarını depolayan bir Unity Katalog güvenlik nesnesi.
• Veri işleme hattı: Hazırlanan verileri Delta tablolarına aktarır. Bu bileşen sunucusuz DLT işlem hattı olarak modellenmiştir.

Veritabanı bağlayıcısı bileşenleri

Veritabanı bağlayıcısı aşağıdaki bileşenler tarafından modellenmiştir:

• Bağlantı: veritabanı için kimlik doğrulama ayrıntılarını depolayan bir Unity Katalog güvenlik nesnesi.
• Ağ Geçidi: Kaynak veritabanındaki verileri ayıklar ve aktarım sırasında işlemlerin bütünlüğünü korur. Bulut tabanlı veritabanları için ağ geçidi, klasik işlem kullanılarak bir DLT işlem hattı olarak yapılandırılmıştır.
• Geçici Depolama: Gateway'den gelen verilerin Delta tablosuna uygulanmadan önce hazırlandığı bir Unity Kataloğu birimi. Hazırlama depolama hesabı, ağ geçidini dağıttığınızda oluşturulur ve belirttiğiniz katalog ve şema içinde bulunur.
• Veri işleme hattı: Hazırlanan verileri Delta tablolarına aktarır. Bu bileşen sunucusuz DLT işlem hattı olarak modellenmiştir.

Lakeflow Connect ile Lakehouse Federasyonu ve Delta Paylaşımı karşılaştırması

Lakehouse Federasyonu, verilerinizi taşımadan dış veri kaynaklarını sorgulamanıza olanak tanır. Delta Sharing canlı verileri platformlar, bulutlar ve bölgeler arasında güvenli bir şekilde paylaşmanızı sağlar. Databricks, yüksek veri hacimlerine, düşük gecikme süreli sorgulamaya ve üçüncü taraf API sınırlarına uyacak şekilde ölçeklendirildiğinden Lakeflow Connect'in kullanılmasını önerir. Ancak, verilerinizi taşımadan sorgulamak isteyebilirsiniz.

Lakeflow Connect, Lakehouse Federation ve Delta Sharing arasında seçim yaptığınızda, aşağıdaki senaryolar için Delta Sharing seçin:

• Veri yinelemeyi sınırlama.
• Mümkün olan en yeni verileri sorgulama.

Aşağıdaki senaryolar için Lakehouse Federasyonu'nu seçin.

• ETL işlem hatlarınızda geçici raporlama veya kavram kanıtı çalışması.

Lakeflow Connect ve Otomatik Yükleyici karşılaştırması

Lakeflow Connect, kurumsal uygulamalardan ve veritabanlarından artımlı olarak veri almanızı sağlayan yerleşik bağlayıcılar sağlar. Otomatik Yükleyici, S3, ADLS ve GCS'ye ulaşan dosyaları artımlı olarak almanızı sağlayan bir bulut nesne depolama bağlayıcısıdır. Yapılandırılmış Akış ve DLT ile uyumludur ancak Lakeflow Connect ile tümleştirilmez.

Lakeflow Connect üçüncü taraf uygulamalara ve veritabanlarına geri yazabilir mi?

Hayır Bu işlevle ilgileniyorsanız hesap ekibinize ulaşın.

Lakeflow Connect'in maliyeti nedir?

Şimdilik müşteriler yalnızca kaynaktan (Salesforce gibi bir kurumsal uygulamaya bağlanılıyorsa) veya hazırlama biriminden (SQL Server gibi bir veritabanına bağlanılıyorsa) veri yüklemek için gereken sunucusuz DLT kullanımı için faturalandırılır. Lakeflow Connect için son fiyatlandırma modeli ek ücretler içerebilir ve gelecekte duyurulacaktır.

Sunucusuz DLT fiyatlandırması, fiyatlandırma sayfamızda görünür.