Aracılığıyla paylaş

StreamSets'e bağlanma

  • Makale

Önemli

Bu özellik Genel Önizlemededir.

StreamSets, yaşam döngüsü boyunca veri akışınızı yönetmenize ve izlemenize yardımcı olur. Azure Databricks ve Delta Lake ile StreamSets yerel tümleştirmesi, çeşitli kaynaklardan veri çekmenizi ve işlem hatlarınızı kolayca yönetmenizi sağlar.

StreamSets'in genel bir tanıtımı için aşağıdaki YouTube videosunu izleyin (10 dakika).

StreamSets'i Azure Databricks ile kullanma adımları aşağıdadır.

1. Adım: Databricks kişisel erişim belirteci oluşturma

StreamSets, Azure Databricks kişisel erişim belirtecini kullanarak Azure Databricks ile kimlik doğrulaması yapar.

Not

En iyi güvenlik uygulaması olarak otomatik araçlar, sistemler, betikler ve uygulamalarla kimlik doğrulaması yaptığınızda Databricks, çalışma alanı kullanıcıları yerine hizmet sorumlularına ait kişisel erişim belirteçlerini kullanmanızı önerir. Hizmet sorumlularına yönelik belirteçler oluşturmak için bkz . Hizmet sorumlusu için belirteçleri yönetme.

2. Adım: Tümleştirme gereksinimlerini desteklemek için küme ayarlama

StreamSets bir Azure Data Lake Storage yoluna veri yazar ve Azure Databricks tümleştirme kümesi bu konumdaki verileri okur. Bu nedenle tümleştirme kümesi, Azure Data Lake Storage yoluna güvenli erişim gerektirir.

Azure Data Lake Storage yoluna güvenli erişim

Azure Data Lake Storage'daki (ADLS) verilere erişimin güvenliğini sağlamak için bir Azure depolama hesabı erişim anahtarı (önerilen) veya Microsoft Entra ID hizmet sorumlusu kullanabilirsiniz.

Azure depolama hesabı erişim anahtarı kullanma

Spark yapılandırmasının bir parçası olarak tümleştirme kümesinde bir depolama hesabı erişim anahtarı yapılandırabilirsiniz. Depolama hesabının hazırlama verileri için kullanılan ADLS kapsayıcısına ve dosya sistemine ve Delta Lake tablolarını yazmak istediğiniz ADLS kapsayıcısına ve dosya sistemine erişimi olduğundan emin olun. Tümleştirme kümesini anahtarı kullanacak şekilde yapılandırmak için Azure Data Lake Storage 2. Nesil ve Blob Depolama'ya bağlanma'daki adımları izleyin.

Microsoft Entra ID hizmet sorumlusu kullanma

Spark yapılandırmasının bir parçası olarak Azure Databricks tümleştirme kümesinde bir hizmet sorumlusu yapılandırabilirsiniz. Hizmet sorumlusunun hazırlama verileri için kullanılan ADLS kapsayıcısına ve Delta tablolarını yazmak istediğiniz ADLS kapsayıcısına erişimi olduğundan emin olun. Tümleştirme kümesini hizmet sorumlusunu kullanacak şekilde yapılandırmak için Hizmet sorumlusuyla ADLS 2. Nesil'e erişme adımlarını izleyin.

Küme yapılandırmasını belirtme

  1. Küme Modu'nu Standart olarak ayarlayın.

  2. Databricks Runtime Sürümünü Çalışma Zamanı: 6.3 veya üzeri olarak ayarlayın.

  3. Spark yapılandırmanıza aşağıdaki özellikleri ekleyerek en iyi duruma getirilmiş yazmaları ve otomatik sıkıştırmayı etkinleştirin:

    spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true

  4. Tümleştirme ve ölçeklendirme gereksinimlerinize bağlı olarak kümenizi yapılandırın.

Küme yapılandırma ayrıntıları için bkz . İşlem yapılandırma başvurusu.

JDBC URL'sini ve HTTP yolunu elde etme adımları için bkz . Azure Databricks işlem kaynağının bağlantı ayrıntılarını alma.

3. Adım: Bir kümeye bağlanmak için JDBC ve ODBC bağlantı ayrıntılarını alma

Azure Databricks kümesini StreamSets'e bağlamak için aşağıdaki JDBC/ODBC bağlantı özelliklerine ihtiyacınız vardır:

  • JDBC URL'si
  • HTTP Path

4. Adım: Azure Databricks için StreamSets'i alma

Henüz bir StreamSets hesabınız yoksa Databricks için StreamSets'e kaydolun. Ücretsiz kullanmaya başlayabilir ve hazır olduğunuzda yükseltebilirsiniz; Bkz . StreamSets DataOps Platformu Fiyatlandırması.

5. Adım: StreamSets'i kullanarak Delta Lake'e veri yüklemeyi öğrenin

Örnek bir işlem hattıyla başlayın veya Verileri Delta Lake'e aktaran bir işlem hattı oluşturmayı öğrenmek için StreamSets çözümlerine göz atın.

Ek kaynaklar

Destek