Aracılığıyla paylaş

Öğretici: Doku Veri Ambarı için dbt ayarlama

  • Makale

Şunlar için geçerlidir:✅ Microsoft Fabric'te Ambar

Bu öğretici, dbt'yi ayarlama ve ilk projenizi Doku Ambarı'na dağıtma konusunda size yol gösterir.

Giriş

dbt (Veri Derleme Aracı) açık kaynak çerçevesi, veri dönüştürme ve analiz mühendisliğini basitleştirir. Analiz katmanındaki SQL tabanlı dönüşümlere odaklanarak SQL'i kod olarak ele alır. dbt sürüm denetimini, modülerleştirmeyi, testi ve belgeleri destekler.

Microsoft Fabric için dbt bağdaştırıcısı, daha sonra doku Veri Ambarı'na dağıtılabilir dbt projeleri oluşturmak için kullanılabilir.

Örneğin, yalnızca bağdaştırıcıyı değiştirerek dbt projesinin hedef platformunu da değiştirebilirsiniz; Azure Synapse ayrılmış SQL havuzu için oluşturulmuş bir proje birkaç saniye içinde Doku Veri Ambarı'na yükseltilebilir.

Microsoft Fabric için dbt bağdaştırıcısının önkoşulları

dbt önkoşullarını yüklemek ve ayarlamak için bu listeyi izleyin:

  1. Python sürüm 3.7 (veya üzeri).

  2. SQL Server için Microsoft ODBC Sürücüsü.

  3. kullanarak PyPI (Python Paket Dizini) deposundanpip install dbt-fabricen son sürümü.

    pip install dbt-fabric

    Not

    olarak değiştirerek pip install dbt-fabricpip install dbt-synapse ve aşağıdaki yönergeleri kullanarak Synapse ayrılmış SQL havuzu için dbt bağdaştırıcısını yükleyebilirsiniz.

  4. komutunu kullanarak pip list dbt-fabric ve bağımlılıklarının yüklendiğinden emin olun:

    pip list

    Paketlerin ve geçerli sürümlerin uzun bir listesi bu komuttan döndürülmelidir.

  5. Henüz yoksa bir Ambar oluşturun. Bu alıştırma için deneme kapasitesini kullanabilirsiniz: Microsoft Fabric ücretsiz deneme sürümüne kaydolun, bir çalışma alanı oluşturun ve ardından bir ambar oluşturun.

dbt-fabric bağdaştırıcısını kullanmaya başlama

Bu öğreticide Visual Studio Code kullanılır, ancak tercih ettiğiniz aracı kullanabilirsiniz.

  1. jaffle_shop demo dbt projesini makinenize kopyalayın.

    git clone https://github.com/dbt-labs/jaffle_shop.git

  2. jaffle_shop Visual Studio Code'da proje klasörünü açın.

    Visual Studio Code'un açık projeyi gösteren ekran görüntüsü.

  3. Zaten bir Ambar oluşturduysanız, kaydolmayı atlayabilirsiniz.

  4. Bir profiles.yml dosyası oluşturun. aşağıdaki yapılandırmayı öğesine profiles.ymlekleyin. Bu dosya, dbt-fabric bağdaştırıcısını kullanarak Microsoft Fabric'teki ambarınıza bağlantıyı yapılandırıyor.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Not

    type fabric synapse İsterseniz veritabanı bağdaştırıcısını Azure Synapse Analytics'e değiştirmek için öğesini olarak değiştirin. Veritabanı bağdaştırıcısı değiştirilerek mevcut dbt projelerinin veri platformları güncelleştirilebilir. Daha fazla bilgi için desteklenen veri platformlarının dbt listesine bakın.

  5. Visual Studio Code terminalinde Azure'da kimliğinizi doğrulayın.

    • Azure CLI kimlik doğrulaması kullanıyorsanız Visual Studio Code terminalinde komutunu çalıştırın az login .
    • Microsoft Fabric'teki Hizmet Sorumlusu veya diğer Microsoft Entra Kimliği (eski adıYla Azure Active Directory) kimlik doğrulaması için dbt (Veri Derleme Aracı) kurulumu ve dbt Kaynak Yapılandırmaları'na bakın. Daha fazla bilgi için bkz . Microsoft Fabric'te SQL kimlik doğrulamasına alternatif olarak Microsoft Entra kimlik doğrulaması.

  6. Artık bağlantıyı test etmeye hazırsınız. Ambarınıza bağlantıyı test etmek için Visual Studio Code terminalinde komutunu çalıştırın dbt debug .

    dbt debug

    dbt debug komutunu gösteren Visual Studio Code'un ekran görüntüsü.

    Tüm denetimler geçirilir, yani dbt projesinden jaffle_shop dbt-fabric bağdaştırıcısını kullanarak ambarınızı bağlayabilirsiniz.

  7. Şimdi bağdaştırıcının çalışıp çalışmadığını test etme zamanı geldi. İlk olarak ambara örnek veri eklemek için komutunu çalıştırın dbt seed .

    Visual Studio Code'da dbt seed komutunu gösteren ekran görüntüsü.

  8. Bazı testlerde verileri doğrulamak için komutunu çalıştırın dbt run .

    dbt run

    Bir dbt çalıştırma komutunu gösteren Visual Studio Code'un ekran görüntüsü.

  9. demo dbt projesinde tanımlanan modelleri çalıştırmak için komutunu çalıştırın dbt test .

    dbt test

    Visual Studio Code'da dbt test komutunu gösteren ekran görüntüsü.

Şimdi Doku Veri Ambarı'na bir dbt projesi dağıttınız.

Farklı ambarlar arasında hareket etme

Dbt projesini farklı ambarlar arasında taşımak kolaydır. Desteklenen herhangi bir ambardaki dbt projesi bu üç adımlı işlemle hızla geçirilebilir:

  1. Yeni bağdaştırıcıyı yükleyin. Daha fazla bilgi ve tam yükleme yönergeleri için bkz . dbt bağdaştırıcıları.

  2. dosyasındaki type özelliğini güncelleştirin profiles.yml .

  3. Projeyi derleyin.

Doku Data Factory'de dbt

Popüler bir iş akışı yönetim sistemi olan Apache Airflow ile tümleştirildiğinde dbt, veri dönüşümlerini düzenlemeye yönelik güçlü bir araç haline gelir. Airflow'un zamanlama ve görev yönetimi özellikleri, veri ekiplerinin dbt çalıştırmalarını otomatikleştirmesine olanak tanır. Düzenli veri güncelleştirmeleri sağlar ve analiz ve raporlama için tutarlı bir yüksek kaliteli veri akışı sağlar. Airflow'un iş akışı yönetimiyle dbt'nin dönüşüm uzmanlığını kullanan bu birleşik yaklaşım verimli ve sağlam veri işlem hatları sunar ve sonuç olarak daha hızlı ve daha içgörülü veri odaklı kararlar alınmasına yol açar.

Apache Airflow , karmaşık veri iş akışlarını program aracılığıyla oluşturmak, zamanlamak ve izlemek için kullanılan açık kaynak bir platformdur. Veri işlem hatlarını temsil etmek için yönlendirilmiş döngüsel grafikler (DAG)'ler halinde birleştirilebilen işleçler olarak adlandırılan bir görev kümesi tanımlamanıza olanak tanır.

Dbt'yi ambarınızla kullanıma hazır hale getirmek için bkz . Microsoft Fabric'te Data Factory ile dbt kullanarak verileri dönüştürme.

Dikkat edilmesi gereken noktalar

dbt-fabric bağdaştırıcısı kullanılırken dikkate alınması gereken önemli şeyler:

Sonraki adım

Microsoft Fabric'te Data Factory ile dbt kullanarak verileri dönüştürme

İlgili içerik