Azure Data Factory'de kaynak denetimi

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Varsayılan olarak, Azure Data Factory kullanıcı arabirimi deneyimi (UX) doğrudan veri fabrikası hizmetine karşı yazar. Bu deneyim aşağıdaki sınırlamalara sahiptir:

• Data Factory hizmeti, değişiklikleriniz için JSON varlıklarını depolamak için bir depo içermez. Değişiklikleri kaydetmenin tek yolu Tümünü Yayımla düğmesini kullanmaktır ve tüm değişiklikler doğrudan veri fabrikası hizmetinde yayımlanır.
• Data Factory hizmeti işbirliği ve sürüm denetimi için iyileştirilmemiş.
• Data Factory'yi dağıtmak için gereken Azure Resource Manager şablonu dahil değildir.

Daha iyi bir yazma deneyimi sağlamak için Azure Data Factory, Azure Repos veya GitHub ile bir Git deposu yapılandırmanıza olanak tanır. Git değişiklik izlemeyi ve işbirliğini kolaylaştıran bir sürüm denetimi sistemidir. Bu makalede, en iyi yöntemleri ve sorun giderme kılavuzunu vurgulamanın yanı sıra git deposunda yapılandırma ve çalışma adımları açıklanmaktadır.

Kaynak denetiminin kritik öneme sahip olduğu daha büyük CI/CD deseni hakkında daha fazla bilgi edinmek için Azure Data Factory'de Sürekli tümleştirme ve teslime (CI/CD) de başvurabilirsiniz.

Azure Data Factory'nin Git ile tümleştirmesi hakkında daha fazla bilgi edinmek için aşağıdaki 15 dakikalık öğretici videosunu izleyin:

Git tümleştirmesinin yazma deneyimine sağladığı avantajlardan bazılarının listesi aşağıdadır:

• Kaynak denetimi: Veri fabrikası iş yükleriniz önemli hale geldikçe aşağıdaki gibi çeşitli kaynak denetimi avantajları uygulamak için fabrikanızı Git ile tümleştirmek isteyebilirsiniz:
  • Değişiklikleri izleme/denetleme olanağı.
  • Hatalara neden olan değişiklikleri geri döndürme olanağı.
• Kısmi kaydetmeler: Veri fabrikası hizmetinde yazma yaparken değişiklikleri taslak olarak kaydedemezsiniz ve tüm yayımlamaların veri fabrikası doğrulamasını geçirmesi gerekir. İşlem hatlarınızın tamamlanmamış olması veya bilgisayarınızın kilitlenmesi durumunda değişiklikleri kaybetmek istemeniz fark etmeksizin git tümleştirmesi, veri fabrikası kaynaklarının hangi durumda olduğuna bakılmaksızın artımlı değişikliklere olanak tanır. Git deposunu yapılandırmak, değişiklikleri kaydetmenize olanak tanır ve yalnızca değişikliklerinizi kendi memnuniyetinize göre test ettikten sonra yayımlamanıza olanak tanır.
• İşbirliği ve denetim: Aynı fabrikaya katkıda bulunan birden çok ekip üyeniz varsa, ekip arkadaşlarınızın bir kod gözden geçirme işlemi aracılığıyla birbirleriyle işbirliği yapmasına izin vermek isteyebilirsiniz. Ayrıca fabrikanızı her katkıda bulunan eşit izinlere sahip olmayacak şekilde ayarlayabilirsiniz. Bazı ekip üyelerinin yalnızca Git aracılığıyla değişiklik yapmasına ve yalnızca ekipteki belirli kişilerin değişiklikleri fabrikada yayımlamasına izin verilir.
• Daha iyi CI/CD: Sürekli teslim işlemiyle birden çok ortam dağıtıyorsanız git tümleştirmesi belirli eylemleri kolaylaştırır. Bu eylemlerden bazıları şunlardır:
  • 'dev' fabrikanızda herhangi bir değişiklik yapılır yapılmaz yayın işlem hattınızı otomatik olarak tetiklenir şekilde yapılandırın.
  • Resource Manager şablonunda parametre olarak kullanılabilen fabrikanızdaki özellikleri özelleştirin. Yalnızca gerekli özellik kümesini parametre olarak tutmak ve diğer her şeyin sabit kodlanmış olması yararlı olabilir.
• Daha İyi Performans: Git tümleştirmesine sahip ortalama bir fabrika, veri fabrikası hizmetine karşı bir yazmadan 10 kat daha hızlı yüklenir. Bu performans geliştirmesi, kaynakların Git aracılığıyla indirilmiş olmasıdır.

Git deposunu hem Azure Repos hem de GitHub için veri fabrikanıza bağlamanın dört farklı yolu vardır. Bir Git deposuna bağlandıktan sonra, kaynak denetimi bölümündeki Git yapılandırması altındaki yönetim hub'ındayapılandırmanızı görüntüleyebilir ve yönetebilirsiniz.

Azure Data Factory giriş sayfasında üstteki Kod deposunu ayarla'yı seçin.

Azure Data Factory UX yazma tuvalinde Data Factory açılan menüsünü ve ardından Kod deposunu ayarla'yı seçin.

Azure Data Factory Studio'da yönetim hub'ına gidin. Kaynak denetimi bölümünde Git yapılandırması'nı seçin. Bağlı deponuz yoksa Yapılandır'ı seçin.

Azure portalında yeni bir veri fabrikası oluştururken Git yapılandırma sekmesinde Git deposu bilgilerini yapılandırabilirsiniz.

Azure Repos Git tümleştirmesi ile görsel yazma, veri fabrikası işlem hatlarınızda çalışmak için kaynak denetimini ve işbirliğini destekler. Veri fabrikasını kaynak denetimi, işbirliği, sürüm oluşturma vb. için bir Azure Repos Git kuruluş deposuyla ilişkilendirebilirsiniz. Tek bir Azure Repos Git kuruluşu birden çok depoya sahip olabilir, ancak bir Azure Repos Git deposu yalnızca bir veri fabrikasıyla ilişkilendirilebilir. Azure Repos kuruluşunuz veya deponuz yoksa kaynaklarınızı oluşturmak için bu yönergeleri izleyin.

Yapılandırma bölmesi, aşağıdaki kod deposu ayarlarının her birini yapılandırma işleminde size adım adım yol gösterir:

Yapılandırılmış Azure Repos Git deponuzun ayarlarında herhangi bir ayarlama yapılması gerekiyorsa Düzenle'yi seçebilirsiniz.

Yayımlama dalınızı güncelleştirebilir ve ADF studio'dan yayımla düğmesini devre dışı bırakmak isteyip istemediğinize karar vekleyebilirsiniz. Yayımla düğmesini stüdyodan devre dışı bırakmayı seçerseniz, yayımla düğmesi stüdyoda gri görünür. Bu, son otomatik yayımlama dağıtımının üzerine yazmaktan kaçınmanıza yardımcı olur.

Azure Repos Git deposu farklı bir Microsoft Entra kiracısında olabilir. Farklı bir Microsoft Entra kiracısı belirtmek için, kullandığınız Azure aboneliği için yönetici izinlerine sahip olmanız gerekir. Daha fazla bilgi için bkz . Abonelik yöneticisini değiştirme.

Git tümleştirmesi için kişisel bir Microsoft hesabı kullanmak için, kişisel Azure Deponuzu kuruluşunuzun Active Directory'sine bağlayabilirsiniz.

1. Kişisel Microsoft hesabınızı kuruluşunuzun Active Directory'sine konuk olarak ekleyin. Daha fazla bilgi için bkz . Azure portalında Microsoft Entra B2B işbirliği kullanıcıları ekleme.

2. Kişisel Microsoft hesabınızla Azure portalında oturum açın. Ardından kuruluşunuzun Active Directory'sine geçin.

3. Artık kişisel deponuzu gördüğünüz Azure DevOps bölümüne gidin. Depoyu seçin ve Active Directory'ye bağlanın.

Bu yapılandırma adımlarından sonra, Data Factory kullanıcı arabiriminde Git tümleştirmesini ayarladığınızda kişisel deponuz kullanılabilir.

Azure Repos'u kuruluşunuzun Active Directory'sine bağlama hakkında daha fazla bilgi için bkz . Azure DevOps kuruluşunuzu Microsoft Entra Id'ye bağlama.

GitHub tümleştirmesi ile görsel yazma, veri fabrikası işlem hatlarınızda çalışmak için kaynak denetimini ve işbirliğini destekler. Veri fabrikasını kaynak denetimi, işbirliği ve sürüm oluşturma için gitHub hesap deposuyla ilişkilendirebilirsiniz. Tek bir GitHub hesabı birden çok depo barındırabilir ve her depo birden çok veri fabrikasıyla ilişkilendirilebilir. Her veri fabrikasını aynı depo içinde farklı bir dal kullanacak şekilde yapılandırarak, yapılandırmalarını bağımsız olarak yönetirken ayrı ortamlar (geliştirme, hazırlama ve üretim gibi) koruyabilirsiniz. GitHub hesabınız veya deponuz yoksa kaynaklarınızı oluşturmak için bu yönergeleri izleyin.

Data Factory ile GitHub tümleştirmesi hem genel GitHub 'ı (yani https://github.com), GitHub Enterprise Cloud'ı hem de GitHub Enterprise Server'ı destekler. GitHub'daki depoyu okuma ve yazma izniniz olduğu sürece Data Factory ile hem genel hem de özel GitHub depolarını kullanabilirsiniz. Ortak bir depoya bağlanmak için, Depo adı açılan menüsünde görünmedikleri için Bağlantı Deposunu Kullan seçeneğini belirleyin. ADF'nin GitHub kurumsal sunucu tümleştirmesi yalnızca GitHub kurumsal sunucusunun resmi olarak desteklenen sürümleriyle çalışır.

GitHub kuruluş hesabına ait depolar için yöneticinin ADF uygulamasını yetkilendirmesi gerekir. GitHub kullanıcı hesabına ait depolar için, en az ortak çalışma iznine sahip bir kullanıcı ADF uygulamasını yetkilendirebilir. Bu izin, ADF uygulamasına hesabın/kuruluşun sahip olduğu tüm depolara doğrudan erişim vermez, yalnızca ADF uygulamasının kullanıcının erişim izinlerine göre depolara erişmek için kullanıcı adına hareket etmesine izin verir.

Yapılandırma bölmesinde aşağıdaki GitHub deposu ayarları gösterilir:

Yapılandırılmış GitHub deponuzun ayarlarında herhangi bir ayarlama yapılması gerekiyorsa Düzenle'yi seçebilirsiniz.

Yayımlama dalınızı güncelleştirebilir ve ADF studio'dan yayımla düğmesini devre dışı bırakmak isteyip istemediğinize karar vekleyebilirsiniz. Yayımla düğmesini stüdyodan devre dışı bırakmayı seçerseniz, yayımla düğmesi stüdyoda gri görünür. Bu, son otomatik yayımlama dağıtımının üzerine yazılmasını önlemeye yardımcı olur.

GitHub kuruluşuna bağlanmak için kuruluşun Azure Data Factory'ye izin vermesi gerekir. Kuruluşta YÖNETICI izinlerine sahip bir kullanıcı, data factory'nin bağlanmasına izin vermek için aşağıdaki adımları gerçekleştirmelidir.

Azure Data Factory'den genel GitHub veya GitHub Enterprise Cloud'a ilk kez bağlanıyorsanız, github kuruluşuna bağlanmak için bu adımları izleyin.

1. Git yapılandırma bölmesinde, GitHub Hesabı alanına kuruluş adını girin. GitHub'da oturum açma istemi görüntülenir.
2. Kullanıcı kimlik bilgilerinizi kullanarak oturum açın.
3. Azure Data Factory'yi AzureDataFactory adlı bir uygulama olarak yetkilendirmeniz istenir. Bu ekranda, ADF'nin kuruluşa erişmesine izin verme seçeneğini görürsünüz. İzin verme seçeneğini görmüyorsanız bir yöneticiden GitHub aracılığıyla izni el ile vermesini isteyin.

Bu adımları izledikten sonra fabrikanız kuruluşunuzdaki hem genel hem de özel depolara bağlanabilir. Bağlanamıyorsanız tarayıcı önbelleğini temizlemeyi ve yeniden denemeyi deneyin.

Genel GitHub veya GitHub Enterprise Cloud'a zaten bağlandıysanız ve yalnızca kişisel bir hesaba erişim izni verdiyseniz, bir kuruluşa izin vermek için aşağıdaki adımları izleyin.

1. GitHub'a gidin ve Ayarlar'ı açın.

   

2. Başvurular'ı seçin. Yetkili OAuth uygulamaları sekmesinde AzureDataFactory'yi görmeniz gerekir.

   

3. Uygulamayı seçin ve uygulamaya kuruluşunuza erişim verin.

   

Bu adımları izledikten sonra fabrikanız kuruluşunuzdaki hem genel hem de özel depolara bağlanabilir.

GitHub Enterprise Server'a bağlanıyorsanız kimlik doğrulaması için kişisel erişim belirteci kullanmanız gerekir. Kişisel erişim belirteci oluşturma bölümünde kişisel erişim belirteci oluşturmayı öğrenin.

• Betik ve veri dosyalarını bir GitHub deposunda depolayabilirsiniz. Ancak, dosyaları El ile Azure Depolama'ya yüklemeniz gerekir. Data Factory işlem hattı, GitHub deposunda depolanan betiği veya veri dosyalarını Azure Depolama'ya otomatik olarak yüklemez.

• 2.14.0'dan eski bir sürüme sahip GitHub Enterprise, Microsoft Edge tarayıcısında çalışmaz.

• Data Factory görsel yazma araçlarıyla GitHub tümleştirmesi yalnızca Data Factory'nin genel kullanıma sunulan sürümünde çalışır.

Azure DevOps Server 2022'ye bağlanırsanız kimlik doğrulaması için kişisel erişim belirteci kullanmanız gerekir. Burada kişisel erişim belirteci oluşturmayı öğrenin.

ve'yi sağlayarak şirket içi Azure DevOps'a bağlanın Azure DevOps Server URLAzure DevOps Project Collection

Belirteci kod için okuma/yazma olarak erişim kapsamıyla birlikte sağlayın.

Sürüm denetim sistemleri (kaynak denetimi olarak da bilinir), geliştiricilerin kod üzerinde işbirliği yapmasına ve kod tabanında yapılan değişiklikleri izlemesine olanak tanır. Kaynak denetimi, çok geliştiricili projeler için temel bir araçtır.

Bir veri fabrikasıyla ilişkili her Azure Repos Git deposunun bir işbirliği dalı vardır. (main varsayılan işbirliği dalıdır). Kullanıcılar ayrıca dal açılan menüsünde + Yeni Dal'a tıklayarak özellik dalları oluşturabilir.

Yeni dal bölmesi görüntülendikten sonra özellik dalınızın adını girin ve çalışmanın temeli olacak bir dal seçin.

Özellik dalınızdaki değişiklikleri işbirliği dalınızla birleştirmeye hazır olduğunuzda dal açılan menüsüne tıklayın ve Çekme isteği oluştur'u seçin. Bu eylem, çekme istekleri oluşturabileceğiniz, kod incelemeleri yapabileceğiniz ve değişiklikleri işbirliği dalınıza birleştirebileceğiniz Azure Repos Git'e götürür. (main varsayılandır). Yalnızca işbirliği dalınızdan Data Factory hizmetine yayımlamanıza izin verilir.

Varsayılan olarak, data factory yayımlanan fabrikanın Resource Manager şablonlarını oluşturur ve bunları adlı adf_publishbir dala kaydeder. Özel yayımlama dalı yapılandırmak için, işbirliği dalındaki kök klasöre bir publish_config.json dosya ekleyin. Yayımlarken, ADF bu dosyayı okur, alanını publishBrancharar ve tüm Resource Manager şablonlarını belirtilen konuma kaydeder. Dal yoksa, data factory bunu otomatik olarak oluşturur. Bu dosyanın nasıl göründüğüne bir örnek aşağıda verilmiştir:

{
    "publishBranch": "factory/adf_publish"
}

Azure Data Factory'nin aynı anda yalnızca bir yayımlama dalı olabilir. Yeni bir yayımlama dalı belirttiğinizde Data Factory önceki yayımlama dalını silmez. Önceki yayımlama dalını kaldırmak istiyorsanız, el ile silin.

Değişiklikleri işbirliği dalında birleştirdikten sonra (mainvarsayılandır), ana daldaki kod değişikliklerinizi Data Factory hizmetinde el ile yayımlamak için Yayımla'ya tıklayın.

Yayımlama dalı ve bekleyen değişikliklerin doğru olduğunu onayladığınız bir yan bölme açılır. Değişikliklerinizi doğruladıktan sonra yayımlamayı onaylamak için Tamam'a tıklayın.

Genellikle her ekip üyesinin Data Factory'yi güncelleştirme iznine sahip olmasını istemezsiniz. Aşağıdaki izin ayarları önerilir:

• Tüm ekip üyelerinin Data Factory'de okuma izinleri olmalıdır.
• Data Factory'de yalnızca belirli bir grup kişinin yayımlamasına izin verilmelidir. Bunu yapmak için Data Factory'yi içeren Kaynak Grubunda Data Factory katkıda bulunan rolüne sahip olmaları gerekir. İzinler hakkında daha fazla bilgi için bkz . Azure Data Factory için roller ve izinler.

İşbirliği dalında doğrudan iadelere izin verilmemesi önerilir. Her iade işleminde özellik dalları oluşturma bölümünde açıklanan bir çekme isteği gözden geçirme işleminden geçileceği için bu kısıtlama hataları önlemeye yardımcı olabilir.

Data Factory Bağlı Hizmetleri için bağlantı dizesi veya parolaları veya yönetilen kimlik kimlik doğrulamasını depolamak için Azure Key Vault'un kullanılması önerilir. Güvenlik nedeniyle, veri fabrikası Git'te gizli dizileri depolamaz. Parolalar gibi gizli dizileri içeren Bağlı Hizmetler'de yapılan tüm değişiklikler hemen Azure Data Factory hizmetinde yayımlanır.

Key Vault veya MSI kimlik doğrulaması kullanmak, Resource Manager şablon dağıtımı sırasında bu gizli dizileri sağlamanız gerekmeyeceği için sürekli tümleştirmeyi ve dağıtımı da kolaylaştırır.

Eski yayımlama dalına neden olabilecek bazı durum örnekleri aşağıda verilmiştir:

• Kullanıcının birden çok dalı vardır. Bir özellik dalında, AKV ile ilişkilendirilmiş olmayan bir bağlı hizmeti sildi (AKV olmayan bağlı hizmetler Git'te olup olmadığına bakılmaksızın hemen yayımlanır) ve özellik dalını hiçbir zaman işbirliği dalı ile birleştirmedi.
• Kullanıcı SDK veya PowerShell kullanarak veri fabrikasını değiştirdi
• Bir kullanıcı tüm kaynakları yeni bir dala taşıdı ve ilk kez yayımlamayı denedi. Kaynaklar içeri aktarılırken bağlı hizmetler el ile oluşturulmalıdır.
• Kullanıcı, AKV olmayan bir bağlı hizmeti veya Integration Runtime JSON'unu el ile karşıya yükler. Veri kümesi, bağlı hizmet veya işlem hattı gibi başka bir kaynaktan bu kaynağa başvurur. Kimlik bilgilerinin şifrelenmesini gerektirdiğinden, kullanıcı arabirimi aracılığıyla oluşturulan AKV olmayan bir bağlı hizmet hemen yayımlanır. Bu bağlı hizmete başvuran bir veri kümesini karşıya yükler ve yayımlamaya çalışırsanız, kullanıcı arabirimi bu veri kümesinin git ortamında mevcut olması nedeniyle buna izin verir. Veri fabrikası hizmetinde mevcut olmadığından yayımlama zamanında reddedilir.

Yayımlama dalı ana dal ile eşitlenmemişse ve son yayımlamaya rağmen güncel olmayan kaynaklar içeriyorsa, aşağıdaki çözümlerden birini kullanabilirsiniz:

İşbirliği dalınızdaki kodu canlı modda yayımlar veya üzerine yazar. Deponuzdaki kodu gerçeğin kaynağı olarak kabul eder.

Kod akışı:İşbirliği dalı -> Canlı mod

Kodu canlı moddan işbirliği dalı içine aktarır. Kodu canlı modda gerçeğin kaynağı olarak kabul eder.

Kod akışı:Canlı mod -> İşbirliği dalı

1. Geçerli Git deponuzu kaldırma
2. Git'i aynı ayarlarla yeniden yapılandırın, ancak Var olan Data Factory kaynaklarını depoya aktar'ın seçili olduğundan emin olun ve İşbirliği dalı (aynı dal) seçeneğini belirleyin
3. İşbirliği dalındaki değişiklikleri birleştirmek için bir çekme isteği oluşturun.

Gerektiğinde her iki yöntemden birini uygun şekilde seçin.

Yayımlarken, daha önce yayımlanmış olsalar bile tüm kaynaklar yeni olarak görünebilir. Fabrika ARM şablonunu yeniden dağıtarak veya Fabrika repoConfiguration özelliğini PowerShell veya REST API aracılığıyla güncelleştirerek lastCommitId özelliği fabrikanın repoConfiguration özelliğinde sıfırlanırsa bu durum oluşabilir. Kaynakları yayımlamaya devam etmek sorunu çözebilir, ancak yeniden oluşmasını önlemek için fabrika repoConfiguration özelliğini güncelleştirmekten kaçının.

Farklı bir Git deposuna geçmek için Kaynak denetimi altındaki yönetim hub'ında Git yapılandırma sayfasına gidin. Bağlantıyı kes'i seçin.

Veri fabrikanızın adını girin ve veri fabrikanızla ilişkili Git deposunu kaldırmak için onayla'ya tıklayın.

Geçerli depoyla ilişkilendirmeyi kaldırdıktan sonra Git ayarlarınızı farklı bir depo kullanacak şekilde yapılandırabilir ve ardından mevcut Data Factory kaynaklarını yeni depoya aktarabilirsiniz.

• İşlem hatlarını izleme ve yönetme hakkında daha fazla bilgi edinmek için bkz . İşlem hatlarını program aracılığıyla izleme ve yönetme.
• Sürekli tümleştirme ve dağıtım uygulamak için bkz . Azure Data Factory'de sürekli tümleştirme ve teslim (CI/CD).