Azure Databricks Git klasörleri (Depolar) için özel Git bağlantısını ayarlama Set

Databricks çalışma alanı Git klasörlerindeki Git komutlarını GitHub Enterprise Server, Azure DevOps Server, Bitbucket Server ve GitLab tarafından sunulan şirket içi Git depolarınıza ara sunucu olarak eklemenizi sağlayan yapılandırılabilir bir hizmet olan Databricks Git klasörleri için Git sunucu proxy'si hakkında bilgi edinin ve yapılandırın.

Databricks Git klasörleri için Git sunucu proxy'si nedir?

Git klasörleri için Databricks Git sunucu proxy'si, Azure Databricks çalışma alanınızdan şirket içi Git sunucusuna Git komutlarına ara sunucu eklemenizi sağlayan bir özelliktir.

Databricks Git klasörleri (eski adıyla Depolar), bağlı Git depolarınızı klasör olarak temsil eder. Bu klasörlerin içeriği, bağlı Git deposuyla eşitlenerek sürüm denetimindedir. Varsayılan olarak, Git klasörleri yalnızca genel Git providers (genel GitHub, GitLab, Azure DevOps ve diğerleri gibi) ile eşitlenebilir. Ancak, kendi şirket içi Git sunucunuzu (GitHub Enterprise Server, Bitbucket Server veya GitLab kendi kendine yönetilen gibi) barındırıyorsanız, Git sunucunuza Databricks erişimi sağlamak için Git klasörleriyle Git sunucu proxy'sini kullanmanız gerekir. Git sunucunuza Azure Databricks veri düzleminizden (sürücü düğümü) erişilebilir olmalıdır.

Şirket ağınız yalnızca özel (VPN) erişimliyse (genel erişim yoksa), bunun dışında bulunan Git depolarına erişmek ve çalışma alanlarınıza Git klasörleri eklemek için bir Git sunucusu proxy'si çalıştırmanız gerekir.

Databricks Git klasörleri için Git Server Proxy'si nasıl çalışır?

Databricks Git klasörleri için Git sunucu proxy'si, Databricks denetim düzleminden Databricks çalışma alanınızın işlem düzleminde çalışan ara sunucu kümesine Git komutlarını proxy'ler. Bu bağlamda proxy kümesi, Databricks Git klasörlerinden şirket içinde barındırılan Git deponuza git komutları için ara sunucu hizmeti çalıştırmak üzere yapılandırılmış bir kümedir. Bu proxy hizmeti Databricks denetim düzleminden Git komutlarını alır ve bunları Git sunucu örneğine iletir.

Aşağıdaki diyagramda genel sistem mimarisi gösterilmektedir:

Şu anda git sunucu ara sunucusu artık tüm kullanıcılar için izin gerektirmez CAN_ATTACH_TO . Mevcut ara sunucu kümelerine sahip yöneticiler artık bu özelliği etkinleştirmek için küme ACL iznini değiştirebilir. Bunu etkinleştirmek için:

1. Kenar çubuğundan İşlem hesaplayın ve ardından çalıştırdığınız Git Sunucu Proxy’si için İşlem girişinin yanındaki Kebab menüsü kebap menüsüne tıklayın.

   Kenar çubuğundan çalıştırın.

2. İletişim kutusundan, tüm kullanıcılariçin girişine eklenebilir :

   

Databricks Git klasörleri için Git Server Proxy'sini nasıl set?

Bu bölümde, Databricks Git klasörleri için Git sunucu proxy'si için Git sunucu örneğinizi hazırlama, ara sunucu oluşturma ve yapılandırmanızı doğrulama işlemleri açıklanmaktadır.

Başlamadan önce

Ara sunucuyu etkinleştirmeden önce şunların olduğundan emin olun:

• Çalışma alanınızda Databricks Git klasörleri özelliği etkindir.
• Git sunucu örneğine Azure Databricks çalışma alanınızın işlem düzlemi VPC'sinden erişilebilir ve hem HTTPS hem de kişisel erişim belirteçleri (PAT) etkindir.

1. Adım: Git sunucu örneğinizi hazırlama

Git sunucu örneğinizi yapılandırmak için:

1. Ara sunucu kümesinin sürücü düğümünün Git sunucunuza erişmesini sağlayın.

   Kurumsal Git sunucunuzda erişime izin verilen bir allowlist IP adresi bulunabilir.

   1. Ara sunucu kümenizden kaynaklanan trafik için statik bir giden IP adresini ilişkilendirin. Bunu Azure Güvenlik Duvarı veya çıkış aleti kullanarak yapabilirsiniz.
   2. Önceki adımdaki IP adresini Git sunucunuzun izin verilenler listesine ekleyin.

2. Git sunucu örneğinizi Set ile HTTPS aktarımına izin verin.

   • GitHub Enterprise için GitHub Enterprise yardımında hangi uzak URL'yi kullanmalıyım? bölümüne bakın.
   • Bitbucket için, Bitbucket sunucu yönetimi sayfasına gidin ve sunucu ayarları select'a. HTTP(S) SCM barındırma bölümünde HTTP(S) özellikli onay kutusunu etkinleştirin.

2. Adım: Etkinleştirme not defterini çalıştırma

Ara sunucuyu etkinleştirmek için:

1. Azure Databricks çalışma alanınızda, küme oluşturma erişim haklarına sahip bir çalışma alanı yöneticisi olarak oturum açın.

2. Git proxy'sini çalıştırmak için bulut sağlayıcınızın kullanabileceği en küçük örnek türünü seçen bu not defterini içeri aktarın.:

   Not defteri: Git klasörlerindeki özel Git sunucusu bağlantısı için Databricks Git klasörleri için Git sunucu proxy'sini etkinleştirin.

3. Not defterini çalıştırmak için Tüm Çalıştır'a tıklayın ve bu da aşağıdaki görevleri gerçekleştirir:

   • Otomatik olarak sonlandırılmayan "Databricks Git Proxy" adlı tek düğümlü bir işlem kaynağı oluşturur. Bu, Azure Databricks çalışma alanınızdaki Git komutlarını işleyip şirket içi Git sunucunuza ileten Git proxy hizmetidir.
   • Databricks Git klasörlerindeki Git isteklerinin işlem örneği aracılığıyla prxied yapılıp yapılmayacağını denetleyebilen bir özellik bayrağını etkinleştirir.

   En iyi uygulama olarak, Git proxy işlem kaynağını çalıştırmak için basit bir iş oluşturmayı göz önünde bulundurun. Bu, "Git proxy hizmeti çalışıyor" gibi durumu yazdıran veya günlüğe kaydeden basit bir not defteri olabilir. Set, Git proxy hizmetinin kullanıcılarınız için her zaman kullanılabilir olmasını sağlamak için düzenli zaman aralıklarında çalışacak bir iş yürütür.

3. Adım: Git sunucu yapılandırmanızı doğrulama

Git sunucu yapılandırmanızı doğrulamak için ara sunucu kümesi aracılığıyla özel Git sunucunuzda barındırılan bir depoyu kopyalamayı deneyin. Başarılı bir kopya, çalışma alanınız için Git sunucu proxy'sini başarıyla etkinleştirdiğiniz anlamına gelir.

4. Adım: Ara sunucu özellikli Git depoları oluşturma

Kullanıcılar Git credentialsyapılandırdıktan sonra depolarınızı oluşturmak veya eşitlemek için başka adım gerekmez. credentials yapılandırmak ve Git klasörlerinizin depolarına program aracılığıyla erişmek için bkz. Git'i yapılandırma credentials & uzak depoyu Azure Databricks'e bağlama.

Remove genel CAN_ATTACH_TO izinleri

Mevcut ara sunucu kümelerine sahip yöneticiler artık küme ACL iznini genel olarak kullanılabilir Git sunucusu proxy davranışından yararlanacak şekilde değiştirebilir.

Databricks Git sunucu proxy'sini daha önce CAN_ATTACH_TO ayrıcalıklarıyla yapılandırdıysanız, bu izinleri remove için aşağıdaki adımları kullanın:

1. Kenar çubuğundan İşlem hesaplayın ve ardından çalıştırdığınız Git sunucusu proxy'si için İşlem girişinin yanındaki kebap menüsü kebap menüsüne tıklayın.

   kenar çubuğundan İşlem'i

2. İletişim kutusundan, tüm kullanıcılariçin girişine eklenebilir :

   

Sorun giderme

Databricks Git klasörleri için Git sunucu proxy'sini yapılandırırken hatayla mı karşılaştınız? Burada bazı yaygın sorunlar ve bunları daha etkili bir şekilde tanılamanın yolları yer alır.

Sık karşılaşılan sorunlar için denetim listesi

Bir hatayı tanılamaya başlamadan önce aşağıdaki adımları tamamladığınızdan emin olmanız gerekir:

• Proxy kümenizin bu Git proxy sunucusu hata ayıklama not defteriile çalıştığını onaylayın. (Bu, Git proxy sunucusu etkinleştirme not defterinden farklı bir not defteridir ve Databricks tarafından da sağlanır.)
• Çalışma alanı yöneticisi olduğunuzu onaylayın.
• Hata ayıklama not defterinin geri kalanını çalıştırın ve henüz yapmadıysanız sonuçları kaydedin veya not alın. Sorunun hatalarını ayıklayamıyorsanız veya hata ayıklama not defterinden bildirilen hataları görmüyorsanız Databricks Desteği sonuçları gözden geçirebilir. İstenirse hata ayıklama not defterini dışarı aktarabilir ve DBC arşivi olarak gönderebilirsiniz.

Git proxy yapılandırmanızı değiştirme

Git proxy hizmetiniz varsayılan yapılandırmayla çalışmıyorsa, ağ altyapınızı daha iyi desteklemek üzere değişiklik yapmak için belirli ortam değişkenlerini set.

Git proxy hizmetinizin yapılandırmasını update için aşağıdaki ortam değişkenlerini kullanın:

Bu ortam değişkenlerini set için Azure Databricks çalışma alanınızdaki Hesaplama sekmesine gidin ve Git proxy hizmetinizin hesaplama yapılandırmasını select. Yapılandırma bölmesinin en altındaki Gelişmiş seçenekleri genişletin ve altında bulunan Spark sekmesini select açın. Bu ortam değişkenlerinden birini veya daha fazlasını Set, Ortam değişkenleri metin alanına ekleyerek yapabilirsiniz.

Ara sunucu kümesindeki günlükleri inceleme

Proxy kümesindeki dosyasında /databricks/git-proxy/git-proxy.log hata ayıklama amacıyla yararlı olan günlükler bulunur.

Günlük dosyası Data-plane proxy server binding to ('', 8000)…satırıyla başlamalıdır. Bu gerçekleşmezse, bu, ara sunucunun düzgün başlatılmadığı anlamına gelir. Kümeyi yeniden başlatmayı deneyin veya oluşturduğunuz kümeyi silin ve etkinleştirme not defterini yeniden çalıştırın.

Günlük dosyası bu satırla başlıyorsa, Databricks Git klasörlerindeki bir Git işlemi tarafından başlatılan her Git isteği için bunu izleyen günlük deyimlerini gözden geçirin.

Örneğin:

  do_GET: https://server-address/path/to/repo/info/refs?service=git-upload-pack 10.139.0.25 - - [09/Jun/2021 06:53:02] /
  "GET /server-address/path/to/repo/info/refs?service=git-upload-pack HTTP/1.1" 200`

Bu dosyaya yazılan hata günlükleri, size veya Databricks Desteği hata ayıklama sorunlarına yardımcı olmak için yararlı olabilir.

Yaygın hata iletileri ve bunların çözümü

• SSL sorunları nedeniyle güvenli bağlantı kurulamadı

  Aşağıdaki hatayı görebilirsiniz:

    https://git.consult-prodigy.com/Prodigy/databricks_test: Secure connection to https://git.consult-prodigy.com/Prodigy/databricks_test could not be established because of SLL problems
  

  Bu genellikle özel SSL sertifikaları gerektiren bir depo kullandığınız anlamına gelir. Proxy kümesindeki /databricks/git-proxy/git-proxy.log dosyanın içeriğini denetleyin. Sertifika doğrulamasının başarısız olduğunu belirtiyorsa, yetkili sertifikasını sistem sertifika zincirine eklemeniz gerekir. İlk olarak kök sertifikayı ayıklayın (tarayıcıyı veya başka bir seçeneği kullanarak) ve DBFS'ye yükleyin. Ardından Git klasörleri Git Proxy kümesini düzenleyerek Küme ortam değişkenlerini düzenleme hakkında daha fazla bilgi için bkz . Ortam değişkenleri.

  Bu adımı tamamladıktan sonra kümeyi yeniden başlatın.

• "Eksik/Geçersiz Git credentials" hatasıyla depo kopyalanamaması

  İlk olarak, kullanıcı ayarlarındaGit credentials'nizi yapılandırdığınızdan emin olun.

  Şu hatayla karşılaşabilirsiniz:

    Error: Invalid Git credentials. Go to User Settings -> Git Integration and check that your personal access token or app password has the correct repository access.
  

  Kuruluşunuz SAML SSO kullanıyorsa belirtecin yetkilendirildiğinden emin olun (bu işlem Git sunucunuzun Kişisel Erişim Belirteci (PAT) yönetim sayfasından yapılabilir).

Sık sorulan sorular

Git proxy sunucusunun çalışıp çalışmadığını öğrenmenin en kolay yolu nedir?

Databricks tarafından sağlanan Git proxy hata ayıklama not defterini içeri aktarın. Yerel makinenize indirin ve ardından Azure Databricks çalışma alanınıza aktarabilirsiniz.

Not defterini çalıştırmak, git proxy hizmetiyle ilgili herhangi bir hata veya sorun olup olmadığını bildirir.

Git sunucusu ara sunucusunun güvenlik etkileri nelerdir?

Bilmeniz gereken en önemli şeyler şunlardır:

• Ara sunucu, Databricks denetim düzleminizin güvenlik mimarisini etkilemez.
• Çalışma alanı başına yalnızca bir Git proxy sunucu kümeniz olabilir.

Databricks Git klasörleriyle ilgili tüm Git trafiği, genel Git depoları için bile ara sunucu kümesi üzerinden mi yönlendiriliyor?

Evet. Geçerli sürümde Azure Databricks çalışma alanınız, proksid ve prxied olmayan depolar arasında ayrım yapmaz.

Git proxy özelliği diğer Git kurumsal sunucusu providersçalışıyor mu?

Databricks Git klasörleri GitHub Enterprise, Bitbucket Server, Azure DevOps Server ve GitLab kendi kendine yönetilen klasörleri destekler. Diğer kurumsal Git sunucusu providers, ortak Git belirtimlerine uygunsa da çalışmalıdır.

Databricks Git klasörleri işlemelerin GPG imzasını destekliyor mu?

Hayır

Databricks Git klasörleri Git işlemleri için SSH aktarımını destekliyor mu?

Hayır Yalnızca HTTPS desteklenir.

Git sunucusunda varsayılan olmayan bir HTTPS bağlantı noktasının kullanılması destekleniyor mu?

Şu anda etkinleştirme not defteri, Git sunucunuzun varsayılan HTTPS bağlantı noktası 443'i kullandığını varsayar. Ortam değişkeni GIT_PROXY_CUSTOM_HTTP_PORT'i set kullanarak bağlantı noktası değerinin üzerine tercih edilen bir değerle yazabilirsiniz.

Birden çok çalışma alanı için bir ara sunucu paylaşabilir misiniz veya çalışma alanı başına bir ara sunucu kümesine mi ihtiyacınız var?

Azure Databricks çalışma alanı başına bir ara sunucu kümesine ihtiyacınız vardır.

Ara sunucu eski tek not defteri sürümü oluşturma ile çalışıyor mu?

Hayır, proxy eski tek not defteri sürümü oluşturma ile çalışmaz. Kullanıcıların Databricks Git klasörleri sürüm oluşturmasına geçiş yapması gerekir.

Databricks, proksid olan Git sunucusu URL'lerini gizleyebilir mi? Kullanıcılar, proksitli URL'ler yerine özgün Git sunucusu URL'lerini girebilir mi?

Her iki soruya da evet. Kullanıcıların ara sunucu için davranışlarını ayarlamaları gerekmez. Geçerli ara sunucu uygulamasıyla, Databricks Git klasörleri için tüm Git trafiği ara sunucu üzerinden yönlendirilir. Kullanıcılar https://git.company.com/org/repo-name.gitgibi normal Git deposu URL'sini girer.

Kullanıcılar Git URL'leriyle ne sıklıkta çalışır?

Genellikle kullanıcı yeni bir depo oluştururken Git URL'sini ekler veya henüz kullanıma almadığı mevcut bir depoyu kullanıma alır.

Özellik, kimlik doğrulama verilerini Git sunucusuna saydam bir şekilde ara sunucu olarak kullanıyor mu?

Evet, proxy, Git sunucusunda kimlik doğrulaması yapmak için kullanıcı hesabının Git sunucu belirtecini kullanır.

Databricks'in Git sunucu koduna erişimi var mı?

Azure Databricks proxy hizmeti, kullanıcı tarafından sağlanan kimlik bilgilerini kullanarak Git sunucusundaki Git deposuna erişir ve depodaki tüm kod dosyalarını Git klasörüyle eşitler. Erişim, kullanıcı tarafından sağlanan kişisel erişim belirtecinde (PAT) belirtilen izinlerle kısıtlanır.