Unity Kataloğu'nu kullanarak bulut nesne depolamasına ve hizmetlerine bağlanma
Bu makalede Unity Kataloğu'nu kullanarak verilerle çalışmak için gereken bulut depolama bağlantılarına genel bir bakış ve Unity Kataloğu'nun bulut depolama ve dış bulut hizmetlerine erişimi nasıl idare ettiğini gösteren bilgiler verilmektedir.
Not
Çalışma alanınız 9 Kasım 2023'den önce oluşturulduysa Unity Kataloğu için etkinleştirilmemiş olabilir. Bir hesap yöneticisinin çalışma alanınız için Unity Kataloğu'nu etkinleştirmesi gerekir. Bkz Unity Kataloğu için bir çalışma alanını etkinleştirme.
Unity Kataloğu bulut depolamayı nasıl kullanır?
Databricks, bulut nesne depolama alanında depoladığınız tüm verilere erişimi yönetmek için Unity Kataloğu'nu kullanmanızı önerir. Unity Kataloğu, bulut nesne depolamasına güvenli bağlantılar yapılandırmak için bir araç paketi sağlar. Bu bağlantılar aşağıdaki eylemleri tamamlamak için erişim sağlar:
- Ham verileri bir lakehouse'a yükleyin.
- Unity Kataloğu tarafından yönetilen bulut depolama alanında yönetilen tablolar ve yapılandırılmamış verilerin yönetilen birimleri oluşturun ve okuyun.
- Bulut sağlayıcınız kullanılarak yönetilen bulut depolama alanında tablosal verileri ve yapılandırılmamış verileri içeren dış birimleri içeren dış tabloları kaydedin veya oluşturun.
- Yapılandırılmamış verileri okuma ve yazma (Unity Kataloğu depolama alanları olarak).
Daha açık olmak gerekirse Unity Kataloğu, bulut depolamayı iki birincil yolla kullanır:
- Databricks'te oluşturduğunuz yönetilen tablolar ve yönetilen birimler (yapılandırılmamış, tablosal olmayan veriler) için varsayılan (veya "yönetilen") depolama konumları. Bu yönetilen depolama konumları meta veri deposu, katalog veya şema düzeyinde tanımlanabilir. Bulut sağlayıcınızda yönetilen depolama konumları oluşturursunuz, ancak bunların yaşam döngüsü Unity Kataloğu tarafından tamamen yönetilir.
- Dış tabloların ve birimlerin depolandığı depolama konumları. Bunlar, Azure Databricks'ten erişimi Unity Catalog tarafından yönetilen, ancak veri yaşam döngüsü ve dosya düzeni bulut sağlayıcınız ile diğer veri platformları kullanılarak yönetilen tablolar ve hacimlerdir. Genellikle Azure Databricks'e büyük miktarda mevcut verilerinizi kaydetmek için veya Azure Databricks dışındaki araçları kullanarak verilere yazma erişimine de ihtiyacınız varsa dış tablolar kullanırsınız.
Yönetilen ve dış tablolar ve birimler hakkında daha fazla bilgi için bkz. Tablo nedir? ve Unity Kataloğu birimleri nedir?.
Uyarı
Son kullanıcılara Unity Kataloğu tarafından yönetilen tablolara veya birimlere depolama düzeyinde erişim vermeyin. Bu, veri güvenliğini ve idareyi tehlikeye atabilir.
Kullanıcılara, hizmet ilkelerine veya yönetilen kimliklere Unity Kataloğu tarafından yönetilen veriler içeren Azure Data Lake Storage Gen2 kapsayıcılarına doğrudan erişim vermek Unity Kataloğu'nu atlar. Bu, verileri aşırı izinlere, sızdırmaya ve yetkisiz erişime maruz bırakırken denetimi karmaşık hale getirir ve yönetim yükünü artırır.
Unity Kataloğu yönetilen tablolarında doğrudan depolama erişimi desteklenmez.
Hangi bulut depolama sağlayıcıları desteklenir?
Azure Databricks hem Azure Data Lake Storage 2. Nesil kapsayıcılarını hem de Cloudflare R2 demetlerini Unity Kataloğu'nda kayıtlı veriler ve yapay zeka varlıkları için bulut depolama konumları olarak destekler. R2 öncelikli olarak bulutlar ve bölgeler arasında Delta Paylaşımı gibi veri çıkış ücretlerinden kaçınmak istediğiniz kullanım durumlarına yöneliktir. Daha fazla bilgi için bkz: Cloudflare R2 çoğaltmalarını kullanma veya depolamayı R2'ye geçirme.
Unity Kataloğu bulut depolamaya erişimi nasıl yönetir?
Unity Catalog, tabloları ve birimleri barındıran temel alınan bulut depolamaya erişimi yönetmek için, bulut depolama konumunun yolunu ve bu konuma erişmek için gereken kimlik bilgilerini tanımlayan dış konum olarak adlandırılan güvenli hale getirilebilir bir nesne kullanır. Bu kimlik bilgileri, Unity Kataloğu'nda güvenli hale getirilebilen bir nesne olan depolama kimlik bilgileri olarak tanımlanır. Unity Kataloğu'nda dış konum güvenliği sağlanabilir öğelere erişim izni vererek ve iptal ederek bulut depolama konumundaki verilere erişimi denetleyebilirsiniz. Unity Catalog'da depolama kimlik bilgileri güvenlik öğelerine erişim verip bu erişimi iptal ederek, dış konum nesneleri oluşturma yeteneğini kontrol edebilirsiniz.
Ayrıntılar için bkz . Unity Kataloğu'nu kullanarak bulut depolamaya erişimi yönetme.
Bulut depolamaya yol tabanlı erişim
Unity Kataloğu, bulut depolama URI'lerini kullanarak dış tablolara ve dış birimlere yol tabanlı erişimi desteklese de Databricks, kullanıcıların tablo adlarını kullanarak tüm Unity Kataloğu tablolarını okumalarını ve yazmalarını ve yolları kullanarak /Volumes birimlerdeki verilere erişmelerini önerir.
Birimler, çoğu Azure Databricks kullanıcısının bulut nesne depolamadaki tablosal olmayan verilerle doğrudan etkileşim kurmak için kullanması gereken güvenli hale getirilebilir nesnedir. Bkz. Unity Catalog hacimleri nedir?.
Uyarı
Databricks dışı bir istemci kullanarak veya Databricks'in içinden yol tabanlı erişim kullanarak dış tablo meta verilerini güncelleştirirseniz, bu meta veriler Unity Kataloğu ile durumu otomatik olarak eşitlemez. Databricks bu tür meta veri güncelleştirmelerine karşı öneride bulunur, ancak bunu yaparsanız, Unity Kataloğu'nda şemayı güncel hale getirmek için MSCK REPAIR TABLE <table-name> SYNC METADATA çalıştırmanız gerekir. Bkz. REPAIR TABLE.
Unity Kataloğu ile bulut depolama için en iyi yöntemler
Azure Databricks, Unity Kataloğu idaresi kullanılarak Azure Databricks'te işlenen veriler için Azure depolama hizmeti olarak Azure Data Lake Storage 2. Nesil kullanılmasını gerektirir. Azure Data Lake Storage 2. Nesil, depolama ve işlem maliyetlerini ayırmanıza ve Unity Kataloğu tarafından sağlanan ayrıntılı erişim denetiminden yararlanmanıza olanak tanır. Veriler OneLake'te (Microsoft Fabric veri gölü) depolanıyorsa ve Databricks tarafından işleniyorsa (Unity Kataloğu'nu atlayarak), paketlenmiş depolama ve işlem maliyetlerine tabi olursunuz. Bu, okuma için yaklaşık 3 kat, yazma işlemleri için ise verileri depolama, okuma ve yazma Azure Data Lake Storage 2. Nesil kıyasla 1,6 kat daha yüksek maliyetlere yol açabilir. Azure Blob Depolama, Unity Kataloğu ile de uyumsuzdur.
Unity Kataloğu diğer bulut hizmetlerine erişimi nasıl yönetir?
Unity Kataloğu, hizmet kimlik bilgisi olarak adlandırılan güvenli hale getirilebilir bir nesne kullanarak depolama dışı hizmetlere erişimi yönetir. Hizmet kimlik bilgileri, kullanıcıların Azure Databricks'ten bağlanması gereken bir dış hizmete erişim sağlayan uzun vadeli bir bulut kimlik bilgilerini kapsüller.
Hizmet kimlik bilgileri, Unity Kataloğu yönetilen depolama konumu veya dış depolama konumu olarak kullanılan bulut depolamaya erişimi yönetmeye yönelik değildir. Bu kullanım örnekleri için Unity Kataloğu bulut depolamaya erişimi nasıl yönetir? bölümünde açıklandığı gibi bir depolama kimlik bilgisi kullanın.
Ayrıntılar için bkz.
- Hizmet kimlik bilgilerini kullanarak dış bulut hizmetlerine erişimi yönetme
- Hizmet kimlik bilgilerini yönetme
- Dış bulut hizmetlerine bağlanmak için Unity Kataloğu hizmeti kimlik bilgilerini kullanma
Sonraki adımlar
Unity Kataloğu'nu yönetici olarak kullanmaya yeni başlıyorsanız bkz:
Yeni bir kullanıcıysanız ve çalışma alanınız Unity Kataloğu için zaten etkinleştirildiyse bkz:
Bulut depolamaya erişimi yönetme hakkında daha fazla bilgi edinmek için bkz:
Bulut hizmetlerine erişimi yönetme hakkında daha fazla bilgi edinmek için bkz: