Dış sistemleri kullanarak Databricks verilerine erişme
Bu makalede, Azure Databricks tarafından yönetilen ve yönetilen verilerin diğer sistemlerin kullanımına sunulmasına yönelik işlevlere ve önerilere genel bir bakış sağlanmaktadır.
Bu desenler, kuruluşunuzun güvenilir araçları veya sistemleri Azure Databricks verileriyle tümleştirmesi gereken senaryolara odaklanır. Kuruluşunuzun dışında veri paylaşma konusunda rehberlik arıyorsanız bkz. Verileri ve yapay zeka varlıklarını diğer kuruluşlardaki kullanıcılarla güvenli bir şekilde paylaşma.
Azure Databricks hangi dış erişimi destekler?
Azure Databricks, tüm veri varlıklarınızı yönetmek için Unity Kataloğu'nu kullanmanızı önerir.
Aşağıdaki tabloda Unity Kataloğu nesneleri için destek biçimlerine ve erişim desenlerine genel bir bakış sağlanmaktadır.
| Unity Kataloğu nesnesi | Desteklenen biçimler | Erişim desenleri |
|---|---|---|
| Yönetilen tablolar | Delta Gölü, Buzdağı | Kimlik bilgisi otomatı, Iceberg REST kataloğu, Delta Sharing |
| Dış tablolar | Delta Gölü | Kimlik bilgileri satışı, Iceberg REST kataloğu, Delta Paylaşımı, bulut URI'leri |
| Dış tablolar | CSV, JSON, Avro, Parquet, ORC, metin | Bulut URI'leri |
| Harici birimler | Tüm veri türleri | Bulut URI'leri |
Not
Iceberg desteği, Azure Databricks tarafından Delta Lake kullanılarak yazılmış ancak Iceberg okumaları (UniForm) etkinleştirilmiş tabloları açıklar.
Bu Unity Kataloğu nesneleri hakkında daha fazla ayrıntı için aşağıdakilere bakın:
Birlik Kataloğu kimlik bilgisi dağıtımı
Unity Kataloğu kimlik bilgisi bağlaması, kullanıcıların Dış istemcileri Azure Databricks tarafından yönetilen verilerdeki ayrıcalıkları devralacak şekilde yapılandırmalarına olanak tanır. Bkz.dış sistem erişimi için Unity Kataloğu kimlik bilgileri
Iceberg istemcileri ile tabloları okuma
Azure Databricks, Iceberg istemcilerine Unity Kataloğu'na kayıtlı tablolar için salt okunur destek sağlar. Desteklenen istemciler Apache Spark, Apache Flink, Trino ve Snowflake'tir. Bkz. Iceberg istemcilerinden Databricks tablolarını okuma.
Etki alanları arasında salt okunur tabloları paylaşma
Etki alanları ve desteklenen sistemler arasında yönetilen veya dış Delta tablolarına salt okunur erişim vermek için Delta Paylaşımı'nı kullanabilirsiniz. Delta Sharing tablolarının sıfır kopya okumasını destekleyen yazılım sistemleri SAP, Amperity ve Oracle'dır. bkz. Verileri ve yapay zeka varlıklarını diğer kuruluşlardaki kullanıcılarla güvenli bir şekilde paylaşma.
Not
Delta Sharing'i, müşterilere veya iş ortaklarına salt okunur erişim vermek için de kullanabilirsiniz. Delta Sharing, Databricks Marketplacekullanılarak paylaşılan verileri de destekler.
Dış Delta tablolarını okuma ve yazma
Delta Lake tarafından desteklenen Unity Kataloğu dış tablolarına bulut nesne depolama URI'lerini ve kimlik bilgilerini kullanarak dış Delta Lake okuyucu ve yazıcı istemcilerinden erişebilirsiniz.
Unity Kataloğu, dış sistemlerden doğrudan bulut nesne depolaması için gerçekleştirilen okuma ve yazma işlemlerine tabi değildir. Bu nedenle, veri idaresi ilkelerinin Azure Databricks dışından karşılandığından emin olmak için bulut hesabınızda ek ilkeler ve kimlik bilgileri yapılandırmanız gerekir.
Not
Azure Databricks belgelerinde Databricks Runtime sürümlerine ve platform özelliklerine dayalı sınırlamalar ve uyumluluk konuları listelenmektedir. İstemcinizin hangi okuyucu ve yazıcı protokollerini ve tablo özelliklerini desteklediğini onaylamanız gerekir. Bkz. delta.io.
Delta Lake dışındaki tablo verilerine dış tablolarla erişin
Unity Kataloğu dış tabloları Parquet, ORC, CSV ve JSON gibi Delta Lake dışında birçok biçimi destekler. Dış tablolar, dizinlerdeki tüm veri dosyalarını, tablo oluşturma sırasında sağlanan bir bulut URI'si tarafından belirtilen bir bulut nesnesi depolama konumunda depolar. Diğer sistemler bu veri dosyalarına doğrudan bulut nesne depolama alanından erişer.
Unity Kataloğu, dış sistemlerden doğrudan bulut nesne depolaması için gerçekleştirilen okuma ve yazma işlemlerine tabi değildir. Bu nedenle, veri idaresi ilkelerinin Azure Databricks dışından karşılandığından emin olmak için bulut hesabınızda ek ilkeler ve kimlik bilgileri yapılandırmanız gerekir.
Delta Lake dışındaki biçimler için işlem garantisi sağlanmadığı için birden çok sistemden dış tabloların okunması ve bu tablolara yazması tutarlılık sorunlarına ve veri bozulmasına neden olabilir.
Unity Kataloğu, Delta Lake dışındaki biçimlerle desteklenen dış tablolara yazılan yeni bölümleri alamayabilir. Databricks, Unity Kataloğu'nun dış sistemler tarafından yazılan tüm veri dosyalarını kaydettiğini güvence altına almak için düzenli olarak MSCK REPAIR TABLE table_name çalıştırmanızı önerir.
Dış birimlerle tablo dışı verilere erişme
Databricks, Azure Databricks'e ek olarak dış sistemler tarafından okunan veya yazılan tablosal olmayan veri dosyalarını depolamak için dış birimlerin kullanılmasını önerir. Bkz. Unity Kataloğu birimleri nelerdir?.
Unity Kataloğu, dış sistemlerden doğrudan bulut nesne depolaması için gerçekleştirilen okuma ve yazma işlemlerine tabi değildir. Bu nedenle, veri idaresi ilkelerinin Azure Databricks dışından karşılandığından emin olmak için bulut hesabınızda ek ilkeler ve kimlik bilgileri yapılandırmanız gerekir.
Birimler, dosyaları birimlerden almak ve birimlere yerleştirmek için API'ler, SDK'lar ve diğer araçlar sağlar. bkz. birimlerdeki dosyaları yönetme.
Not
Delta Sharing, birimleri diğer Azure Databricks hesaplarıyla paylaşmanıza olanak tanır, ancak dış sistemlerle tümleştirilmez.